爬虫框架_资源|Scrapy爬虫框架视频详解

篇首语：本文由编程笔记#小编为大家整理，主要介绍了资源 | Scrapy 爬虫框架视频详解相关的知识，希望对你有一定的参考价值。

第一时间获取最新的学习资料

Scrapy，Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。

Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等，最新版本又提供了web2.0爬虫的支持。

Scrapy提供了很多强大的特性来使得爬取更为简单高效， 例如：

• html， XML源数据 选择及提取的内置支持。




• 提供了一系列在spider之间共享的可复用的过滤器(即 Item Loaders)，对智能处理爬取数据提供了内置支持。




• 通过 feed 导出提供了多格式(JSON、CSV、XML)，多存储后端(FTP、S3、本地文件系统)的内置支持。




• 提供了media pipeline，可以自动下载爬取到的数据中的图片(或者其他资源)。




• 高扩展性。您可以通过使用signals，设计好的API(中间件，extensions，pipelines)来定制实现您的功能。




• 内置的中间件及扩展为下列功能提供了支持：




• 针对非英语语系中不标准或者错误的编码声明，提供了自动检测以及健壮的编码支持。




• 支持根据模板生成爬虫。在加速爬虫创建的同时，保持在大型项目中的代码更为一致。详细内容请参阅 genspider 命令。




• …………
  

后台回复“scrapy爬虫”