爬虫分为两个领域：
聚焦爬虫和通用爬虫。
通用爬虫：
搜索引擎用的爬虫系统。
目标：
搜索互联网所有的信息下载下来，放到本地服务器，再对这些网页进行相关处理，提取关键字什么的，最终给用户提供一个检索的接口，他们每隔一段时间获取一次。
百度快照的好处：
如果直接点击链接的话，可能信息已经被删除了，但是点击百度快照的话，可能还会备份的，搜索引擎的话是无法爬取图片的，电影也爬不出来。
聚焦爬虫：
程序员写的针对某种内容信息的爬虫。
![Python3爬虫入门：pyspider的基本使用[python爬虫入门]](https://img1.php1.cn/3cdc5/324f/339/9d0ec9721f26646a.jpeg)
京公网安备 11010802041100号