python爬虫爬取今日头条_python爬虫抓取今日头条街拍图片

1. 打开google浏览器&＃xff0c;输入www.toutiao.com, 搜索街拍。

2.打开开发者选项&＃xff0c;network监看加载的xhr, 数据是ajax异步加载的&＃xff0c;可以看到preview里面的data数据

3.下拉刷新查看加载的offset&＃xff0c;每次加载20条数据&＃xff0c;data是json数据&＃xff0c;里面的article_url,是图集详情页的url。

4.首先抓取索引页的内容

data数据来自于索引页的请求都里面的query str

5. 接下来是解析索引页的数据&＃xff0c;提取出所需要的详情页的url&＃xff0c;索引页的data是json数据&＃xff0c;里面的article_url,是图集详情页的url。

6. 有了详情页的url&＃xff0c;接下来就是获取详情页的数据和代码了

7. 接着就是解析详情页面&＃xff0c;并提取title, 和图片url, 详情页代码数据在Doc中查看, 注意提取的是组图&＃xff0c;非组图被过滤了.url_list 是指三个地址都是图片的地址&＃xff0c;我们只要有一个原始的url就可以了。

8. 把解析提取的数据存储到mongodb中&＃xff0c;以字典的方式.

先写个mongo的配置文件config.pyMONGO_URL &＃61; &＃39;localhost&＃39;

MONGO_DB &＃61; &＃39;toutiao&＃39;

MONGO_TABLE &＃61; &＃39;toutiao&＃39;

GROUP_START &＃61; 0

GROUP_END &＃61; 20

KEYWORD &＃61; &＃39;街拍&＃39;

然后连接本地mongo&＃xff0c;存储数据

9. 下载图片

10. 爬虫主函数

11. 开启多进程

12. 需要的库函数