Python3爬虫从零开始：抓取天猫电影排行

抓取分析

    首先打开要抓取的目标站点&＃xff1a;http://maoyan.com/board/4

    我们需要爬取得实惠电影名称、主演、评分等信息。可以看到在这个页面只有10部影片&＃xff0c;而我们需要爬取前100&＃xff0c;也就是需要爬取10页。

    滚动到最下方分页列表&＃xff0c;打开下一页&＃xff0c;可以看到页面的URL发生了变化&＃xff0c;多了参数offset&＃61;10。根据这个规律&＃xff0c;我们可以通过改变URL的offset参数请求10次即可。

补充&＃xff1a;确定一个网站是否可被爬取&＃xff0c;可以先在网站根目录下查看Robots协议确定是否可爬&＃xff1a;

抓取一页

这里&＃xff0c;我们将提取一页的代码用一个函数表示&＃xff1a;

def get_one_page(url):headers &＃61; {&＃39;User-Agent&＃39;:&＃39;Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.17 Safari/537.36&＃39;,}response &＃61; requests.get(url,headers &＃61; headers)if response.status_code &＃61;&＃61; 200:return response.textreturn Nonedef main():url &＃61; &＃39;http://maoyan.com/board/4&＃39;html &＃61; get_one_page(url)print(html)main()

这样就可以得到我们的页面源代码。

正则提取

    这里&＃xff0c;我们要按需进行提取&＃xff0c;网页源码信息那么多&＃xff0c;但是我们只需要提取我们需求的影片信息。因此&＃xff0c;需要对源码进行正则提取&＃xff0c;首先就要找到我们需要的信息的源码部分。F12在网页中打开【开发者模式】&＃xff0c;在【Network】中左边打开4?offset&＃61;0的文件&＃xff0c;可以看到源代码。

&＃xff01;注意&＃xff0c;不要在【Elements】中直接查看源码&＃xff0c;因为【Elements】中的源码可能经过Javascript操作&＃xff08;如果有的话&＃xff09;与原始请求页面不一样。

根据我们需要提取的信息构造我们的正则表达式&＃xff1a;

#排名信息&＃xff1a;

def parse_one_page(html):pattern &＃61; re.compile(&＃39;

结果&＃xff1a;

完整代码

import reimport requestsimport jsondef get_one_page(url):headers &＃61; {&＃39;User-Agent&＃39;:&＃39;Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.17 Safari/537.36&＃39;,}response &＃61; requests.get(url,headers &＃61; headers)if response.status_code &＃61;&＃61; 200:return response.textreturn Nonedef main(offset):url &＃61; &＃39;http://maoyan.com/board/4?offset&＃61;&＃39;&＃43; str(offset)html &＃61; get_one_page(url)for item in parse_one_page(html):write_to_file(item)#排名信息&＃xff1a;

结果&＃xff1a;

补充&＃xff1a; if __name__ &＃61;&＃61; &＃39;__main__&＃39;的意思是&＃xff1a;当.py文件被直接运行时&＃xff0c;if __name__ &＃61;&＃61; &＃39;__main__&＃39;之下的代码块将被运行&＃xff1b;当.py文件以模块形式被导入时&＃xff0c;if __name__ &＃61;&＃61; &＃39;__main__&＃39;之下的代码块不被运行。

参考见博客&＃xff1a;https://blog.csdn.net/yjk13703623757/article/details/77918633