作者：钢铁猪991884679 | 来源：互联网 | 2023-09-23 21:37
抓取分析
首先打开要抓取的目标站点&＃xff1a;http://maoyan.com/board/4
我们需要爬取得实惠电影名称、主演、评分等信息。可以看到在这个页面只有10部影片&＃xff0c;而我们需要爬取前100&＃xff0c;也就是需要爬取10页。
滚动到最下方分页列表&＃xff0c;打开下一页&＃xff0c;可以看到页面的URL发生了变化&＃xff0c;多了参数offset&＃61;10。根据这个规律&＃xff0c;我们可以通过改变URL的offset参数请求10次即可。
补充&＃xff1a;确定一个网站是否可被爬取&＃xff0c;可以先在网站根目录下查看Robots协议确定是否可爬&＃xff1a;
抓取一页
这里&＃xff0c;我们将提取一页的代码用一个函数表示&＃xff1a;
def get_one_page(url):headers &＃61; {&＃39;User-Agent&＃39;:&＃39;Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.17 Safari/537.36&＃39;,}response &＃61; requests.get(url,headers &＃61; headers)if response.status_code &＃61;&＃61; 200:return response.textreturn Nonedef main():url &＃61; &＃39;http://maoyan.com/board/4&＃39;html &＃61; get_one_page(url)print(html)main()
这样就可以得到我们的页面源代码。
正则提取
这里&＃xff0c;我们要按需进行提取&＃xff0c;网页源码信息那么多&＃xff0c;但是我们只需要提取我们需求的影片信息。因此&＃xff0c;需要对源码进行正则提取&＃xff0c;首先就要找到我们需要的信息的源码部分。F12在网页中打开【开发者模式】&＃xff0c;在【Network】中左边打开4?offset&＃61;0的文件&＃xff0c;可以看到源代码。
&＃xff01;注意&＃xff0c;不要在【Elements】中直接查看源码&＃xff0c;因为【Elements】中的源码可能经过Javascript操作&＃xff08;如果有的话&＃xff09;与原始请求页面不一样。
根据我们需要提取的信息构造我们的正则表达式&＃xff1a;
#排名信息&＃xff1a;
.*?board-index.*?>(.*?) #图片信息&＃xff1a;
.*?board-index.*?>(.*?).*?data-src&＃61;"(.*?)" #名字信息&＃xff1a;
.*?board-index.*?>(.*?).*?data-src&＃61;"(.*?)".*?name.*?a.*?>(.*?) #主演等等&＃xff1a;
.*?board-index.*?>(.*?).*?data-src&＃61;"(.*?)".*?name.*?a.*?>(.*?).*?star">(.*?).*?releasetime">(.*?).*?integer">(.*?).*?fraction">(.*?).*? def parse_one_page(html):pattern &＃61; re.compile(&＃39;.*?board-index.*?>(.*?)&＃39;&＃39;.*?data-src&＃61;"(.*?)".*?name.*?a.*?>(.*?)&＃39;&＃39;.*?star">(.*?)
.*?releasetime">(.*?)&＃39;&＃39;.*?integer">(.*?).*?fraction">(.*?).*?&＃39;, re.S)items &＃61; re.findall(pattern,html)print(items) 结果&＃xff1a;
完整代码
import reimport requestsimport jsondef get_one_page(url):headers &＃61; {&＃39;User-Agent&＃39;:&＃39;Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.17 Safari/537.36&＃39;,}response &＃61; requests.get(url,headers &＃61; headers)if response.status_code &＃61;&＃61; 200:return response.textreturn Nonedef main(offset):url &＃61; &＃39;http://maoyan.com/board/4?offset&＃61;&＃39;&＃43; str(offset)html &＃61; get_one_page(url)for item in parse_one_page(html):write_to_file(item)#排名信息&＃xff1a;.*?board-index.*?>(.*?)#图片信息&＃xff1a;.*?board-index.*?>(.*?).*?data-src&＃61;"(.*?)"#名字信息&＃xff1a;.*?board-index.*?>(.*?).*?data-src&＃61;"(.*?)".*?name.*?a.*?>(.*?)#主演等等综合&＃xff1a;.*?board-index.*?>(.*?).*?data-src&＃61;"(.*?)".*?name.*?a.*?>(.*?).*?star">(.*?)
.*?releasetime">(.*?).*?integer">(.*?).*?fraction">(.*?).*?def parse_one_page(html):pattern &＃61; re.compile(&＃39;.*?board-index.*?>(.*?)&＃39;&＃39;.*?data-src&＃61;"(.*?)".*?name.*?a.*?>(.*?)&＃39;&＃39;.*?star">(.*?).*?releasetime">(.*?)&＃39;&＃39;.*?integer">(.*?).*?fraction">(.*?).*?&＃39;, re.S)items &＃61; re.findall(pattern,html)#整理数据#for item in items:yield{&＃39;index&＃39;: item[0],&＃39;image&＃39;: item[1],&＃39;title&＃39;: item[2].strip(),&＃39;actor&＃39;: item[3].strip()[3:],&＃39;time&＃39; : item[4].strip()[5:],&＃39;score&＃39;: item[5].strip() &＃43; item[6].strip()}print(items)def write_to_file(content): #写入文件with open(&＃39;result.txt&＃39;,&＃39;a&＃39;,encoding&＃61;&＃39;utf-8&＃39;) as f:# print(content)f.write(json.dumps(content,ensure_ascii&＃61;False)&＃43;&＃39;\n&＃39;) #json.dumps()是将dict转化成str格式if __name__ &＃61;&＃61; &＃39;__main__&＃39;: #这里没有这一行也可以for i in range(10):main(offset&＃61;i*10) 结果&＃xff1a;
补充&＃xff1a; if __name__ &＃61;&＃61; &＃39;__main__&＃39;的意思是&＃xff1a;当.py文件被直接运行时&＃xff0c;if __name__ &＃61;&＃61; &＃39;__main__&＃39;之下的代码块将被运行&＃xff1b;当.py文件以模块形式被导入时&＃xff0c;if __name__ &＃61;&＃61; &＃39;__main__&＃39;之下的代码块不被运行。
参考见博客&＃xff1a;https://blog.csdn.net/yjk13703623757/article/details/77918633
京公网安备 11010802041100号