python大规模获取豆瓣影评_爬虫实战【11】Python获取豆瓣热门电影信息

之前我们从猫眼获取过电影信息&＃xff0c;而且利用分析ajax技术&＃xff0c;获取过今日头条的街拍图片。

今天我们在豆瓣上获取一些热门电影的信息。

页面分析

首先&＃xff0c;我们先来看一下豆瓣里面选电影的页面&＃xff0c;我们默认选择热门电影&＃xff0c;啥都不点了。

【插入图片&＃xff0c;豆瓣热门电影页面】

在选电影这个框中其实有很多标签的&＃xff0c;这个其实可以在url设置&＃xff0c;后面讲&＃xff0c;现在就用热门好了。

下面每部电影罗列出来&＃xff0c;包括电影封面&＃xff0c;评分&＃xff0c;电影名称等信息。

最下面是加载更多选项&＃xff0c;其实看到这个加载更多&＃xff0c;我就意识到这个页面肯定是用ajax技术实现的&＃xff0c;就跟今日头条街拍那次一样&＃xff0c;只不过不采用向下滚动&＃xff0c;而是点击按钮加载的方式。

是不是这样的&＃xff1f;我们看一下源代码。

果然都是一些js&＃xff0c;我就不放图了&＃xff0c;大家自己看一下就好了。

那么来看一下XHR了&＃xff0c;果然下面有几个json文件&＃xff0c;哈哈&＃xff0c;猜测是正确的。

【插入图片&＃xff0c;XHR分析】

这次的json信息很简介&＃xff0c;一个subjects下面就是各个电影的具体内容了&＃xff0c;我们通过json的loads方法&＃xff0c;就能够得到里面的信息了。

仍然是通过requests库来获取json信息&＃xff0c;消息头的话&＃xff0c;我们来看一下&＃xff1a;

【插入图片&＃xff0c;消息头分析】

这个url的前面部分是固定的&＃xff0c;后面是一些参数&＃xff0c;我们可以用urlencode来编码。

如果我们想要加载不同的页面&＃xff0c;只要改变这个url里面的page_start参数就好了

【插入图片&＃xff0c;加载更多】

获取到某条电影信息后&＃xff0c;我们就保存到mongodb数据库中。

代码展示

import requests

from urllib.parse import urlencode

import json

import pymongo

&＃39;&＃39;&＃39;MONGO设置&＃39;&＃39;&＃39;

MONGO_URL &＃61; &＃39;localhost&＃39;

MONGO_DB &＃61; &＃39;douban&＃39;

MONGO_Table &＃61; &＃39;热门&＃39;

client &＃61; pymongo.MongoClient(MONGO_URL)

db &＃61; client[MONGO_DB]

def get_movie_page(start_number):

data &＃61; {

&＃39;type&＃39;: &＃39;movie&＃39;,

&＃39;tag&＃39;: &＃39;热门&＃39;,

&＃39;sort&＃39;: &＃39;recommend&＃39;,

&＃39;page_limit&＃39;: 20,

&＃39;page_start&＃39;: start_number

}

url &＃61; &＃39;https://movie.douban.com/j/search_subjects?&＃39; &＃43; urlencode(data)

try:

response &＃61; requests.get(url)

if response.status_code &＃61;&＃61; 200:

# print(response.text)

return response.text

except Exception:

print(&＃39;请求出错&＃xff01;&＃39;)

return None

def parse_index_movie(html):

movie &＃61; json.loads(html)

result &＃61; []

if movie and &＃39;subjects&＃39; in movie.keys():

for item in movie.get(&＃39;subjects&＃39;):

film &＃61; {

&＃39;rate&＃39;: item.get(&＃39;rate&＃39;),

&＃39;title&＃39;: item.get(&＃39;title&＃39;),

&＃39;url&＃39;: item.get(&＃39;url&＃39;),

&＃39;cover&＃39;: item.get(&＃39;cover&＃39;)

}

result.append(film)

save_to_db(film)

return result

def save_to_db(film):

try:

if db[MONGO_Table].insert(film):

print(&＃39;保存成功&＃39;, film)

except Exception:

print(&＃39;保存出错&＃39;, film)

pass

def main():

for i in range(100):

html &＃61; get_movie_page(i*20)

parse_index_movie(html)

if __name__ &＃61;&＃61; &＃39;__main__&＃39;:

main()

【插入图片&＃xff0c;mongo数据】

至此&＃xff0c;我们得到了200多部热门电影的信息&＃xff0c;尤其是每部电影的url&＃xff0c;有了这个信息&＃xff0c;我们就能打开每部电影的评论页面&＃xff0c;获取到该部电影的短评。

这个留给明天再将。