python动态网页开发教程_python爬取动态网页数据，详解

原理&＃xff1a;动态网页&＃xff0c;即用js代码实现动态加载数据&＃xff0c;就是可以根据用户的行为&＃xff0c;自动访问服务器请求数据&＃xff0c;重点就是&＃xff1a;请求数据&＃xff0c;那么怎么用python获取这个数据了&＃xff1f;

浏览器请求数据方式&＃xff1a;浏览器向服务器的api(例如这样的字符串&＃xff1a;http://api.qingyunke.com/api.php?key&＃61;free&appid&＃61;0&msg&＃61;关键词)发送请求&＃xff0c;服务器返回json&＃xff0c;然后解析该json&＃xff0c;就得到请求数据了

同理&＃xff1a;用Python向api发送请求&＃xff0c;获得json&＃xff0c;解析json&＃xff0c;得到数据

即关键在于得到api

api获取&＃xff1a;

将鼠标放在上图图示位置&＃xff0c;将显示该用户的一些信息&＃xff0c;这些信息就是动态加载出来的。当鼠标放在该位置时&＃xff0c;浏览器向服务器api发出请求&＃xff0c;得到json&＃xff0c;再解析便得到下图所示数据

在该网页反键选择检查源代码&＃xff0c;按图示点开选项&＃xff1a;

然后将鼠标移动到网页界面用户上(箭头位置)&＃xff0c;会发现右边多出两个请求信息&＃xff0c;如图&＃xff1a;

点击下面一个&＃xff0c;红色方框内的链接&＃xff0c;就是要找的api接口

直接用浏览器打开该api即可看到json&＃xff0c;如下图

下面用python代码请求该api并解析

import requests

import json

#api

url&＃61;&＃39;https://www.zhihu.com/api/v4/members/wisphilo?include&＃61;allow_message%2Cis_followed%2Cis_following%2Cis_org%2Cis_blocking%2Cemployments%2Canswer_count%2Cfollower_count%2Carticles_count%2Cgender%2Cbadge%5B%3F(type%3Dbest_answerer)%5D.topics&＃39;

#header的目的是模拟请求&＃xff0c;因为该api设置了反爬取

header&＃61;{

&＃39;User-Agent&＃39;:&＃39;Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36&＃39;

}

doc&＃61;requests.get(url,headers&＃61;header)#发起请求

doc.encoding&＃61;&＃39;utf-8&＃39;#设置编码为utf-8

data&＃61;json.loads(doc.text)#将json字符串转为json

#根据位置查找数据

print(&＃39;用户名&＃xff1a;&＃39;,data.get(&＃39;name&＃39;))

print(&＃39;个人描述&＃xff1a;&＃39;,data.get(&＃39;headline&＃39;))

print(&＃39;职务&＃xff1a;&＃39;&＃43;data.get(&＃39;employments&＃39;)[0].get(&＃39;job&＃39;).get(&＃39;name&＃39;))

print(&＃39;回答&＃xff1a;&＃39;,data.get(&＃39;answer_count&＃39;))

print(&＃39;文章&＃xff1a;&＃39;,data.get(&＃39;articles_count&＃39;))

print(&＃39;关注者&＃xff1a;&＃39;,data.get(&＃39;follower_count&＃39;))

另外查找数据最好用在线json格式化再查找&＃xff0c;不然很难看出自己要的数据在哪eg&＃xff1a;

一般网页的api都有规律可寻&＃xff0c;用for循环控制变换字符即可实现自动爬取

上述代码运行结果&＃xff1a;

和该界面对照

以上