爬取哔哩哔哩热点搜索的小demo（练手）python

爬取流程

1. 先找到浏览器标识头&＃xff08;User-Agent也可以网上搜这个头子&＃xff09;
   红圈是头&＃xff0c;复制出来
2. &＃xff08;关键&＃xff09;找传回数据的url
   目标网站&＃xff1a;b站搜索
   爬取这个&＃xff1a;
   开始我直接通过网页渲染数据爬取框内内容&＃xff0c;发现这些内容是ajax请求渲染&＃xff0c;网站加载完成才渲染出数据&＃xff0c;不能第一时间爬取到&＃xff0c;然后我开始另辟蹊径。。。找了好久终于找到
   
   找到传回数据后面就好办了。。。。
3. 代码实现
   先导需要的库 &＃xff0c;mysql连python用到&＃xff1a; pip install pymysql

#python程序
#字典
import requests
import json
import pymysql.cursors#加头标识
headers &＃61; {&＃39;User-Agent&＃39;: &＃39;Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.77 Safari/537.36&＃39;
}product&＃61;[]
#获取传回数据
resp&＃61;requests.get(&＃39;https://s.search.bilibili.com/main/hotword?mid&＃61;&buvid&＃61;98E676EF-F586-403E-8440-52A6836FA68713451infoc&jsonp&＃61;jsonp&callback&＃61;jsonCallback_bili_58910703464582290&＃39;,headers&＃61;headers)rest&＃61;resp.text.replace(&＃39;jsonCallback_bili_58910703464582290(&＃39;,&＃39;&＃39;).replace(&＃39;)&＃39;,&＃39;&＃39;)#转换json键值对json_data&＃61;json.loads(rest)comments&＃61;json_data["list"]
# #把想要的数据装入列表中
proDict&＃61;[]
for item in comments:proDict.append(item[&＃39;keyword&＃39;]&＃43;&＃39; &＃39;)
product.extend(proDict)# 把数组里所有数据都转入字符串中&＃xff08;这里是学习用的&＃xff0c;可以去除&＃xff09;
p&＃61;&＃39;&＃39;.join(proDict)print(p)# 数据入库
# 连接数据库
conn &＃61; pymysql.connect(host&＃61;&＃39;127.0.0.1&＃39;,port&＃61;3306,user&＃61;&＃39;root&＃39;,passwd&＃61;&＃39;root&＃39;,db&＃61;&＃39;bilidb&＃39;,charset&＃61;&＃39;utf8&＃39;,cursorclass&＃61;pymysql.cursors.Cursor,)cur&＃61;conn.cursor()
#这里用replace解决数据入库时重复数据的问题&＃xff0c;注意hotword字段要设置唯一约束
for item in proDict:cur.execute("replace into hot(hotword) values(&＃39;%s&＃39;)" %(item))
#事务提交&＃xff08;这里尝试性的用了一个异常处理&＃xff0c;嘿嘿可以去掉&＃xff09;
try: conn.commit()
except AttributeError:print("错误")
cur.close()

数据库结构

数据库上记得把字段设置编码方式为utf-8&＃xff0c;以解决中文乱码问题。