python爬取B站视频弹幕分析并制作词云

1.分析网页

视频地址&＃xff1a; www.bilibili.com/video/BV19E… 本身博主同时也是一名up主&＃xff0c;虽然已经断更好久了&＃xff0c;但是不妨碍我爬取弹幕信息来分析呀。 这次我选取的是自己 唯一的爆款视频 。就是下面这个。

很多人学习python&＃xff0c;不知道从何学起。
很多人学习python&＃xff0c;掌握了基本语法过后&＃xff0c;不知道在哪里寻找案例上手。
很多已经做案例的人&＃xff0c;却不知道如何去学习更加高深的知识。
那么针对这三类人&＃xff0c;我给大家提供一个好的学习平台&＃xff0c;免费领取视频教程&＃xff0c;电子书籍&＃xff0c;以及课程的源代码&＃xff01;
QQ群&＃xff1a;101677771

希望大家能够多多支持up&＃xff0c;up在这里谢过大家了。 打开网址我们能够发现弹幕信息是存储在这一块的。

本来以为是可以直接爬到的&＃xff0c;但是当我点开F12检查网页的时候却发现&＃xff1a;

他很明显只加载了一部分的弹幕信息&＃xff0c;那么怎么获取呢&＃xff0c;别急下面有一个查看历史弹幕信息&＃xff0c;我们点击一下试试看。

既然知道了信息是藏在哪里的&＃xff0c;那么接下来就是简单分析一下他的 url地址的格式

了。

可以看到重点其实就在date上&＃xff0c;只要更换date就能获得那一天的弹幕了&＃xff0c;所以我们基本确定我们的URL地址。接下来就是爬虫了。

2.爬虫&＃43;jieba分词&＃43;制作词云

2.1爬虫

首先是简单的先获取整个网页信息&＃xff0c;但是获取的过程中&＃xff0c;出现了这个错误。

这个大家都懂是啥意思&＃xff0c;那么我们怎么解决的&＃xff1f;很简单&＃xff0c;我们将账号信息带进去就行了&＃xff0c;那么怎么带呢&＃xff1f;这里我选择的是直接将 COOKIE信息

放入请求头之中。这个COOKIE信息大家需要根据自己的浏览返回的信息进行选择。

像这样&＃xff0c;放入headers中。

headers&＃61;{"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36","COOKIE": "_uuid&＃61;32558797-D0FE-C0F7-536C-63AF0D8AE40770652infoc; buvid3&＃61;3DB514DE-EAB4-4ED9-B597-BCDD98AF986240968infoc; sid&＃61;hwpgj1q2; DedeUserID__ckMd5&＃61;e16b5b4e38e97a2b; CURRENT_FNVAL&＃61;16; rpdid&＃61;|(JYl~Yuukl~0J&＃39;ulmR|uuukk; LIVE_BUVID&＃61;AUTO7915950709280947; CURRENT_QUALITY&＃61;64; UM_distinctid&＃61;173a99a3d29656-0dfad7ca6e9865-3b634404-1fa400-173a99a3d2a9f0; bili_jct&＃61;69d8904981c02268b8880fc10dc2abac; bp_t_offset_103134642&＃61;420625431706221182; SESSDATA&＃61;048bf530%2C1611830350%2C409d1*81; DedeUserID&＃61;103134642; PVID&＃61;1; bp_video_offset_103134642&＃61;422972760179214717; bfe_id&＃61;6f285c892d9d3c1f8f020adad8bed553"}

这样我们便能爬取到了

接下来获取弹幕信息。这里很简单通过xpath就能获取到。

parse&＃61;parsel.Selector(html)
links&＃61;parse.xpath("//d/text()").getall()
print(links)

既然已经获取到弹幕了&＃xff0c;我们就需要将这些信息存储起来&＃xff0c;用于我们接下来的操作。 这里我们选择将它存储到CSV文件中具体操作其实和之前的文件下载操作相差不大。

for i in links:with open(r&＃39;C:\Users\瓤瓤\Desktop\B站弹幕.csv&＃39;,&＃39;a&＃39;,newline&＃61;&＃39;&＃39;,encoding&＃61;&＃39;utf-8-sig&＃39;) as f:writer&＃61;csv.writer(f)links&＃61;[]links.append(i)writer.writerow(links)

打开之后就是这样的&＃xff1a;

2.2jieba分词

文件都存储好了&＃xff0c;那么我接下来的第一步就是将我们的弹幕进行jieba分词&＃xff0c;拆解成一个一个的词语

f &＃61;open(r&＃39;C:\Users\瓤瓤\Desktop\B站弹幕.csv&＃39;,encoding&＃61;&＃39;utf-8&＃39;)#打开文件
text&＃61;f.read() #读取文件
text_list&＃61;jieba.analyse.extract_tags(text,topK&＃61;40)#进行jieba分词&＃xff0c;并且取频率出现最高的40个词
text_list&＃61;" ".join(text_list)#用空格将这些字符串连接起来
print(text_list)

效果&＃xff1a;

2.3制作词云

既然词我们已经准备好了&＃xff0c;那么我们接下来就是将它制作成词云。

#创建自定义图片样式
img&＃61;plt.imread(&＃39;./img/huge.jpg&＃39;)
w&＃61;wordcloud.WordCloud(width&＃61;1500,height&＃61;1000,font_path&＃61;"STXIHEI.TTF",#设置字体的格式 字体所在位置C:\Windows\Fontsbackground_color&＃61;"white",scale&＃61;50,contour_width&＃61;5,contour_color&＃61;"red",mask&＃61;img,#图片遮罩层#设置屏蔽词stopwords&＃61;{"00","天下第一","bgm","周董","真的","胡是","你币","肖战","游记","周杰伦","陈奕迅","这个"}
)
w.generate_from_text(text_list)#绘制图片
fig&＃61;plt.figure(1)
plt.imshow(w)
plt.axis("off")
plt.show() #显示生成的词云文件

在设置字体样式的过程中千万要 选用能够识别中文的字体样式 &＃xff0c;否则会变成一堆方框。字体所在位置字体所在位置 C:\Windows\Fonts 接着只要耐心等程序运行完就行了。

3.成品展示

4.完整代码

import requests
import parsel
import csv
import jieba.analyse
import wordcloud
from matplotlib import pylab as plt
url&＃61;&＃39;https://api.bilibili.com/x/v2/dm/history?type&＃61;1&oid&＃61;160472309&date&＃61;2020-08-12&＃39;
headers&＃61;{"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36","COOKIE": "_uuid&＃61;32558797-D0FE-C0F7-536C-63AF0D8AE40770652infoc; buvid3&＃61;3DB514DE-EAB4-4ED9-B597-BCDD98AF986240968infoc; sid&＃61;hwpgj1q2; DedeUserID__ckMd5&＃61;e16b5b4e38e97a2b; CURRENT_FNVAL&＃61;16; rpdid&＃61;|(JYl~Yuukl~0J&＃39;ulmR|uuukk; LIVE_BUVID&＃61;AUTO7915950709280947; CURRENT_QUALITY&＃61;64; UM_distinctid&＃61;173a99a3d29656-0dfad7ca6e9865-3b634404-1fa400-173a99a3d2a9f0; bili_jct&＃61;69d8904981c02268b8880fc10dc2abac; bp_t_offset_103134642&＃61;420625431706221182; SESSDATA&＃61;048bf530%2C1611830350%2C409d1*81; DedeUserID&＃61;103134642; PVID&＃61;1; bp_video_offset_103134642&＃61;422972760179214717; bfe_id&＃61;6f285c892d9d3c1f8f020adad8bed553"}
response&＃61;requests.get(url,headers&＃61;headers)
html&＃61;response.content.decode("utf-8")
# print(html)
parse&＃61;parsel.Selector(html)
links&＃61;parse.xpath("//d/text()").getall()
# print(links)
for i in links:with open(r&＃39;C:\Users\瓤瓤\Desktop\B站弹幕.csv&＃39;,&＃39;a&＃39;,newline&＃61;&＃39;&＃39;,encoding&＃61;&＃39;utf-8-sig&＃39;) as f:writer&＃61;csv.writer(f)links&＃61;[]links.append(i)writer.writerow(links)# #制作词云图
f &＃61;open(r&＃39;C:\Users\瓤瓤\Desktop\B站弹幕.csv&＃39;,encoding&＃61;&＃39;utf-8&＃39;)
text&＃61;f.read()
text_list&＃61;jieba.analyse.extract_tags(text,topK&＃61;40)
text_list&＃61;" ".join(text_list)
print(text_list)
#
img&＃61;plt.imread(&＃39;./img/huge.jpg&＃39;)
w&＃61;wordcloud.WordCloud(width&＃61;1500,height&＃61;1000,font_path&＃61;"STXIHEI.TTF",background_color&＃61;"white",scale&＃61;50,contour_width&＃61;5,contour_color&＃61;"red",mask&＃61;img,stopwords&＃61;{"00","天下第一","bgm","周董","真的","胡是","你币","肖战","游记","周杰伦","陈奕迅","这个"}
)
w.generate_from_text(text_list)#绘制图片
fig&＃61;plt.figure(1)
plt.imshow(w)
plt.axis("off")
plt.show() #显示生成的词云文件