看看你爱的他今天是什么‘颜色‘Python爬取微博评论制作专属偶像词云

简介&＃xff1a;快来拿出你珍藏的pick star&＃xff0c;用大家对他的爱重塑一个他吧。通过爬取微博评论&＃xff0c;制作你的偶像图片词云&＃xff0c;天天都是不重样的哦&＃xff01;

很多人学习python&＃xff0c;不知道从何学起。
很多人学习python&＃xff0c;掌握了基本语法过后&＃xff0c;不知道在哪里寻找案例上手。
很多已经做案例的人&＃xff0c;却不知道如何去学习更加高深的知识。
那么针对这三类人&＃xff0c;我给大家提供一个好的学习平台&＃xff0c;免费领取视频教程&＃xff0c;电子书籍&＃xff0c;以及课程的源代码&＃xff01;
QQ群&＃xff1a;101677771

06月03号&＃xff0c;英雄联盟史上永远的神--UZI退役&＃xff0c;一代传奇落下帷幕。

此时&＃xff0c;利用谷歌浏览器的抓包工具&＃xff0c;即点击F12&＃xff0c;清空所有连接后&＃xff0c;F5刷新&＃xff0c;看到评论为下面的链接&＃xff1a;

记住右边标注红框的部分&＃xff0c;一会需要用到它来爬取评论。

同时点击左边第二行hotflow?id...那个network&＃xff0c;找到COOKIE值&＃xff0c;将他复制下来&＃xff0c;备用。

然后&＃xff0c;通过观察翻页规律&＃xff0c;发现第二页比首页评论多了一个参数max_id&＃xff0c;而这个参数可以在首页的页面返回值中拿到。故想获得n页的链接&＃xff0c;只需要解析n-1页就可以了。

• 爬微博评论阶段

  首先构造请求头&＃xff0c;通过requests库得到页面响应。

headers &＃61; { &＃39;User-Agent&＃39;: &＃39;Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.109 Safari/537.36&＃39;, &＃39;Accept&＃39;: &＃39;application/json, text/plain, */*&＃39;, &＃39;MWeibo-Pwa&＃39;: &＃39;1&＃39;, &＃39;Referer&＃39;: &＃39;https://m.weibo.cn/detail/%s&＃39; % mid, &＃39;X-Requested-With&＃39;: &＃39;XMLHttpRequest&＃39;,    &＃39;COOKIE&＃39;: &＃39;复制的COOKIE值&＃39; }url &＃61; args.urlif num > 1: url &＃61; &＃39;https://m.weibo.cn/comments/hotflow?id&＃61;{}&mid&＃61;{}&max_id&＃61;{}&max_id_type&＃61;0&＃39;.format(mid, mid, max_id)response &＃61; requests.get(url, headers&＃61;headers

接下来对返回值进行解析&＃xff1a;

comment &＃61; item[&＃39;text&＃39;]comment &＃61; emoji.demojize(comment)comment &＃61; re.sub(&＃39;&＃39;, &＃39; &＃39;, comment)comment &＃61; re.sub(&＃39;&＃39;, &＃39; &＃39;, comment)name &＃61; item[&＃39;user&＃39;][&＃39;screen_name&＃39;]created_at &＃61; itemi[&＃39;created_at&＃39;]

通过循环获取每条评论的用户名、评论时间和评论内容&＃xff0c;并对评论内容做去表情和图片链接的处理&＃xff0c;最后保存为csv文件&＃xff1a;

df &＃61; pd.DataFrame({&＃39;用户名&＃39;: name_list, &＃39;评论&＃39;: comment_list, &＃39;时间&＃39;: created_at_list})df &＃61; df.drop_duplicates()df.to_csv(&＃39;comments.csv&＃39;, index&＃61;False)

结果如图(二次泪目中...)&＃xff1a;

这样一个简单的爬虫就处理完成了&＃xff0c;食材准备好了&＃xff0c;主食就应该开火了&＃xff0c;起锅烧油&＃xff01;

偶像词云制作

首先&＃xff0c;选择你最爱的偶像的照片&＃xff0c;这里选择狂小狗童鞋&＃xff1a;

然后进行抠图、配上白色背景(如果不进行这一步&＃xff0c;最后制作的词云可能会因为色差不明显导致有噪音)&＃xff1a;

rmbg &＃61; RemoveBg("你的api", "error.log")rmbg.remove_background_from_img_file(path)
img &＃61; cv2.imread(path, -1) img_copy &＃61; img.copy() img_shape &＃61; img_copy.shape width &＃61; img_shape[0] height &＃61; img_shape[1] for yh in range(height): for xw in range(width): color_d &＃61; img_copy[xw, yh] if color_d[3] &＃61;&＃61; 0: img_copy[xw, yh] &＃61; [255, 255, 255, 255]

上述代码需要用到removebg模块的api&＃xff0c;搜索这个模块&＃xff0c;注册一下就可以拿到&＃xff0c;很简单。

可见&＃xff0c;人们对于简自豪UZI的退役还是怀念与祝福占主流的&＃xff0c;一员老将的离去&＃xff0c;标志着一部分人青春的结束&＃xff0c;但是未来的旅程也会同样精彩的&＃xff01;

不只是UZI&＃xff0c;你喜欢的偶像是谁呢&＃xff1f;准备一张他的美照&＃xff0c;输入启动命令&＃39;python crawling.py --url 评论链接 --image 美照地址&＃39;&＃xff0c;就可以进行词云自动生成了。