热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

如何用R语言做词云图,以某部网络小说为例

作者:horoR语言中文社区专栏作者知乎ID:https:www.zhihu.compeoplelin-jia-chuan前言一开始,我在

640?wx_fmt=png

作者:horo  R语言中文社区专栏作者

知乎ID:

https://www.zhihu.com/people/lin-jia-chuan


前言

一开始,我在学做词云图时,逛了不少论坛和博客,虽然他们都说的好像很简单的样子,但总觉得自己还是不会做(现在也是)。之所以不会主要是不知道它的原理是什么,所以这里写一下经验,避免后面的人掉坑。


安装

首先我们要知道,R语言做词云图,是用wordcloud或是wordcloud2制作的,所以要先安装好任意一个。这里先全部安装,并导入目录当中:

install.packages("wordcloud")
install.packages("wordcloud2")
library(wordcloud)
library(wordcloud2)


wordcloud的基本输入格式如下,其他的暂时没用到先不管,需要时再百度

wordcloud(words=词向量,freq=词频向量,
min.freq=n,max.words=m,random.order=TRUE/FALSE)


词向量和词频向量

先看了一下这个词向量和词频向量指什么意思,以下面的文件为例,一本相对热门的网络小说的文件,已经处理好的了。

640?wx_fmt=jpeg

由此可知,wordcloud最最主要需要的就是这么两个变量,一个是分好的词,一个是词的频率,wordcloud2也是如此,但是在日常中我们并没有直接分好的文件,而是一大堆混杂在一起的字符数字或是无意义的符号,所以我们要做词云图,关键是要做如下几步,一是把词给分好,第二是将文件的的词的频率计算出来,三是将无意义的符号给去除掉。拿人道至尊这部小说为例。

640?wx_fmt=jpeg


1、分词

第一步涉及到自然语言处理的知识,这里暂且不表,相关论文可自己去看,R里面有不少包可以用来分词,主要有Rwordseg(这个包已经不适用最新版本了,不过用的人太多了容易找到教程)还有jiebaR这个包,jiebaR这个包与jiebaRD这个包是配套的,所以请一同下载,如果出错,估计是配置环境没有弄好,如JAVA什么的,直接下载或百度即可。

我们这里主要是用jieba包进行分词的,所以输入下列程序:

install.packages("jiebaR")
install.packages("jiebaRD")
library(jiebaRD)
library(jiebaR)


jiebaR包里有一个叫segment的函数,它可以用来分词,主要的输入格式如下:

segment(code,jieba)


code是文件的内容,jieba是用来分词的工具,我们首先设置下分词的工具,输入:

engine = worker()


然后把文件也写进去:

segment("人道至尊.txt",engine)


这时它就会反馈给你一个新的,已经分好的txt文件,直接将那个文件导入到R中即可。输入:

word <- scan(&#39;人道至尊.segment.2018-12-06_18_38_22.txt&#39;,sep&#61;&#39;\n&#39;,what&#61;&#39;&#39;,encoding&#61;"UTF-8")



2、计算词频

导入好了之后就可以进行下一步&#xff0c;计算词频了&#xff0c;这里我直接输入&#xff1a;

word <- qseg[word]
word <- freq(word)

然后就可以得到下列结果&#xff1a;

640?wx_fmt&#61;jpeg

可以看到制作词云图的两个关键参数已经满足了&#xff0c;接下来就可以直接制作了。如下面所写的书写格式&#xff0c;可输入下列程序&#xff1a;

wordcloud(word$char,word$freq,min.freq &#61; 1000,scale&#61;c(8,0.5),colors&#61;colors,random.order&#61;F)


值得注意的是&#xff0c;我这里的min.freq选择了一千&#xff0c;指的是我只要词频大于一千的词&#xff0c;原因是小说的分词太多&#xff0c;词频设置的太少会突出不了重点&#xff0c;不利于之后分析。故得到了下列图&#xff1a;

640?wx_fmt&#61;jpeg

这时我们就可以看到有一些词是没有意义的&#xff0c;比如说“的”&#xff0c;“它”&#xff0c;“你”等等&#xff0c;通常人们叫它停词&#xff0c;所以我们应当把这些无意义的词去掉&#xff0c;通常人们解决这种问题的手段&#xff0c;是通过手动增加停词的文件&#xff0c;或是引用其他人已经做好的停词文件。我这里则是直接通过Excel解决的&#xff0c;因为这里的停词是清晰可见的&#xff0c;而且数量较少&#xff0c;备份一下&#xff0c;然后手动删除&#xff0c;利用vlookup函数或是排序后&#xff0c;手动删除&#xff08;条条大路通罗马,才不会告诉你我不会用停词表呢&#xff0c;哼&#xff09;。


3、去除无意义的词

所以先将上述的词频文件word导出成excel文件&#xff0c;输入下列语句&#xff1a;

write.csv(word, file &#61; "人道至尊分词.csv")


处理好了效果如下&#xff1a;

640?wx_fmt&#61;jpeg

再将文件重新导入回去&#xff1a;

word2 <-read.csv(file &#61; "人道至尊分词.csv")


好了&#xff0c;接下来可以重新制作了&#xff0c;因为删掉一些无意义的词&#xff0c;所以min.freq可以放宽一点&#xff0c;设置为500&#xff0c;输入语句如下&#xff1a;

wordcloud(word2$char,word2$freq,min.freq &#61; 500,scale&#61;c(8,0.5),colors&#61;colors,random.order&#61;F)


得到效果如下&#xff1a;

640?wx_fmt&#61;jpeg

这下效果就不错了&#xff0c;wordcloud就先到这里&#xff0c;接下来介绍wordcloud2。

wordcloud2

为什么要用wordcloud2包&#xff0c;因为它做出来的图更好看&#xff0c;而且在词云图中可以看到每一个词的频率&#xff0c;它的基本输入格式如下。当然有更强大的参数没有列出来&#xff0c;详情请百度wordcloud2参数。

wordcloud2(file,color &#61; 颜色, backgroundColor &#61; 颜色,shape&#61;&#39;形状&#39;)


file指的是词的文件&#xff0c;注意&#xff0c;由于wordcloud2不像wordcloud那样&#xff0c;可以设置最低词频&#xff0c;所以所有的词都会一股脑的塞进入词云之中&#xff0c;这样词量过大会造成词云图很难看&#xff0c;所以要事先做处理&#xff08;这里我不是很确定&#xff0c;也许有可以直接设置的劳烦大神告知&#xff09;&#xff0c;我这里将词频高于300的都挑出来了&#xff0c;输入下列程序&#xff1a;

word3 <- word2[1:300,]


然后开始制作&#xff1a;

wordcloud2(word3,color &#61; "random-light", backgroundColor &#61; "grey")


得到下列结果&#xff1a;

640?wx_fmt&#61;jpeg

我们可以选择不同的形状&#xff0c;如默认是‘circle’&#xff08;圆形&#xff09;&#xff0c;‘cardioid’&#xff08;苹果形或心形&#xff09;&#xff0c;‘star’&#xff08;星形&#xff09;&#xff0c;‘diamond’&#xff08;钻石&#xff09;&#xff0c;‘triangle-forward’&#xff08;三角形&#xff09;&#xff0c;‘triangle’&#xff08;三角形&#xff09;&#xff0c;‘pentagon’&#xff08;五边形&#xff09;&#xff1b;输入下列程序&#xff1a;

wordcloud2(word3,color &#61; "random-light", backgroundColor &#61; "grey",shape&#61;&#39;star&#39;)


结果得&#xff1a;

640?wx_fmt&#61;jpeg

当然看起来一般般&#xff0c;不过wordcloud2还可以自己选择图片去制作&#xff0c;比如说小鸟图片&#xff0c;人物图片什么的&#xff0c;暂且不表&#xff0c;可以参考原文档或直接百度。


640?wx_fmt&#61;gif


640?wx_fmt&#61;jpeg

公众号后台回复关键字即可学习

回复 爬虫             爬虫三大案例实战  
回复 
Python        1小时破冰入门

回复 数据挖掘      R语言入门及数据挖掘
回复 
人工智能      三个月入门人工智能
回复 数据分析师   数据分析师成长之路 
回复 机器学习      机器学习的商业应用
回复 数据科学      数据科学实战
回复 常用算法      常用数据挖掘算法



推荐阅读
  • 本文介绍如何使用Python进行文本处理,包括分词和生成词云图。通过整合多个文本文件、去除停用词并生成词云图,展示文本数据的可视化分析方法。 ... [详细]
  • 深入解析JVM垃圾收集器
    本文基于《深入理解Java虚拟机:JVM高级特性与最佳实践》第二版,详细探讨了JVM中不同类型的垃圾收集器及其工作原理。通过介绍各种垃圾收集器的特性和应用场景,帮助读者更好地理解和优化JVM内存管理。 ... [详细]
  • 优化ListView性能
    本文深入探讨了如何通过多种技术手段优化ListView的性能,包括视图复用、ViewHolder模式、分批加载数据、图片优化及内存管理等。这些方法能够显著提升应用的响应速度和用户体验。 ... [详细]
  • 本文详细介绍了 Dockerfile 的编写方法及其在网络配置中的应用,涵盖基础指令、镜像构建与发布流程,并深入探讨了 Docker 的默认网络、容器互联及自定义网络的实现。 ... [详细]
  • 前言--页数多了以后需要指定到某一页(只做了功能,样式没有细调)html ... [详细]
  • 2023年京东Android面试真题解析与经验分享
    本文由一位拥有6年Android开发经验的工程师撰写,详细解析了京东面试中常见的技术问题。涵盖引用传递、Handler机制、ListView优化、多线程控制及ANR处理等核心知识点。 ... [详细]
  • 从 .NET 转 Java 的自学之路:IO 流基础篇
    本文详细介绍了 Java 中的 IO 流,包括字节流和字符流的基本概念及其操作方式。探讨了如何处理不同类型的文件数据,并结合编码机制确保字符数据的正确读写。同时,文中还涵盖了装饰设计模式的应用,以及多种常见的 IO 操作实例。 ... [详细]
  • 本文介绍如何使用阿里云的fastjson库解析包含时间戳、IP地址和参数等信息的JSON格式文本,并进行数据处理和保存。 ... [详细]
  • Scala 实现 UTF-8 编码属性文件读取与克隆
    本文介绍如何使用 Scala 以 UTF-8 编码方式读取属性文件,并实现属性文件的克隆功能。通过这种方式,可以确保配置文件在多线程环境下的一致性和高效性。 ... [详细]
  • PostgreSQL 10 离线安装指南
    本文详细介绍了如何在无法联网的服务器上进行 PostgreSQL 10 的离线安装,并涵盖了从下载安装包到配置远程访问的完整步骤。 ... [详细]
  • 本文介绍如何使用布局文件在Android应用中排列多行TextView和Button,使其占据屏幕的特定比例,并提供示例代码以帮助理解和实现。 ... [详细]
  • 本文将介绍如何编写一些有趣的VBScript脚本,这些脚本可以在朋友之间进行无害的恶作剧。通过简单的代码示例,帮助您了解VBScript的基本语法和功能。 ... [详细]
  • 本文详细介绍如何使用Python进行配置文件的读写操作,涵盖常见的配置文件格式(如INI、JSON、TOML和YAML),并提供具体的代码示例。 ... [详细]
  • XNA 3.0 游戏编程:从 XML 文件加载数据
    本文介绍如何在 XNA 3.0 游戏项目中从 XML 文件加载数据。我们将探讨如何将 XML 数据序列化为二进制文件,并通过内容管道加载到游戏中。此外,还会涉及自定义类型读取器和写入器的实现。 ... [详细]
  • 根据最新发布的《互联网人才趋势报告》,尽管大量IT从业者已转向Python开发,但随着人工智能和大数据领域的迅猛发展,仍存在巨大的人才缺口。本文将详细介绍如何使用Python编写一个简单的爬虫程序,并提供完整的代码示例。 ... [详细]
author-avatar
闻汝婕环境_259
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有