自然语言处理
本节介绍如何使用Python中的库,生成词云图,涉及自然语言处理的相关问题,自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法,自然语言处理是一门融语言学、计算机科学、数学于一体的科学。
自然语言处理(NLP)是计算机科学,人工智能,语言学关注计算机和人类(自然)语言之间的相互作用的领域。
代码示例
首先导入基本的库,这里选择jiebe分词库,对于文本进行分词处理。
import jiebaprint(list(jieba.cut("自然语言是计算机科学领域与人工智能领域中的一个重要方向。")))
代码运行结果如下,实现了将每一条语句进行分词处理。
['自然语言', '是', '计算机科学', '领域', '与', '人工智能', '领域', '中', '的', '一个', '重要', '方向', '。']接下来读入我们需要做词云的实验文本。
#读入文本with open(r"C:\Users\shangtianqiang\Desktop\实验文本.txt" ,encoding="utf-8")as file: text=file.read() print(text)
这里将导入的实验文本进行分词处理,并且分隔符为空。
#文本分词wordlist_jieba=jieba.cut(text)space_wordlist=" ".join(wordlist_jieba)print(space_wordlist)
对于语句成功分词后,就可以定义分词函数,这个在后文会用到。
#文本分词def chinese_jieba(text): wordlist_jieba=jieba.cut(text) space_wordlist=" ".join(wordlist_jieba) return space_wordlistspace_wordlist
紧接着导入词云库,读取文本内容后,设置词云的背景颜色,图片的大小,控制显示的词数等。
from wordcloud import WordCloud#读取文本内容with open(r"C:\Users\shangtianqiang\Desktop\实验文本.txt" ,encoding="utf-8")as file: text=file.read()#设置词云的背景颜色、宽高、字数 wordcloud=WordCloud(font_path="C:/Windows/Fonts/simfang.ttf",background_color="white",width=600,height=300,max_words=30).generate(text)#生成图片image=wordcloud.to_image()#显示图片image.show()
最后,将调试的代码进行封装,一起看一下最后生成的结果。
# 将文本进行分词,并添加图片背景from wordcloud import WordCloudimport jiebaimport numpyimport PIL.Image as Image#将字符串切分def chinese_jieba(text): wordlist_jieba=jieba.cut(text) space_wordlist=" ".join(wordlist_jieba) return space_wordlist#读取文本内容with open(r"C:\Users\shangtianqiang\Desktop\实验文本.txt" ,encoding="utf-8")as file: text=file.read()text=chinese_jieba(text)#这里需要自己导入一张图片作为背景图片mask_pic=numpy.array(Image.open(r"C:\Users\shangtianqiang\Desktop\图片1.png"))#将参数mask设值为:mask_picwordcloud = WordCloud(font_path="C:/Windows/Fonts/simfang.ttf",background_color="white",width=600,height=300,max_words=30,mask=mask_pic).generate(text)#生成图片image=wordcloud.to_image()#显示图片image.show()
这里所显示的词云结果并不直观,通过改变我们的背景图,以及将实验的文本词变得更加单一,多多调试几次,即可得出如下的结果。
要得出一个完美的词云结果,需要我们耐心的调试,控制词数,颜色等。