NLPPython笔记——nltk模块基础操作

nltk是一款常用的基于python的NLP工具包&＃xff0c;本文介绍了nlkt的安装导入以及一些基础的函数操作。

1. 安装

&＃xff08;1&＃xff09;安装nltk库&＃xff1a;  pip install nlkt

&＃xff08;2&＃xff09;下载nltk库中的book文件&＃xff1a;

import nltk
nltk.download()

运行--> 弹出下载界面 --> 选择book--> 设置好路径--> Download

&＃xff08;3&＃xff09;下载好后&＃xff0c;加载nltk的book模块中所有条目&＃xff1a;

from nltk.book import *

&＃xff08;4&＃xff09;加载后&＃xff0c;就可以使用库中包含的文档了。如&＃xff0c;text1/tex2/tex3.....

2. 几个基础函数

&＃xff08;1&＃xff09;搜索文本&＃xff1a;text.concordance(word)

例如&＃xff0c;在text1中搜索词”is”在文本中出现的次数以及上下文的词&＃xff1a;text1.concordance("is")

&＃xff08;2&＃xff09;搜索上下文相似的词&＃xff1a;text.similar(word)

例如&＃xff0c;在text1中搜索哪些相似的词出现在词”is”的上下文中&＃xff1a;text1.similar("is")

&＃xff08;3&＃xff09;搜索几个词汇上下文的公共词汇&＃xff1a;text.common_contexts([word1,word2…])

例如&＃xff0c;在text1中搜索哪些词是”is”和“that”上下文中的公共词汇&＃xff1a;text1.common_contexts(["is","that"])

&＃xff08;4&＃xff09;离散图表示词出现的位置序列&＃xff1a;text.dispersion_plot([word1, word2,])

例如&＃xff0c;用离散图表示词"am","is","are","the","a"在text1中出现的位置&＃xff0c;即从开头算起的第多少个词&＃xff1a;text1.dispersion_plot(["am","is","are","the","a"])

&＃xff08;5&＃xff09;统计文本标示符&＃xff08;单词和标点符号&＃xff09;的个数&＃xff1a;len(text)

&＃xff08;6&＃xff09;获取文本的词汇表&＃xff08;含标点符号&＃xff09;&＃xff1a;set(text)

&＃xff08;7&＃xff09;获取词汇表并排序&＃xff1a;sorted(set(text))

&＃xff08;8&＃xff09;统计词汇表的大小&＃xff1a;len(set(text))