一、jieba分词功能

来源github&＃xff1a;https://github.com/fxsjy/jieba

1、主要模式

支持三种分词模式&＃xff1a;

• 精确模式&＃xff0c;试图将句子最精确地切开&＃xff0c;适合文本分析&＃xff1b;
• 全模式&＃xff0c;把句子中所有的可以成词的词语都扫描出来, 速度非常快&＃xff0c;但是不能解决歧义&＃xff1b;
• 搜索引擎模式&＃xff0c;在精确模式的基础上&＃xff0c;对长词再次切分&＃xff0c;提高召回率&＃xff0c;适合用于搜索引擎分词。 支持繁体分词

支持自定义词典 
.

2、算法

• 基于前缀词典实现高效的词图扫描&＃xff0c;生成句子中汉字所有可能成词情况所构成的有向无环图 (DAG)
• 采用了动态规划查找最大概率路径, 找出基于词频的最大切分组合
• 对于未登录词&＃xff0c;采用了基于汉字成词能力的 HMM 模型&＃xff0c;使用了 Viterbi 算法 
  .

3、主要功能

• jieba.cut

方法接受三个输入参数: 需要分词的字符串&＃xff1b;cut_all 参数用来控制是否采用全模式&＃xff1b;HMM 参数用来控制是否使用HMM 模型

• 1
• 2

• jieba.cut_for_search

方法接受两个参数&＃xff1a;需要分词的字符串&＃xff1b;是否使用 HMM模型。该方法适合用于搜索引擎构建倒排索引的分词&＃xff0c;粒度比较细 待分词的字符串可以是 unicode 或 UTF-8 字符串、GBK字符串。注意&＃xff1a;不建议直接输入 GBK 字符串&＃xff0c;可能无法预料地错误解码成 UTF-8

• 1
• 2
• 3

• jieba.Tokenizer(dictionary&＃61;DEFAULT_DICT)

新建自定义分词器&＃xff0c;可用于同时使用不同词典。jieba.dt 为默认分词器&＃xff0c;所有全局分词相关函数都是该分词器的映射。

• 1

• 载入词典

用法&＃xff1a; jieba.load_userdict(file_name) # file_name 为文件类对象或自定义词典的路径词典格式和 dict.txt一样&＃xff0c;一个词占一行&＃xff1b;每一行分三部分&＃xff1a;词语、词频&＃xff08;可省略&＃xff09;、词性&＃xff08;可省略&＃xff09;&＃xff0c;用空格隔开&＃xff0c;顺序不可颠倒。file_name若为路径或二进制方式打开的文件&＃xff0c;则文件必须为 UTF-8 编码。 词频省略时使用自动计算的能保证分出该词的词频。

• 1
• 2
• 3
• 4

• 调整词典。

使用 add_word(word, freq&＃61;None, tag&＃61;None) 和 del_word(word)可在程序中动态修改词典。使用 suggest_freq(segment, tune&＃61;True) 可调节单个词语的词频&＃xff0c;使其能&＃xff08;或不能&＃xff09;被分出来。注意&＃xff1a;自动计算的词频在使用 HMM 新词发现功能时可能无效。

• 1
• 2
• 3
• 4

• 基于 TF-IDF 算法的关键词抽取

import jieba.analysejieba.analyse.extract_tags(sentence, topK&＃61;20, withWeight&＃61;False, allowPOS&＃61;())
sentence 为待提取的文本
topK 为返回几个 TF/IDF 权重最大的关键词&＃xff0c;默认值为 20
withWeight 为是否一并返回关键词权重值&＃xff0c;默认值为 False
allowPOS 仅包括指定词性的词&＃xff0c;默认值为空&＃xff0c;即不筛选
jieba.analyse.TFIDF(idf_path&＃61;None) 新建 TFIDF 实例&＃xff0c;idf_path 为 IDF 频率文件

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8

• 基于 TextRank 算法的关键词抽取

jieba.analyse.textrank(sentence, topK&＃61;20, withWeight&＃61;False, allowPOS&＃61;(&＃39;ns&＃39;, &＃39;n&＃39;, &＃39;vn&＃39;, &＃39;v&＃39;)) 直接使用&＃xff0c;接口相同&＃xff0c;注意默认过滤词性。
jieba.analyse.TextRank() 新建自定义 TextRank 实例

• 1
• 2

• 词性标注

jieba.posseg.POSTokenizer(tokenizer&＃61;None) 新建自定义分词器&＃xff0c;tokenizer 参数可指定内部使用的 jieba.Tokenizer 分词器。jieba.posseg.dt 为默认词性标注分词器。
标注句子分词后每个词的词性&＃xff0c;采用和 ictclas 兼容的标记法。

• 1
• 2

• 并行分词

基于 python 自带的 multiprocessing 模块&＃xff0c;目前暂不支持 Windows用法&＃xff1a;jieba.enable_parallel(4) # 开启并行分词模式&＃xff0c;参数为并行进程数
jieba.disable_parallel() # 关闭并行分词模式

• 1
• 2
• 3
• 4
• 5
• 6

.

应用一&＃xff1a;自定义词典或特定词识别

自定义词典加入方式一&＃xff1a;

import jieba
jieba.load_userdict("userdict.txt")

• 1
• 2

自定义词典的格式为词语-词频-词性&＃xff0c;其中词频与词性可以没有&＃xff1a;

&＃xfeff;云计算 5
李小福 2 nr
创新办 3 i
easy_install 3 eng
好用 300
韩玉赏鉴 3 nz
八一双鹿 3 nz
台中
凱特琳 nz
Edu Trust认证 2000

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10

自定义词加入方式二&＃xff1a;

• add_word(word, freq&＃61;None, tag&＃61;None) 和 del_word(word) 可在程序中动态修改词典。
• suggest_freq(segment, tune&＃61;True) 可调节单个词语的词频&＃xff0c;使其能&＃xff08;或不能&＃xff09;被分出来。

>>> print(&＃39;/&＃39;.join(jieba.cut(&＃39;如果放到post中将出错。&＃39;, HMM&＃61;False)))
如果/放到/post/中将/出错/。
>>> jieba.suggest_freq((&＃39;中&＃39;, &＃39;将&＃39;), True)
494
>>> jieba.add_word((&＃39;中将&＃39;), freq &＃61; 500)


• 1
• 2
• 3
• 4
• 5
• 6

.

应用二&＃xff1a;关键词提取

import jieba.analyse
text &＃61; &＃39;新媒体运营如何提升自己的写作能力&＃39;# 添加新词
word &＃61; &＃39;新媒体运营&＃39;
jieba.suggest_freq((word), True)
jieba.add_word(word, freq&＃61;100, tag&＃61;&＃39;get&＃39;)# 利用idf进行关键词提取
jieba.analyse.set_idf_path("/mnt/gensim/jieba-master/idf.txt.big")
print &＃39; &＃39;.join(jieba.analyse.extract_tags(text, topK&＃61;100, withWeight&＃61;False, allowPOS&＃61;(&＃39;get&＃39;,&＃39;n&＃39;,&＃39;ns&＃39;,&＃39;vn&＃39;)))

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11

jieba.analyse.set_idf_path()可以在关键词提取时&＃xff0c;进行IDF设置&＃xff0c;一般来说&＃xff0c;IDF设置大一些&＃xff0c;露出机会就多一些。 
add_word()此时可以自定义一种词性&＃xff0c;这样就可以达到特定领域词的提取。

此时还可以设置停用词&＃xff1a;

jieba.analyse.set_stop_words(file_name)

• 1

格式为&＃xff1a;

the
of
is
and
to
in
that
we
for
an
are
by
be
as
on
with
can
if
from
which
you

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14
• 15
• 16
• 17
• 18
• 19
• 20
• 21

二、gensim的doc2bow实现词袋模型

词袋模型不做过多介绍&＃xff0c;直接来个案例

from gensim import corpora, models, similarities
raw_documents &＃61; [ &＃39;0无偿居间介绍买卖毒品的行为应如何定性&＃39;, &＃39;1吸毒男动态持有大量毒品的行为该如何认定&＃39;, &＃39;2如何区分是非法种植毒品原植物罪还是非法制造毒品罪&＃39;, &＃39;3为毒贩贩卖毒品提供帮助构成贩卖毒品罪&＃39;, &＃39;4将自己吸食的毒品原价转让给朋友吸食的行为该如何认定&＃39;, &＃39;5为获报酬帮人购买毒品的行为该如何认定&＃39;, &＃39;6毒贩出狱后再次够买毒品途中被抓的行为认定&＃39;, &＃39;7虚夸毒品功效劝人吸食毒品的行为该如何认定&＃39;, &＃39;8妻子下落不明丈夫又与他人登记结婚是否为无效婚姻&＃39;, &＃39;9一方未签字办理的结婚登记是否有效&＃39;, &＃39;10夫妻双方1990年按农村习俗举办婚礼没有结婚证 一方可否起诉离婚&＃39;, &＃39;11结婚前对方父母出资购买的住房写我们二人的名字有效吗&＃39;, &＃39;12身份证被别人冒用无法登记结婚怎么办&＃xff1f;&＃39;, &＃39;13同居后又与他人登记结婚是否构成重婚罪&＃39;, &＃39;14未办登记只举办结婚仪式可起诉离婚吗&＃39;, &＃39;15同居多年未办理结婚登记&＃xff0c;是否可以向法院起诉要求离婚&＃39;
]

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14
• 15
• 16
• 17
• 18
• 19

载入中文数据以及对应的包&＃xff0c;corpora是构造词典的, similarities求相似性可以用得到。

texts &＃61; [[word for word in jieba.cut(document, cut_all&＃61;True)] for document in raw_documents]


• 1
• 2

将词语进行分词&＃xff0c;并进行存储。

dictionary &＃61; corpora.Dictionary(texts)

• 1

寻找整篇语料的词典、所有词&＃xff0c;corpora.Dictionary。

corpus &＃61; [dictionary.doc2bow(text) for text in texts]

• 1

建立语料之后&＃xff0c;分支一&＃xff1a;BOW词袋模型&＃xff1b;分支二&＃xff1a;建立TFIDF。 
.

分之一&＃xff1a;BOW词袋模型

由doc2bow变为词袋&＃xff0c;输出的格式为&＃xff1a;

[[(0, 1), (1, 1), (2, 1), (3, 1), (4, 1), (5, 1), (6, 1)], [(0, 1), (4, 1), (5, 1), (7, 1), (8, 1), (9, 2), (10, 1)], [(0, 1), (3, 1), (4, 1), (5, 1), (6, 1), (7, 1), (10, 1)]]

• 1

例如&＃xff08;9&＃xff0c;2&＃xff09;这个元素代表第二篇文档中id为9的单词“silver”出现了2次。 
.

分支二&＃xff1a;建立TFIDF

tfidf &＃61; models.TfidfModel(corpus)

• 1

使用tf-idf 模型得出该评论集的tf-idf 模型

corpus_tfidf &＃61; tfidf[corpus]

• 1

此处已经计算得出所有评论的tf-idf 值

在TFIDF的基础上&＃xff0c;进行相似性检索。

similarity &＃61; similarities.Similarity(&＃39;Similarity-tfidf-index&＃39;, corpus_tfidf, num_features&＃61;600)

• 1

然后进行similarity检索。

print(similarity[test_corpus_tfidf_1]) # 返回最相似的样本材料,(index_of_document, similarity) tuples

• 1

当然其中的test_corpus_tfidf_1需要进行预先处理。先变为dow2bow&＃xff0c;然后tfidf 
.

情况一&＃xff1a;新的句子

new_sensence &＃61; "16通过下面一句得到语料中每一篇文档对应的稀疏向量"
test_corpus_1 &＃61; dictionary.doc2bow(jieba.cut(raw_documents[1], cut_all&＃61;True))
vec_tfidf &＃61; tfidf[test_corpus_1]

• 1
• 2
• 3

利用doc2bow对其进行分割&＃xff0c;然后求tfidf模型。输出的结果即为&＃xff1a;

vec_tfidf
Out[82]:
[(1, 0.09586155438319434),(5, 0.1356476941913782),(6, 0.09586155438319434),(8, 0.1356476941913782),(11, 0.19172310876638868),(12, 0.38344621753277736),(13, 0.38344621753277736),(14, 0.38344621753277736),(15, 0.16086258119086566),(16, 0.38344621753277736),(17, 0.38344621753277736),(18, 0.38344621753277736)]

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14

.

情况二&＃xff1a;tfidf模型的保存与内容查看

for item in corpus_tfidf: print(item)
tfidf.save("data.tfidf")
tfidf &＃61; models.TfidfModel.load("data.tfidf")
print(tfidf_model.dfs)

• 1
• 2
• 3
• 4
• 5

案例一&＃xff1a; 
test_corpus是语料&＃xff0c;通过bow2vec函数向量格式更改为&＃xff1a;[0.1,0.2,0,0,0,0,…,0.9]

import jieba
from gensim import corpora, models, similarities
import numpy as np
from tqdm import tqdmtexts &＃61; [[word for word in jieba.cut(document, cut_all&＃61;True)] for document in test_corpus]
dictionary &＃61; corpora.Dictionary(texts)
corpus &＃61; [dictionary.doc2bow(text) for text in texts]
tfidf &＃61; models.TfidfModel(corpus)
corpus_tfidf &＃61;tfidf[corpus] def bow2vec(corpus_tfidf,dictionary):vec &＃61; []length &＃61; max(dictionary) &＃43; 1for content in tqdm(corpus_tfidf):sentense_vectors &＃61; np.zeros(length)for co in content:sentense_vectors[co[0]]&＃61;co[1]vec.append(sentense_vectors)return vecsvec &＃61; bow2vec(corpus_tfidf,dictionary)

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14
• 15
• 16
• 17
• 18
• 19
• 20
• 21
• 22