第六周jieba库

jieba库概述

jieba是优秀的中文分词第三方库

• 中文文本需要通过分词获得单个的词语
• jieba是优秀的中文分词第三方库&＃xff0c;需要额外安装
• jieba库提供三种分词模式&＃xff0c;最简单只需要掌握一个函数

jieba库的安装

jieba分词的原理

jieba分词依靠中文词库

• 利用一个中文词库&＃xff0c;确定汉字之间的关联概率
• 汉字间概率大的组成词组&＃xff0c;形成分词结果
• 除了分词&＃xff0c;用户还可以添加自定义的词组

jieba分词的三种模式

精确模式、全模式、搜索引擎模式

• 精确模式&＃xff1a;把文本精确的切分开&＃xff0c;不存在冗余单词
• 全模式&＃xff1a;把文本中所有可能的词语都扫描出来&＃xff0c;有冗余
• 搜索引擎模式&＃xff1a;在精确模式的基础上&＃xff0c;对长词再次切分

jieba库常用函数

jieba分词要点

掌握这个函数&＃xff1a;jieba.lcut(s)