自然语言处理系列二十五》词性标注》词性标注原理》CRF词性标注

注&＃xff1a;此文章内容均节选自充电了么创始人&＃xff0c;CEO兼CTO陈敬雷老师的新书《分布式机器学习实战》&＃xff08;人工智能科学与技术丛书&＃xff09;【陈敬雷编著】【清华大学出版社】

词性标注

词性标注&＃xff08;Part-Of-Speech tagging, POS tagging&＃xff09;也被称为语法标注&＃xff08;grammatical tagging&＃xff09;或词类消疑&＃xff08;word-category disambiguation&＃xff09;&＃xff0c;是语料库语言学&＃xff08;corpus linguistics&＃xff09;中将语料库内单词的词性按其含义和上下文内容进行标记的文本数据处理技术。
词性标注可以由人工或特定算法完成&＃xff0c;使用机器学习&＃xff08;machine learning&＃xff09;方法实现词性标注是自然语言处理&＃xff08;Natural Language Processing, NLP&＃xff09;的研究内容。常见的词性标注算法包括隐马尔可夫模型&＃xff08;Hidden Markov Model, HMM&＃xff09;、条件随机场&＃xff08;Conditional random fields, CRFs&＃xff09;等。词性标注主要被应用于文本挖掘&＃xff08;text mining&＃xff09;和NLP领域&＃xff0c;是各类基于文本的机器学习任务&＃xff0c;例如语义分析&＃xff08;semantic analysis&＃xff09;和指代消解&＃xff08;coreference resolution&＃xff09;的预处理步骤。下面我们分别从原理和实战工具给大家详细讲解。

CRF词性标注

上面我们讲中文分词的时候讲到过条件随机场模型&＃xff0c;条件随机场模型词性标注代码如下所示&＃xff1a;

from pyhanlp import *
import zipfile
import os
from pyhanlp.static import download, remove_file, HANLP_DATA_PATHdef test_data_path():"""获取测试数据路径&＃xff0c;位于$root/data/test&＃xff0c;根目录由配置文件指定。:return:"""data_path &＃61; os.path.join(HANLP_DATA_PATH, &＃39;test&＃39;)if not os.path.isdir(data_path):os.mkdir(data_path)return data_path
## 验证是否存在 MSR语料库&＃xff0c;如果没有自动下载
def ensure_data(data_name, data_url):root_path &＃61; test_data_path()dest_path &＃61; os.path.join(root_path, data_name)if os.path.exists(dest_path):return dest_pathif data_url.endswith(&＃39;.zip&＃39;):dest_path &＃43;&＃61; &＃39;.zip&＃39;download(data_url, dest_path)if data_url.endswith(&＃39;.zip&＃39;):with zipfile.ZipFile(dest_path, "r") as archive:archive.extractall(root_path)remove_file(dest_path)dest_path &＃61; dest_path[:-len(&＃39;.zip&＃39;)]return dest_path
## 指定 PKU 语料库
PKU98 &＃61; ensure_data("pku98", "http://file.hankcs.com/corpus/pku98.zip")
PKU199801 &＃61; os.path.join(PKU98, &＃39;199801.txt&＃39;)
PKU199801_TRAIN &＃61; os.path.join(PKU98, &＃39;199801-train.txt&＃39;)
PKU199801_TEST &＃61; os.path.join(PKU98, &＃39;199801-test.txt&＃39;)
POS_MODEL &＃61; os.path.join(PKU98, &＃39;pos.bin&＃39;)
NER_MODEL &＃61; os.path.join(PKU98, &＃39;ner.bin&＃39;)
## &＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;
## 以下开始 CRF 词性标注
AbstractLexicalAnalyzer &＃61; JClass(&＃39;com.hankcs.hanlp.tokenizer.lexical.AbstractLexicalAnalyzer&＃39;)
PerceptronSegmenter &＃61; JClass(&＃39;com.hankcs.hanlp.model.perceptron.PerceptronSegmenter&＃39;)
CRFPOSTagger &＃61; JClass(&＃39;com.hankcs.hanlp.model.crf.CRFPOSTagger&＃39;)def train_crf_pos(corpus):# 选项1.使用HanLP的Java API训练&＃xff0c;慢tagger &＃61; CRFPOSTagger(None) # 创建空白标注器tagger.train(corpus, POS_MODEL) # 训练tagger &＃61; CRFPOSTagger(POS_MODEL) # 加载# 选项2.使用CRF&＃43;&＃43;训练&＃xff0c;HanLP加载。&＃xff08;训练命令由选项1给出&＃xff09;# tagger &＃61; CRFPOSTagger(POS_MODEL &＃43; ".txt")analyzer &＃61; AbstractLexicalAnalyzer(PerceptronSegmenter(), tagger) # 构造词法分析器&＃xff0c;与感知机分词器结合&＃xff0c;能同时进行分词和词性标注。print(analyzer.analyze("李狗蛋的希望是希望上学")) # 分词&＃43;词性标注print(analyzer.analyze("李狗蛋的希望是希望上学").translateLabels()) # 对词性进行翻译return taggerif __name__ &＃61;&＃61; &＃39;__main__&＃39;:tagger &＃61; train_crf_pos(PKU199801_TRAIN)。


运行时间会比较长&＃xff0c;结果如下:
李狗蛋/nr 的/u 希望/n 是/v 希望/v 上学/v
李狗蛋/人名 的/助词 希望/名词 是/动词 希望/动词 上学/动词
依然可以成功识别 OOV “李狗蛋”的词性。

了解了词性标注的原理和算法后&＃xff0c;下面我们介绍流行的开源工具Jieba和HanLP&＃xff0c;用他们如何来做词性标注。

此文章有对应的配套视频&＃xff0c;其它更多精彩文章请大家下载充电了么app&＃xff0c;可获取千万免费好课和文章&＃xff0c;配套新书教材请看陈敬雷新书&＃xff1a;《分布式机器学习实战》&＃xff08;人工智能科学与技术丛书&＃xff09;

【新书介绍】
《分布式机器学习实战》&＃xff08;人工智能科学与技术丛书&＃xff09;【陈敬雷编著】【清华大学出版社】
新书特色&＃xff1a;深入浅出&＃xff0c;逐步讲解分布式机器学习的框架及应用配套个性化推荐算法系统、人脸识别、对话机器人等实战项目

【新书介绍视频】
分布式机器学习实战&＃xff08;人工智能科学与技术丛书&＃xff09;新书【陈敬雷】
视频特色&＃xff1a;重点对新书进行介绍&＃xff0c;最新前沿技术热点剖析&＃xff0c;技术职业规划建议&＃xff01;听完此课你对人工智能领域将有一个崭新的技术视野&＃xff01;职业发展也将有更加清晰的认识&＃xff01;

【精品课程】
《分布式机器学习实战》大数据人工智能AI专家级精品课程

【免费体验视频】&＃xff1a;
人工智能百万年薪成长路线/从Python到最新热点技术

从Python编程零基础小白入门到人工智能高级实战系列课

视频特色&＃xff1a; 本系列专家级精品课有对应的配套书籍《分布式机器学习实战》&＃xff0c;精品课和书籍可以互补式学习&＃xff0c;彼此相互补充&＃xff0c;大大提高了学习效率。本系列课和书籍是以分布式机器学习为主线&＃xff0c;并对其依赖的大数据技术做了详细介绍&＃xff0c;之后对目前主流的分布式机器学习框架和算法进行重点讲解&＃xff0c;本系列课和书籍侧重实战&＃xff0c;最后讲几个工业级的系统实战项目给大家。 课程核心内容有互联网公司大数据和人工智能那些事、大数据算法系统架构、大数据基础、Python编程、Java编程、Scala编程、Docker容器、Mahout分布式机器学习平台、Spark分布式机器学习平台、分布式深度学习框架和神经网络算法、自然语言处理算法、工业级完整系统实战&＃xff08;推荐算法系统实战、人脸识别实战、对话机器人实战&＃xff09;、就业/面试技巧/职业生涯规划/职业晋升指导等内容。

【充电了么公司介绍】

充电了么App是专注上班族职业培训充电学习的在线教育平台。

专注工作职业技能提升和学习&＃xff0c;提高工作效率&＃xff0c;带来经济效益&＃xff01;今天你充电了么&＃xff1f;

充电了么官网
http://www.chongdianleme.com/

充电了么App官网下载地址
https://a.app.qq.com/o/simple.jsp?pkgname&＃61;com.charged.app

功能特色如下&＃xff1a;

【全行业职位】 - 专注职场上班族职业技能提升

覆盖所有行业和职位&＃xff0c;不管你是上班族&＃xff0c;高管&＃xff0c;还是创业都有你要学习的视频和文章。其中大数据智能AI、区块链、深度学习是互联网一线工业级的实战经验。

除了专业技能学习&＃xff0c;还有通用职场技能&＃xff0c;比如企业管理、股权激励和设计、职业生涯规划、社交礼仪、沟通技巧、演讲技巧、开会技巧、发邮件技巧、工作压力如何放松、人脉关系等等&＃xff0c;全方位提高你的专业水平和整体素质。

【牛人课堂】 - 学习牛人的工作经验

1.智能个性化引擎&＃xff1a;

海量视频课程&＃xff0c;覆盖所有行业、所有职位&＃xff0c;通过不同行业职位的技能词偏好挖掘分析&＃xff0c;智能匹配你目前职位最感兴趣的技能学习课程。

2.听课全网搜索

输入关键词搜索海量视频课程&＃xff0c;应有尽有&＃xff0c;总有适合你的课程。

3.听课播放详情

视频播放详情&＃xff0c;除了播放当前视频&＃xff0c;更有相关视频课程和文章阅读&＃xff0c;对某个技能知识点强化&＃xff0c;让你轻松成为某个领域的资深专家。

【精品阅读】 - 技能文章兴趣阅读

1.个性化阅读引擎&＃xff1a;

千万级文章阅读&＃xff0c;覆盖所有行业、所有职位&＃xff0c;通过不同行业职位的技能词偏好挖掘分析&＃xff0c;智能匹配你目前职位最感兴趣的技能学习文章。

2.阅读全网搜索

输入关键词搜索海量文章阅读&＃xff0c;应有尽有&＃xff0c;总有你感兴趣的技能学习文章。

【机器人老师】 - 个人提升趣味学习

基于搜索引擎和智能深度学习训练&＃xff0c;为您打造更懂你的机器人老师&＃xff0c;用自然语言和机器人老师聊天学习&＃xff0c;寓教于乐&＃xff0c;高效学习&＃xff0c;快乐人生。

【精短课程】 - 高效学习知识

海量精短牛人课程&＃xff0c;满足你的时间碎片化学习&＃xff0c;快速提高某个技能知识点。

上一篇&＃xff1a;自然语言处理系列二十四》词性标注》词性标注原理》感知器词性标注
下一篇&＃xff1a;自然语言处理系列二十六》文本相似度算法》字符串编辑距离》算法原理