基于信息熵和互信息的新词识别

本文是《基于互信息和左右信息熵的短语提取识别》的姊妹篇&＃xff0c;文如其名&＃xff0c;没什么新意。谈起“新词识别”“新词发现”&＃xff0c;有许多论文慷慨陈词&＃xff1a;要设计丰富的特征模板、建立训练语料库、引入CRF、ME、SVM、神经网络等模型并综合起来、在某某的基础上加入某种规则改进、最终在一个98年芝麻大小的训练集上训练出一个西瓜那么大的模型&＃xff0c;并且在细菌大小的测试集上提高了2.33%的OOV识别率&＃xff0c;展望未来&＃xff0c;一定可以应用到更广阔的领域中。可惜现实总是很残酷&＃xff1a;既没有人力物力整理语料&＃xff0c;服务器也只有绿豆大小的内存&＃xff0c;放不下半个西瓜。简单好用的方法有...

继续阅读&＃xff1a;码农场 » 基于信息熵和互信息的新词识别

原文链接&＃xff1a;http://www.hankcs.com/nlp/new-word-discovery.html