ICTCLAS分词系统研究（三）原子切分

原文地址&＃xff1a;http://blog.csdn.net/sinboy/article/details/624929

ICTCLAS分词的第一步就是原子分词。但在进行原子切分之前&＃xff0c;首先要进行断句处理。所谓断句&＃xff0c;就是根据分隔符、回车换行符等语句的分隔标志&＃xff0c;把源字符串分隔成多个稍微简单一点的短句&＃xff0c;再进行分词处理&＃xff0c;最后再把各个分词结果合起来&＃xff0c;形成最终的分词结果。

分成短句之后&＃xff0c;即可进行原子分词&＃xff0c;所谓原子,是指该短句中不可分割的最小语素单位。一个汉字、短句前后的开始结束标识字段、全角标点符号、连在一起的数字字母单字节字符等。最后一种情况可以举例说明&＃xff0c;比如&＃xff1a;三星SHX-132型号的手机1元钱&＃xff0c;则SHX-132、1都是一个原子&＃xff0c;其它的每个汉字是一个原子。

按照这种方式&＃xff0c;通过简单的汉字分割就形成了原子分词的结果&＃xff0c;并对每个原子单位进行词性标注。nPOS&＃xff1d;1表示是开始标记&＃xff0c;nPOS&＃xff1d;4表示结束标记&＃xff0c;nPOS&＃61;0表示未识别词。原子分割后的数据结构如下图一所示:

                                                                            图一

原子分词后的实例如下图二所示:

                                                                                                    图二

经过原子分词之后&＃xff0c;下面即可进行初次分词。参见分词系统研究&＃xff08;四&＃xff09;。