微信、QQ群短文本聊天语料总结

　　在文本分类任务中&＃xff0c;语料的特性千差万别&＃xff0c;我们需要找到适合模型并抓住数据的特性&＃xff0c;最终才能得到较好的model。最近在文本类别标注任务&＃xff0c;就是给文本打标签确定该文本的类别。这是一个很费人工的过程&＃xff0c;需要认真仔细&＃xff0c;因为我们都知道有多少人工就有多少智能。

　　微信、QQ短文本&＃xff1a;

　　&＃xff08;1&＃xff09;如何分段

　　聊天文本的边界是无法确定的&＃xff0c;那我们如何截取一个群聊的文本作为我们的一个训练样本呢。目前初步的做法是&＃xff1a;首先约定字数&＃xff0c;达到多少文字我们就认定可以是一个样本段落&＃xff1b;同时加入聊天时间作为辅助标准&＃xff0c;某一时间间隔的数据可以作为一个样本。这只是两个方向&＃xff0c;具体实施过程还要根据实际任务来确定。明确一点&＃xff0c;标注的一个文本段落不可太长&＃xff0c;太长会造成主题模糊&＃xff0c;标注时无法正确明确标签类别&＃xff0c;还有就是溯源的时候回带来一定影响。

　　&＃xff08;2&＃xff09;文本特性

　　对话形式&＃xff0c;不同的人随时会有发言&＃xff0c;通俗的讲就是你一句我一句&＃xff1b;包含“&＃64;”符号&＃xff0c;后面接微信QQ用户名&＃xff0c;可以说这是无用信息&＃xff0c;但是在群聊天中大量存在&＃xff1b;表情符号&＃xff0c;群成员会发大量的表情&＃xff1b;文本中充斥了大量广告、祝福&＃xff0c;从其它处赋值粘贴的内容。

 

 

持续更新