用“人工智能+大数据”让信息过滤更“智慧”

　　用“人工智能+大数据”让信息过滤更“智慧”，近日一款由灵玖中科软件有限公司研发的九眼智能过滤系统(LJKeyScanner)，为人工智能与大数据文本信息过滤结合提供了新的方向。

　　大数据是笼统的概念，文本大数据是其中的一个分支。对于文本大数据的处理，第一个环节就是要迅速获取这些数据，它们或来自企业、机构内部，或来源于互联网;第二个环节进行数据挖掘，在这些非结构化的数据中，通过各种分析技术，寻找并整合成有价值的分析结果。

　　而九眼智能过滤系统是面向复杂文本大数据的内容智能过滤系统，可实时智能识别关键词音变、形变与拆字等常见变体，并实现了语义的精准排歧，系统内置了国内最新最全的知识库，适用于多场景不文明信息内容的智能过滤发现。

　　九眼智能过滤三大技术核心：智能变种、语义排歧、快速实时

　　1、智能变种识别

　　九眼智能过滤利用美双数组TRIE树词典管理与检索方法，系统自动识别形变词、音变词、拆字、噪音、繁简体、全角半角、中间加各类干扰噪音等变体; 同时，系统支持自定义词库，增量添加百万量级词库。

　　2、语义排歧

　　九眼智能过滤利用NLPIR语义精准分词系统与情感分析系统，精准识别与过滤，排除正面无害的信息，极大降低了误判率。

　　3、快速实时

　　九眼智能过滤使用专利算法，快速扫描，单机速度30MB/s;支持单机多线程、多机并行、Hadoop云服务模式，对PB级信息内容实现并行高效在线核查。

　　在文本信息的传播过程中，不论是采编、发布还是受众反馈，文本大数据都在对这些环节产生颠覆性的重塑。在文本大数据技术的作用下，资源、平台和影响力在全网都是能够公平共享的，媒介传播能从形态、内容、技术、用户、渠道上做到相辅相成，形成一个信息传播的良性产业生态。