意图识别（规则模板解析、深度学习意图识别）

1、搜索引擎
2、对话系统&＃xff1a;基于意图识别了解用户想要什么 业务 或者 闲聊&＃xff0c;并采用不用的子模型来处理1.1 闲聊技术&＃xff1a;闲聊机器人需要有较高的召回率&＃xff0c;因此常常用&＃xff1a;seq2seq &＃43; attention / transformer / bert .... 1.2 基于业务&＃xff0c;例如 电商、买票、查询天气技术&＃xff1a;基于上述应用场景需要极高的精确率&＃xff0c;因此常常用&＃xff1a;① 基于业务规则模板、基于语义匹配 ②
3、智能物联网
4、机器人
二、意图识别的难点

1、用户输入不规范&＃xff0c;输入方式多样化&＃xff0c;甚至非标准的自然语言
2、表意表现出多意图仙剑奇侠传游戏&＃xff1f;--> 游戏软件&＃xff1f;……电视剧&＃xff1f;--> 电视剧下载&＃xff1f;相关新闻&＃xff1f;……
3、意图强度&＃xff0c;表述不同表现出不同的需求强度天气很好啊-->弱意图&＃xff08;心情&＃xff0c;闲聊模式&＃xff09; 今天天气怎么样-->强意图&＃xff08;业务模式&＃xff09;
4、意图存在时效性变化&＃xff0c;就是随着时间的推移相同问题的意图会发生变化 ******* 难点
5、没有固定的评估的标准

三、意图识别的主要方法

   1、意图识别的类别

&＃xff08;1&＃xff09;导航型 将用户导航到相应的领域或相应的流程中例&＃xff1a;百度 *** 导入到某个网站
&＃xff08;2&＃xff09;信息型 提供给用户想知道的信息例&＃xff1a;百度 *** 的个人信息 ----- 类似百度百科
&＃xff08;3&＃xff09;事务型 给用户提供流程中的各个实现环节例&＃xff1a;百度 *** 坏了 ----- 类似百度知道


   2、规则模板意图识别

     &＃xff08;1&＃xff09;词表穷举法

                     特点&＃xff1a;必须一一命中才行&＃xff0c;因此模型的召回率较低&＃xff0c;精确率极高 

   &＃xff08;2&＃xff09;规则模板解析    

                规则模板解析&＃xff1a; 需要基于  分词、词性标注、命名实体识别、依存句法分析、语义分析 的前提下 才能完成

                                           而且数据中使用的也是字典形式&＃xff08;key hash 结构&＃xff09;&＃xff0c;查询速度较快。

1、适用于查询非常符合规则的类别&＃xff0c;通过规则解析的方式来获取查询的意图。例&＃xff1a;北京到上海今天的机票价格&＃xff0c;可以转换为&＃xff1a;[地点]到[地点][日期][汽车票/机票/火车票]。执行过程&＃xff1a;第一步&＃xff1a;寻找领域&＃xff0c;获取子类模板字典第二步&＃xff1a;选取模板&＃xff0c;这里面命中模板不是所有的内容都全部命中&＃xff0c;只需要命中一部分。第三步&＃xff1a;采取 反问模板 与用户沟通缺失了模板的那些内容&＃xff0c;并补全这些内容&＃xff08;即上述问句没有日期&＃xff09;第四步&＃xff1a;给出 完整的模板信息 并 等待用户确认。1吨等于多少公斤&＃xff0c;可以转换为&＃xff1a;[数字][计量单位]等于[数字][计量单位]。对规则性较强的query有较好的识别精度&＃xff0c;能够较好的提取准确信息。缺点&＃xff1a;需要人工参与较多&＃xff0c;很难自动化实现。实用指数&＃xff1a;4★场景&＃xff1a;搜狗通用搜索、小i智能客服、机器人、智能物联网、支付宝分控系统有10000多个模板。


                 特点&＃xff1a;规则性较强的query精确率较高&＃xff0c;召回率也不错 

•    案例&＃xff1a;搜狗搜索 意图识别

                     规则意图识别的一般技术

                            1. 判断领域&＃xff1a;采用实体-主域-模板的整体框架来判别识别领域

                                      注意&＃xff1a;主题    ------ 大类别 &＃xff1b;主域  ------- 子类别 &＃xff1b; 模板

                            2. 判断意图&＃xff1a;命中主域后&＃xff0c;模板采用意图动词(下载、查询等)或意图疑问词(怎么样、为什么等)判别意图

                            3. 区分弱意图和强意图&＃xff0c;针对性提供解决方案&＃xff1b;判断实体强度

                                搜索引擎意图识别领域判别表&＃xff1a;仙剑奇侠传

                 计算过程 

                          第一步&＃xff1a;主体&＃xff08;大类&＃xff09;计算

                          第二步&＃xff1a;主域&＃xff08;子类&＃xff09;计算 

•  规则模板解析优化 

4. query改写包括&＃xff1a;query纠错&＃xff0c;query扩展&＃xff0c;query删除&＃xff0c;query转换。a. 进行同义词扩展 eg&＃xff1a;我去旅游 我要旅游 ------- 技术&＃xff1a;① word2vec ② b. 删除一些修饰&＃xff0c;扩大召回 ------- 技术&＃xff1a;① booststriping信息抽取 ② 语义分析&＃xff08;三元组&＃xff09;c. 通过近义或同义转化&＃xff0c;扩大召回 ------- 技术&＃xff1a;① word2vec ②


    3、深度学习意图识别

1、机器学习和深度学习方法意图识别可以看做是一个分类问题&＃xff0c;针对于垂直产品的特点&＃xff0c;定义不同的查询意图类别。对于用户输入的query&＃xff0c;根据统计分类模型计算出每一个意图的概率&＃xff0c;最终给出查询的意图。 缺点&＃xff1a;主要是数据获取和更新较困难&＃xff0c;数据的标注也需要较准确才能训练出较好地模型。实用指数&＃xff1a;4★场景&＃xff1a;京东JIMI、美团垂直搜索2、深度学习 意图识别常见 模型&＃xff1a;① LSTM &＃43; attention② BERT网络 分类意图识别

                   特点&＃xff1a;模型召回率很高 

•     案例&＃xff1a;京东JIMI  意图识别

                      一、 大致结构

                   二、模型网络

京东JIMI意图识别(baseline)深度学习CNN模型&＃xff0c;可用于求解一个分类问题&＃xff0c;将用户的问题映射到一个具体的分类。最终在算法选型上&＃xff0c;采用深度学习CNN模型&＃xff0c;其中模型参数&＃xff1a;词向量采用100维每个样本限定30个字以内&＃xff0c;超出30截断&＃xff0c;不足30补充随机向量单层CNN网络&＃xff0c;第一层卷积核大小3*50