大规模搜索+预训练，百度是如何落地的？

大家好&＃xff0c;我是kaiyuan。今天一起来看百度KDD2021的一篇工作&＃xff0c;关于工业界语义检索召回系统&＃xff0c;落地场景非常值得借鉴~

• Pre-trained Language Model for Web-scale Retrieval in Baidu Search

先简单介绍一下论文要解决的任务&＃xff0c;「根据用户搜索的query&＃xff0c;从千亿级别的候选池中筛选出一定量的满足用户要求的网页doc」。也可以简单理解为NLP中的文本匹配任务&＃xff0c;但是一旦涉及真实数据和工业应用场景&＃xff0c;就会复杂很多。

关于信息检索和网页搜索&＃xff0c;更详细的可以参考我们之前的综述文章&＃xff1a;

• 微软亚研院 | 智能信息检索综述

先验知识

最近特别有感触&＃xff0c;找到问题所在比找到答案更重要。来看看当前网页搜索面临的主要挑战&＃xff1a;

• 「语义匹配」&＃xff1a;这无疑是搜索最需要关注和解决的一块。目前query的形式多样化与口语化&＃xff0c;像一些传统的靠词之间的硬匹配算法&＃xff0c;很容易就错过同义表达&＃xff1b;并且&＃xff0c;query和doc两者长度另外&＃xff0c;除了query和doc这两个客观的实体&＃xff0c;更进一步的话还需要考虑用户的偏好&＃xff0c;这在电商搜索中尤为重要。

• 「数据分布」&＃xff1a;在搜索中&＃xff0c;大多数的query和doc对于搜索引擎来说都是第一次见的&＃xff0c;如何让模型很好地解决这种长尾数据。

• 「工程部署」&＃xff1a;召回系统面向的是千亿级别的候选池&＃xff0c;如何在保证模型效果的同时兼顾线上效率&＃xff0c;毕竟用户体验才是产品的第一位。

长期follow我们内容的同学应该对上述问题都已经有一些个人基础的解法&＃xff0c;下面来看看搜索巨头百度是如何做的。另外推荐一些下文所涉及的先验知识&＃xff1a;

• NLP预训练模型

• • 万字梳理&＃xff01;BERT之后&＃xff0c;NLP预训练模型发展史

  • NLP预训练家族 | Transformer-XL及其进化XLNet

  • 芝麻街跨界NLP | 预训练模型专辑&＃xff08;三&＃xff09;

  • 芝麻街跨界NLP&＃xff0c;没有一个ERNIE是无辜的

  • 详解ERNIE-Baidu进化史及应用场景
    

• 信息检索与文本匹配&＃xff1a;

• • 基于表征(Representation)的文本匹配、信息检索、向量召回的方法总结

  • 微软亚研院 | 智能信息检索综述

  • 谷歌 ICLR 2020 | 向量化召回也需要『预训练』

  • 谈谈文本匹配和多轮检索

  • 文本匹配开山之作--双塔模型及实战

  • 迈向NLP大师 | 自然语言推理入门
    

模型细节

任务目标是建模 query-doc之间的 「相关性匹配」&＃xff08;注意与「语义匹配」的区别&＃xff09;

模型骨架是ERNIE&＃xff0c;最近出了一波ERNIE-3&＃xff0c;不知道有没有更新安排上。双塔是工业届召回的标配&＃xff0c;另外顶层交互方式参考了poly-encoder的模式&＃xff0c;如下图。训练和预测阶段会有一点不同&＃xff1a;

模型的细节参考poly-encoder&＃xff1a;

• 底层quey、doc端ERNIE参数共享

• 顶层query端&＃xff1a;用16个参数向量分别对Encoder的输出序列表示做scaled_dot_product_attention&＃xff0c;经过FC转换后产出16个256维的向量表示

• 顶层title端&＃xff1a;直接取Encoder最后的CLS向量&＃xff0c;经过FC转换后产出1个256维的向量表示

由于上线性能的要求&＃xff0c;计算相关性得分时在模型训练和预测阶段不一样&＃xff1a;

• 训练&＃xff1a;query端的16个向量分别与title端的向量做内积&＃xff0c;然后对16个内积取max产出最终的score

• 线上inference&＃xff1a;直接将query端16个向量做avg-pooling&＃xff0c;这样只需和title-emb做一次内积。既满足了性能的要求&＃xff0c;又丰富细化了query的表示。

数据挖掘

数据作为模型的上限&＃xff0c;自然是非常重要。搜索系统实际数据来源主要是&＃xff1a;

• 「搜索日志」&＃xff1a;大规模自动有标签样本&＃xff0c;用户点击作为正样本&＃xff0c;未点击的作为负样本&＃xff1b;

• 「人工标注数据」&＃xff1a;0-4分档&＃xff0c;数量较少&＃xff0c;质量较好&＃xff1b;正负样本的划分通过pairwise的方式使用&＃xff1b;

上述样本作为hard negative&＃xff0c;由于召回是从大量不相关doc中找到非常小部分的相关doc&＃xff08;

&＃xff09;&＃xff0c;所以还设计了easy negative&＃xff0c;即在同一batch中随机sample。最终batch训练正负样本数据如下

训练范式

为了让更多的领域知识融入模型&＃xff0c;让模型具有更好的泛化性能&＃xff0c;设计了多阶段训练模式。整个训练过程分四步&＃xff1a;

1. 「ERNIE 通用预训练」&＃xff1a;单塔&＃xff0c;NSP&＃43;MLM任务&＃xff0c;用于热启动&＃xff1b;

2. 「ERNIE 领域预训练」&＃xff1a;数据为一个月的搜索日志&＃xff0c;query &＃43; title&＃xff0c;单塔&＃xff0c;输入格式[CLS] QUERY [SEP] TITLE [SEP]&＃xff0c;仅仅是训练数据与Vanilla ERNIE不同&＃xff1b;

3. 「ERNIE 一次任务微调」&＃xff1a;搜索日志&＃xff0c;query/title&＃xff0c;双塔&＃xff0c;任务变成分类任务&＃xff0c;即从一系列不相关doc中找到正确的相关doc&＃xff0c;进一步贴近最终目标&＃xff1b;

4. 「ERNIE 二次任务微调」&＃xff1a;精细人工标注数据&＃xff0c;query/title&＃xff0c;双塔&＃xff0c;任务同第三步。

   

损失优化

工程部署

向量压缩和量化

简单说&＃xff0c;压缩就是把768的ERNIE向量通过FC转成256维度&＃xff0c;量化就是把float32的变成int8。

召回框架

• 离线部分&＃xff08;左侧&＃xff09;&＃xff1a;计算doc端的embedding&＃xff0c;cache保存

• 在线部分&＃xff08;右侧&＃xff09;&＃xff1a;分为召回和排序。召回部分又包括传统query特征计算&＃xff0c;以及ERNIE-query向量计算。ERNIE-query-emb和ERNIE-doc-emb计算相似度打分&＃xff0c;与传统特征一起作为上层排序的特征。注意这里的排序是召回系统内部的排序&＃xff0c;不属于搜索大框架下的排序模块&＃xff0c;目的是进一步缩小优化召回候选集&＃xff0c;模型为RankSVM或GBRank&＃xff1b;

一起交流

想和你一起学习进步&＃xff01;『NewBeeNLP』目前已经建立了多个不同方向交流群&＃xff08;机器学习 / 深度学习 / 自然语言处理 / 搜索推荐 / 图网络 / 面试交流 / 等&＃xff09;&＃xff0c;名额有限&＃xff0c;赶紧添加下方微信加入一起讨论交流吧&＃xff01;&＃xff08;注意一定要备注信息才能通过&＃xff09;

- END -

聊一聊大火的对比学习

2021-08-12

百度提前批算法工程师面筋&＃xff01;效率有、高

2021-08-09

Focal Loss --- 从直觉到实现

2021-07-28

动荡下如何自救 | 社招一年收割BATDK算法offer

2021-07-27