知识蒸馏在广告系统中的应用（二）

上篇文章《知识蒸馏在广告系统中的应用(一)》主要和大家聊的是一些基本的背景&＃xff0c;今天我们将重点看看在实战中知识蒸馏是如何在广告系统的各个阶段发挥作用的。

1.在召回/粗排阶段使用知识蒸馏

在上一篇文章中我们也谈到&＃xff0c;召回和粗排阶段的主要任务是在保证一定精确性的前提下&＃xff0c;对广告进行粗筛&＃xff0c;缓解精排的压力。需要在准确性和速度方面找到一个平衡点&＃xff0c;所以&＃xff0c;在这两个阶段&＃xff0c;我们并不需要追求最高的精度&＃xff0c;就算模型的效果和精排有一定的差距&＃xff0c;也是完全可以接受的。毕竟在这两个阶段&＃xff0c;如果准确性不足还是可以通过返回物品的数量多来弥补的。而模型小速度快则是这两个阶段的重要目标之一。这就刚好和知识蒸馏本身的特点相一致&＃xff0c;所以在这里使用知识蒸馏应该是再好不过的了。

那么&＃xff0c;召回或者粗排怎么要怎么“蒸馏”呢&＃xff1f;如上图所示&＃xff0c;我们采用复杂的精排模型作为Teacher&＃xff0c;召回或粗排模型作为小的Student&＃xff0c;比如双塔DNN模型等&＃xff0c;Student模型去拟合精排环节的排序结果&＃xff0c;以此来指导召回或粗排Student模型的优化过程。这样&＃xff0c;我们可以获得满足如下特性的召回或者粗排模型&＃xff1a;

(1) 首先&＃xff0c;精度好&＃xff0c;因为Student经过复杂精排模型的知识蒸馏&＃xff0c;效果可以非常接近于精排模型效果。

(2) 其次&＃xff0c;Student模型结构简单&＃xff0c;所以速度快&＃xff0c;满足召回、粗排阶段对于速度的要求。

(3)最后&＃xff0c;通过Student模型模拟精排模型的排序结果&＃xff0c;可以使得召回、粗排这两个阶段的优化目标和精排环节的优化目标保持一致&＃xff0c;即与广告系统的最终优化目标保持一致。

在广告系统中&＃xff0c;召回、粗排阶段的优化目标保持和精排优化目标一致&＃xff0c;其实是很重要的&＃xff0c;但是这点往往在实际中容易被忽略&＃xff0c;或者因为条件所限无法考虑这一因素&＃xff0c;比如非模型召回&＃xff0c;从机制上是没办法考虑这点的。这里需要注意的一点是&＃xff1a;如果召回模型或者粗排模型的优化目标已经是多目标的&＃xff0c;对于新增的模型蒸馏来说&＃xff0c;可以作为多目标任务中新加入的一个目标&＃xff0c;当然&＃xff0c;也可以只保留单独的蒸馏模型&＃xff0c;完全替换掉之前的多目标模型&＃xff0c;这两种思路都是可以的&＃xff0c;需要结合具体情况具体分析。

2.在精排阶段使用知识蒸馏

为什么要在精排阶段采用知识蒸馏&＃xff1f;我们知道&＃xff0c;精排环节注重精准排序&＃xff0c;所以采用尽量多的特征和复杂模型&＃xff0c;以期待获得优质的个性化推荐结果。但是&＃xff0c;这同时也意味着复杂模型的在线服务响应变慢。若承载相同的流量&＃xff0c;需要增加在线服务并行程度&＃xff0c;也就意味着增加机器资源和成本。因此&＃xff0c;如何在精准排序和机器资源之间做均衡呢&＃xff1f;我们可以通过在精排环节采用知识蒸馏技术实现一个既有较好的推荐质量&＃xff0c;又能有快速推理能力的模型。

上图展示了如何在精排环节应用知识蒸馏&＃xff1a;我们在离线训练的时候&＃xff0c;可以训练一个及其复杂精排模型作为Teacher&＃xff08;可以引入transformer、capsule network等复杂结构&＃xff09;&＃xff0c;一个结构较简单的DNN排序模型作为Student。因为Student结构简单&＃xff0c;所以模型表达能力弱&＃xff0c;于是&＃xff0c;我们可以在Student训练的时候&＃xff0c;除了采用常规的Ground Truth训练数据外&＃xff0c;Teacher也辅助Student的训练&＃xff0c;将Teacher复杂模型学到的一些知识迁移给Student&＃xff0c;增强其模型表达能力&＃xff0c;以此加强其推荐效果。在模型上线服务的时候&＃xff0c;并不用那个复杂的Teacher模型&＃xff0c;而是使用小的Student作为线上精排模型&＃xff0c;进行在线推理。小的Student模型优势如下&＃xff1a;

(1) Student结构较为简单&＃xff0c;所以在线推理速度会大大快于复杂模型

(2) Teacher模型将一些知识迁移给了Student模型&＃xff0c;所以经过知识蒸馏的Student模型推荐质量也比单纯的Student模型质量高。

3.小结

本文给出了知识蒸馏在广告系统的召回、粗排以及精排阶段的使用姿势。希望能带给大家一些新的思考。

欢迎大家关注计算广告那些事儿哈&＃xff0c;除了原创文章之外&＃xff0c;也会不定期和大家分享业内大牛的文章哈&＃xff01;