一口气放出三篇SIGIR论文！详解阿里妈妈搜索广告CTR模型演进

欢迎关注：阿里妈妈技术公众号
本文作者：石士 阿里妈妈技术团队​

1 引子

点击率预估（a.k.a. CTR模型）在搜索、推荐和广告等互联网应用中扮演了至关重要的角色。随着深度学习技术的快速发展，CTR模型的演化方案层出不穷，学术届与工业界的创新热潮方兴未艾。本文我们按照CTR模型的结构特点将优化方向进行归类，简要介绍下阿里妈妈搜索广告在不同优化方向上做的一些有意思的工作。

CTR模型的整体结构从下往上可以分为3层：

1）Embedding Layers，这一层的作用是将类别型特征（包括数值型特征一般离散化为类别型特征）对应的高维空间映射到Embedding向量的低维空间；

2）Hidden Layers，这一层的作用是提供高度非线性的拟合能力；

3）Output Layers，这一层的作用是对任务的具体目标进行针对性表达。

不同层的优化路径有显著差异，这里给出整体分类框图，图中标记列举了部分较为经典的创新解法。

我们在每一层的不同优化路径上均有持续迭代，本文介绍的3篇SIGIR文章主要集中在Hidden Layers和Embedding Layers两层。

1）Hidden Layers特点：传统全连接层MLP虽然有万能的拟合能力，但研究表明它的业务针对性较弱，通常需要有显式的结构设计才能让模型的学习更加聚焦。

2）Embedding Layers特点：大规模数据场景下建模的重中之重，该层参数规模几乎决定了整体存储规模，Embedding表征学习能力决定了模型预估能力的基本盘。

以下是3篇SIGIR文章的极简概述：

GIN（SIGIR-2019）：处在Hidden Layers &＃8211; User Behavior Modeling 优化路径上，文章提出了一种图学习与CTR任务相结合的端到端建模方案，有利于用户兴趣探索和拓展。

Graph Intention Network for Click-through Rate Prediction in Sponsored Search

传送门：https://arxiv.org/pdf/2103.16164.pdf

PCF（SIGIR-2021）：处在Hidden Layers &＃8211; Feature Interaction Modeling 优化路径上，文章提出一种针对显性交叉语义表征的预训练图学习方案，有利于CTR模型压缩和泛化。

Explicit Semantic Cross Feature Learning via Pre-trained Graph Neural Networks for CTR Prediction

传送门：https://arxiv.org/pdf/2105.07752.pdf

FSCD（SIGIR-2021）：处在Embedding Layers 优化路径上，文章提出了一种以算力因子为先验、可自动学习的特征选择方案，基于精排模型衍生出全新的粗排模型，使得效率和效果更加平衡。

Towards a Better Tradeoff between Effectiveness and Efficiency in Pre-Ranking: A Learnable Feature Selection based Approach

传送门：https://arxiv.org/pdf/2105.07706.pdf

2 GIN-精排模型-用户行为时空建模

搜索场景下，消费者会通过搜索词来主动表达自己的购物需求，但由于一方面移动端输入query成本较高导致搜索词的表达方式异常集中（top 5% query占比搜索流量80%），另一方面简短的文本较难细致准确地表达清楚实际的搜索意图，所以系统仅仅依靠显性的搜索词来理解用户的搜索意图是完全不够的，搜索个性化技术是系统发展的必然趋势，且值得持续优化。

用户的搜索意图除了显性的搜索词表达以外，还有极其丰富的隐性行为反馈，如何深入挖掘隐藏在用户行为反馈信息背后的真实消费意图，并且处理好两者的交互关系是搜索个性化技术的核心要点。为了完整地刻画上述信息交互关系，阿里妈妈搜索广告在过去几年的探索中在User Behavior Modeling方向基本确立了序建模（Sequence Learning）和图建模（Graph Learning）相融合的模型框架。

序建模聚焦在用户自身的历史行为（私域行为），对于行为较为丰富的用户而言，能够充分挖掘其个性和差异化特点；图建模利用群体行为互联的结构（公域行为），借助群体智慧充分挖掘行为背后的共性和可迁移性特点，对于低活用户和搜索新需求非常友好。

GIN就是我们在用户行为时空建模方面的学术沉淀，相较传统的时序建模对于低活用户不友好和兴趣泛化性欠佳的问题，我们对用户历史行为序列的每个对象借助Graph的空间拓扑结构进行往外兴趣拓展，利用多层图卷积的汇聚能力，使得用户兴趣表征的泛化能力更强。该方案在直通车场景全量上线，取得不错的业务效果。

3 PCF-精排模型-显性交叉语义建模

交叉特征对于点击率预估模型而言至关重要，实际建模提效的过程会将交叉特征的设计分为两类：1）隐式语义建模，两个id特征共现交叉完对应的Embedding表征，例如交叉特征对应的Embedding隐式语义向量；2）显式语义建模，两个id特征共现交叉完对应的历史统计值等，例如交叉特征对应的显式统计历史14天ctr。

现有大多数方法（例如DeepFM、DCN等）主要聚焦在前者，通过模型结构的设计来充分拟合隐式语义表征；但很少有工作会通过模型结构设计来处理后者，事实上显式建模信号对CTR任务非常有效，是业界提效的“公开的秘密”。然而直接利用交叉特征的统计值作为显性建模信号存在两大挑战：1）算法侧泛化性能较差，交叉特征的统计值依赖历史出现的共现特征，非共现特征表达无能为力；2）系统侧存储规模开销巨大，存储开销对应特征笛卡尔积的量级，在线需要配备额外的分布式存储引擎，通信时延又会进一步影响计算性能。

针对上述挑战，我们提出一种基于预训练图神经网络的交叉语义特征学习模型(PCF-GNN)。图节点表示特征，边表示交叉特征的历史交互信息，通过链边预测的方式拟合交互节点的边权重信息，从而显式建模交叉语义表征。我们在内部数据和外部公开数据上均进行了大量实验，实验结果表明该建模方案不仅可以大幅压缩模型存储规模，还能显著提升模型的泛化能力，取得不错的正向收益。

4 FSCD-粗排模型-效果与效率均衡的自动特征选择方案

大规模搜索、推荐和广告系统一般采用多阶段级联架构，包括召回、粗排、精排和重排等打分阶段。其中粗排的角色非常关键，它起到承上启下的作用。一方面面对上游多路召回需要有一个统一的打分排序准则，另一方面面对下游精排需要分担计算压力、做好精选候选集合的挑选助攻。所以如何在系统性能约束极强的环境下提供不俗的预估能力是粗排模型的挑战。

传统的粗排模型采用“Representation-focused architecture”（简称RF）的向量点积模型，它的优势在于能够高性能地处理较大规模候选集合。但是，它的预估能力相较精排模型的“Interaction-focused architecture”（简称IF）有很大的差距，即使采用精排对粗排的知识蒸馏模式，依然对粗排模型提升能力有限。我们认为交互特征和交互网络的缺失，决定了向量点积模型的精度上限较低。这种模式过于关注计算性能的优化，而忽略了算法效果对于业务的影响，是否可以调节两者失衡的状态，通过牺牲不多的计算性能从而可以较大地提升算法效果？

粗排模型升级为“IF”结构是创新性的尝试（同时期兄弟团队定向广告提出COLD架构），我们提出复用精排模型的数据链路，通过可学习的特征选择方法（缩写FSCD）在Embedding层对精排模型进行精简，从而衍生出“IF”结构的粗排模型。该方案特点是通过引入算力因子，将效率作为先验正则项，使得特征的重要性评估需要综合考量效率与效果。

之所以从特征选择的角度切入，主要有两个原因：

1）大规模离散稀疏模型的参数主要集中在特征对应的Embedding层，Embedding层占据模型存储规模的绝大部分；

2）特征计算也是在线预估必不可少的重要环节，随着GPU的广泛使用和深入优化，计算密集型的模型inference时延大幅降低，特征计算环节涉及到的CPU资源使用、内存带宽消耗和计算时延均占据整体流程的比重越来越高（搜索广告场景接近8成）。

所以合理的特征选择会对在线系统性能带来极大的改善，我们提出基于FSCD方法衍生出的粗排模型，比传统向量点积模型更好地兼顾了效率与效果，已在阿里妈妈搜索广告场景全量上线并取得显著收益。

5 总结与展望

阿里妈妈搜索广告算法团队过去一年在Hidden Layers &＃8211; Feature Interaction Modeling和Embedding Layers两个优化路径上持续迭代优化，支持业务高速发展的同时，我们也将相关技术进行学术沉淀。本文只是开胃菜，后续会推出详情解读版，感兴趣的同学可以深入了解。另外，最近我们在Output Layers方向上也有不少有趣的探索，后续有机会再和大家分享。