深度兴趣网络DIN

1. 概述

用户兴趣是推荐系统中非常重要的trigger&＃xff0c;在召回阶段&＃xff0c;通过召回与用户兴趣相匹配的item&＃xff0c;在排序阶段&＃xff0c;用户兴趣作为很重要的一个特征维度&＃xff0c;与用户兴趣越相似的item将会被排到越靠前的位置。因此&＃xff0c;在推荐系统中&＃xff0c;对于用户兴趣的建模显得尤为重要。在目前为止&＃xff0c;通常采用的方法是对用户的历史行为挖掘&＃xff0c;实现对用户兴趣的建模。

在实际生活中&＃xff0c;一个人的兴趣通常是多方面的&＃xff0c;不是单一的&＃xff0c;传统的建模方式是将用户的行为序列转成固定长度的embedding形式&＃xff0c;这样的方式却限制了对用户兴趣的建模能力。其主要原因是用户的兴趣是多样的&＃xff0c;统一的固定长度的embedding难以刻画用户兴趣的多样性。深度兴趣网络DIN[1]通过使用Attention机制捕获目标item与用户行为序列中的item之间的相关性&＃xff0c;从而实现对特定的目标item的兴趣建模&＃xff0c;并将其应用到排序阶段。

2. 算法原理

2.1. 基本模型

DIN模型也是建立在基本模型MLP基础上&＃xff0c;对于基础模型Base Model如下图所示&＃xff1a;

对于CTR预估&＃xff0c;特征主要包括用户画像特征&＃xff08;User Profile Features&＃xff09;&＃xff0c;用户行为特征&＃xff08;User Behavior Features&＃xff09;&＃xff0c;目标item的特征&＃xff08;Candidate Ad&＃xff09;以及上下文特征&＃xff08;Context Features&＃xff09;。上述的特征中&＃xff0c;对于离散的类别特征&＃xff0c;通常转换成one-hot或者multi-hot形式&＃xff0c;具体如下图所示&＃xff1a;

通过对用户历史行为的特征进行pooling操作&＃xff0c;实现对用户兴趣的建模&＃xff0c;并与其他的特征&＃xff0c;如用户的画像特征&＃xff0c;待排序item特征&＃xff0c;上下文特征一起实现CTR预估&＃xff0c;最终&＃xff0c;模型的损失函数为&＃xff1a;

L&＃61;−1N∑(x,y∈S)(ylogp(x)&＃43;(1−y)log(1−p(x)))L&＃61;-\frac{1}{N}\sum_{\left ( \boldsymbol{x},y\in S \right )}\left ( ylog\, p\left ( \boldsymbol{x} \right ) &＃43; \left ( 1-y \right )log\left ( 1-p\left ( \boldsymbol{x} \right ) \right )\right )L&＃61;−N1​(x,y∈S)∑​(ylogp(x)&＃43;(1−y)log(1−p(x)))

2.2. 深度兴趣网络DIN

在实际场景中&＃xff0c;用户的兴趣往往是多样的&＃xff0c;或者说是多个维度的&＃xff0c;在上述基本的网络模型中&＃xff0c;通过对用户行为序列建模&＃xff0c;得到用户兴趣的固定长度的向量表示&＃xff0c;这样的固定长度的向量难以表达用户的不同兴趣。在深度兴趣网络&＃xff08;Deep Interest Network&＃xff0c;DIN&＃xff09;[1]中&＃xff0c;借鉴Attention的原理&＃xff0c;通过计算候选item与用户行为序列中item之间的相关关系&＃xff0c;来动态的计算用户在当前的item下的即时兴趣向量。

2.2.1. DIN的模型结构

DIN的模型结构如下图所示&＃xff1a;

DIN的模型结构与基本模型结构基本一致&＃xff0c;不同的是在计算用户兴趣向量时&＃xff0c;使用了如下的计算方式&＃xff1a;

vU(A)&＃61;f(vA,e1,e2,⋯,eH)&＃61;∑j&＃61;1Ha(ej,vA)ej&＃61;∑j&＃61;1Hwjej\boldsymbol{v}_U\left ( A \right )&＃61;f\left ( \boldsymbol{v}_A,\boldsymbol{e}_1,\boldsymbol{e}_2,\cdots ,\boldsymbol{e}_H \right )&＃61;\sum_{j&＃61;1}^{H}a\left ( \boldsymbol{e}_j,\boldsymbol{v}_A \right )\boldsymbol{e}_j&＃61;\sum_{j&＃61;1}^{H}\boldsymbol{w}_j\boldsymbol{e}_jvU​(A)&＃61;f(vA​,e1​,e2​,⋯,eH​)&＃61;j&＃61;1∑H​a(ej​,vA​)ej​&＃61;j&＃61;1∑H​wj​ej​

2.2.2. DIN的实现差异

在[3]的官方实现中&＃xff0c;在计算Activation Weight的过程中&＃xff0c;有几点与原文中不一致&＃xff1a;

• 特征
  从上面的图中&＃xff0c;我们看到是将User的特征&＃xff0c;Ad的特征&＃xff0c;以及Out Product&＃xff08;两者的外积&＃xff09;的特征concat在一起&＃xff0c;在代码中是将&＃xff1a;queries&＃xff0c;facts&＃xff0c;queries - facts&＃xff0c;queries * facts这四项concat在一起&＃xff1a;

in_all &＃61; tf.concat([queries, facts, queries - facts, queries * facts], axis&＃61;-1)


其中queries表示的是Ad向量&＃xff0c;facts表示的是User的行为向量&＃xff0c;queries * facts表示的是外积。

• 是否归一化
  原文中指出不需要归一化&＃xff0c;但是在代码中却是可以使用了归一化的操作&＃xff0c;如下所示&＃xff1a;

# Activation
if softmax_stag: # 是否使用归一化scores &＃61; tf.nn.softmax(scores) # [B, 1, T]
# Weighted sum
if mode &＃61;&＃61; &＃39;SUM&＃39;: # 加权求和output &＃61; tf.matmul(scores, facts) # [B, 1, H]


完整的实现可以参见参考文献[3]。

3. 总结

鉴于单一的固定向量不能表达用户兴趣的多样性&＃xff0c;在深度兴趣网络DIN中使用了注意力机制捕获目标item与用户的行为序列中的item之间的相关性&＃xff0c;得到在特定目标item的场景下的用户兴趣表示&＃xff0c;从而提升对用户及时兴趣的捕捉能力。

参考文献

[1]. Zhou G , Song C , Zhu X , et al. Deep Interest Network for Click-Through Rate Prediction[J]. 2017.

[2]. 推荐系统CTR模型&＃xff1a;Deep Interest Network(DIN)源码分析

[3]. DIN官方实现