作者:晞沂_364 | 来源:互联网 | 2023-05-28 20:38
FM的总结:1、FM算法与线性回归相比增加了特征的交叉。自动选择了所有特征的两两组合,并且给出了两两组合的权重。FM算法的一个优点是减少了需要训练的参数。比如有一个长度为K的向量来
调频总结:
1、FM算法与线性回归相比增加了特征的交叉。 自动选择所有特征的两个或两个组合,并给出两个或两个组合的权重。
2、如前条所述,给两个特征的组合一个权重,需要训练的参数太多。 例如,我们有n维的特征,这样就需要N*N级的参数。 FM算法的优点之一是减少需要训练的参数。 这也是借鉴了矩阵分解的想法。 有n个特征,特征间的权重需要N*N的权重矩阵。 将该N*N的矩阵分解为K*N的矩阵v的乘积,则权重矩阵W=VT*V。 用长度为k的向量表示各特征。 在这里,每个特征的值都应该有向量,而不是向量。 例如,有一个长度为k的向量,表示性别这一特征。
这里的k是自己设置的,k
3、调频算法显示公式如下:
照这样计算的话,会变得N2的复杂,很贵。 然后,对后者的部分进行简并,使之成为KN复杂度的。
该部分的简化主要使用了x*y=1/2() xy (2- x2-y2 ) )。
转换后的东西是这样的:
4、然后调频培训。
看看调频培训的复杂性。 利用结构梯度(SGD )培训模式。 模型中每个参数的坡度如下
没有手续。 请读完论文后再写
参考资料: https://tech.meituan.com/deep-understanding-of-FFM-principles-and-practices.html