FMDeepFM笔记

1.FM
参考&＃xff1a;https://blog.csdn.net/anshuai_aw1/article/details/83747171

FM旨在解决大规模稀疏数据下的特征组合问题。
特征ETL过程中&＃xff0c;需要对categorical型特征进行one-hot编码&＃xff08;独热编码&＃xff09;&＃xff0c;即将categorical型特征转化为数值型特征。
由one-hot编码带来的数据稀疏性会导致特征空间变大。
一维categorical特征在经过one-hot编码后变成了10维数值型特征。真实应用场景中&＃xff0c;未编码前特征总维度可能仅有数十维或者到数百维的categorical型特征&＃xff0c;经过one-hot编码后&＃xff0c;达到数千万、数亿甚至更高维度的数值特征在业内都是常有的。
此外&＃xff0c;特征空间增长的维度取决于categorical型特征的取值个数。

在学习过程中考虑特征之间的关联信息

降低了交叉项参数学习不充分的影响
提升了模型预估能力
提升了参数学习效率

https://github.com/coreylynch/pyFM

2.DeepFM
Kaggle 价格推荐
https://github.com/ChenglongChen/tensorflow-XNN
用到的论文&＃xff1a;
《Embed, encode, attend, predict: The new deep learning formula for state-of-the-art NLP models》&＃xff1a;https://explosion.ai/blog/deep-learning-formula-nlp

司机驾驶车辆可能赔保预测
代码&＃xff1a;https://github.com/chenglongchen/tensorflow-deepfm
报错&＃xff1a;安装Yellowfin报错——No such file or directory: ‘/tmp/pip-build-jykvuD/YellowFin/README.md’
参考https://www.cnblogs.com/Rvin/p/11058323.html&＃xff1a;https://github.com/JianGoForIt/YellowFin下载代码&＃xff0c;得到压缩包。将下载的压缩包解压后&＃xff0c;取出tuner_utils文件夹下的三个文件。将这三个文件放入到与导入yellowfine的文件相同的目录下&＃xff0c;此时不用安装yellowfine就可以直接使用。DeepFM中调用了yellowfin的YFOptimizer方法。

论文《DeepFM&＃xff1a;A Factorization-Machine based Neural Network for CTR Prediction》

推导一个强调高阶和低阶特征交互的端对端学习模型

在一些例子中&＃xff0c;maximize点击率&＃xff0c;则CTR&＃xff0c;另一些例子中&＃xff0c;例如在线广告&＃xff0c;目的是盈利&＃xff0c;需要CTR x bid&＃xff0c;其中bid是用户点击相应的广告&＃xff0c;平台可以获得的利益

在CTR预测中&＃xff0c;找到用户行为之间隐形的特征交互&＃xff08;interactions&＃xff09;非常重要&＃xff0c;例如app种类和时间、app种类和用户的年龄、性别

大多数的特征交互隐藏在数据中&＃xff0c;并且很难人工建模&＃xff0c;特别是特征数量很大时&＃xff0c;但机器学习可以自动解决。

wide&deep网络中wide和deep两部分输入不同&＃xff0c;且wide部分依赖专门的特征工程&＃xff08;engineering&＃xff09;。

在DeepFM中&＃xff0c;结合律FM处理low-order 特征交互和DNN处理high-order 特征交互的优势&＃xff0c;不需要任何特征工程&＃xff1b;wide和deep共享输入和embedding vector。

FM&＃xff1a;

黑线&＃xff1a;weight to learn
红箭头&＃xff1a;权重为1
蓝箭头&＃xff1a;嵌入&＃xff0c;学习隐藏向量&＃xff08;latent vector&＃xff09;
黄蓝圆圈&＃xff1a;0,1&＃xff1b;one-hot编码

Deep&＃xff1a;
特征输入向量是高度稀疏、超高维数、分类-连续混合、并分组在字段中
在向第一层隐藏层传入数据之前&＃xff0c;嵌入层将输入向量压缩成低维密度实值向量&＃xff0c;避免网络过载

虽然不同输入字段向量的长度可以不同&＃xff0c;但它们的嵌入大小相同(k);
将FM中的潜在特征向量(V)作为网络权值进行学习并将输入场向量压缩为嵌入向量。
不再预训练FM&＃xff0c;而是端对端联合训练整个网络