推荐算法之潜在因子(LatentFactor)算法

缘起&＃xff1a;

• 在阅读Facebook论文DLRM时&＃xff0c;涉及到了潜在因子&＃xff08;LF&＃xff09;算法&＃xff0c;通过查询阅读有了初步了解&＃xff1a;通过对稀疏矩阵&＃xff08;稀疏的原因是有未知值&＃xff09;R进行uv分解&＃xff0c;得到u、v矩阵&＃xff0c;再通过u\v中向量乘积估计R矩阵中未知值。下面转载通俗易懂的知乎帖&＃xff0c;并对帖子中没有说清楚的部分进行了补充并以粗体形式标记。
• 原帖标题&＃xff1a;
  网易云音乐的歌单推荐算法是怎样的&＃xff1f;
• 回答内容&＃xff1a;
  这里我想给大家介绍另外一种推荐系统&＃xff0c;这种算法叫做潜在因子&＃xff08;Latent
  Factor&＃xff09;算法。这种算法是在NetFlix&＃xff08;没错&＃xff0c;就是用大数据捧火《纸牌屋》的那家公司&＃xff09;的推荐算法竞赛中获奖的算法&＃xff0c;最早被应用于电影推荐中。这种算法在实际应用中比现在排名第一的 &＃64;邰原朗 所介绍的算法误差&＃xff08;RMSE&＃xff09;会小不少&＃xff0c;效率更高。我下面仅利用基础的矩阵知识来介绍下这种算法。
  算法的思想是这样&＃xff1a;每个用户&＃xff08;user&＃xff09;都有自己的偏好&＃xff0c;比如A喜欢带有小清新的、吉他伴奏的、王菲等元素&＃xff08;latent factor&＃xff09;&＃xff0c;如果一首歌&＃xff08;item&＃xff09;带有这些元素&＃xff0c;那么就将这首歌推荐给该用户&＃xff0c;也就是用元素去连接用户和音乐。每个人对不同的元素偏好不同&＃xff0c;而每首歌包含的元素也不一样。我们希望能找到这样两个矩阵&＃xff1a;
  一&＃xff0c;用户-潜在因子矩阵Q&＃xff0c;表示不同的用户对于不用元素的偏好程度&＃xff0c;1代表很喜欢&＃xff0c;0代表不喜欢。比如下面这样&＃xff1a;
  

二&＃xff0c;潜在因子-音乐矩阵P&＃xff0c;表示每种音乐含有各种元素的成分&＃xff0c;比如下表中&＃xff0c;音乐A是一个偏小清新的音乐&＃xff0c;含有小清新这个Latent Factor的成分是0.9&＃xff0c;重口味的成分是0.1&＃xff0c;优雅的成分是0.2……

利用这两个矩阵&＃xff0c;我们能得出张三对音乐A的喜欢程度是&＃xff1a;张三对小清新的偏好音乐A含有小清新的成分&＃43;对重口味的偏好音乐A含有重口味的成分&＃43;对优雅的偏好音乐A含有优雅的成分&＃43;……


即&＃xff1a;0.60.9&＃43;0.80.1&＃43;0.10.2&＃43;0.10.4&＃43;0.70&＃61;0.69
每个用户对每首歌都这样计算可以得到不同用户对不同歌曲的评分矩阵R~\widetilde{R}R

。&＃xff08;注&＃xff0c;这里的破浪线表示的是估计的评分&＃xff0c;接下来我们还会用到不带波浪线的$R$表示实际的评分&＃xff09;&＃xff1a;

因此我们队张三推荐四首歌中得分最高的B&＃xff0c;对李四推荐得分最高的C&＃xff0c;王五推荐B。

如果用矩阵表示即为&＃xff1a;
R~&＃61;QPT\widetilde{R}&＃61;QP^TR

&＃61;QPT

我们所说的“潜在因子”指的就是以上例子中的$Q$和PTP^TPT矩阵&＃xff0c;那么
下面问题来了&＃xff0c;以上的潜在因子&＃xff08;latent factor&＃xff09;是怎么得到的呢&＃xff1f;由于面对海量的让用户自己给音乐分类并告诉我们自己的偏好系数显然是不现实的&＃xff0c;事实上我们能获得的数据只有用户行为数据。我们沿用 &＃64;邰原朗的量化标准&＃xff1a;单曲循环&＃61;5, 分享&＃61;4, 收藏&＃61;3, 主动播放&＃61;2 , 听完&＃61;1, 跳过&＃61;-2 , 拉黑&＃61;-5&＃xff0c;在分析时能获得的实际评分矩阵R&＃xff0c;也就是输入矩阵大概是这个样子&＃xff1a;

事实上这是个非常非常稀疏的矩阵&＃xff0c;因为大部分用户只听过全部音乐中很少一部分。如何利用这个矩阵去找潜在因子呢&＃xff1f;这里主要应用到的是矩阵的UV分解&＃xff08;即将矩阵$R$通过矩阵UV分解分解成矩阵$Q$、PTP^TPT的矩阵乘积&＃xff0c;这里$Q$、PTP^TPT的乘积记为R~\widetilde{R}R

只是矩阵$R$的近似&＃xff09;。也就是将上面的评分矩阵分解为两个低维度的矩阵&＃xff0c;用Q和P两个矩阵的乘积去估计实际的评分矩阵&＃xff0c;而且我们希望估计的评分矩阵R~\widetilde{R}R

和实际的评分矩阵不要相差太多&＃xff08;指的是与矩阵$R$非缺失值部分值接近&＃xff09;&＃xff0c;也就是求解下面的目标函数&＃xff1a;

这里涉及到最优化理论&＃xff0c;在实际应用中&＃xff0c;往往还要在后面加上2范数的罚项&＃xff0c;然后利用梯度下降法就可以求得这P,Q两个矩阵的估计值。这里我们就不展开说了。例如我们上面给出的那个例子可以分解成为这样两个矩阵&＃xff1a;

这两个矩阵相乘就可以得到估计的得分矩阵&＃xff1a;

将用户已经听过的音乐剔除后&＃xff0c;选择分数最高音乐的推荐给用户即可&＃xff08;红体字&＃xff09;。

在这个例子里面用户7和用户8有强的相似性&＃xff1a;

从推荐的结果来看&＃xff0c;正好推荐的是对方评分较高的音乐&＃xff1a;