推荐系统系列1基于skipgram做推荐系统的想法

一、人工智能之自然语言处理

    自然语言处理&＃xff08;Natural Language Processing, NLP&＃xff09;&＃xff0c;是人工智能的分支科学&＃xff0c;意图是使计算机具备处理人类语言的能力。

    “处理人类语言的能力”要达到什么效果呢&＃xff1f;举个例子&＃xff01;班主任问路班长&＃xff1a;“你能把粉笔递过来么&＃xff1f;”。这句话有两层意思&＃xff0c;第一层&＃xff1a;你能不能把粉笔递过来&＃xff1b;第二层&＃xff1a;把粉笔递过来。Get到第一层&＃xff0c;班长回答“能”&＃xff0c;Get到第二层意思&＃xff0c;班长递上粉笔。倘若班长仅回答了“能”&＃xff0c;情景略尴尬。

    对于人类来说&＃xff0c;Get到两层意思没什么问题&＃xff0c;但是要计算机Get到第二层意思就不那么简单。因为人类语言囊括了许多主观意识&＃xff0c;是人从出生开始不断学习而形成的技能&＃xff0c;如果想要计算机达到这样的效果&＃xff0c;也需要有一个学习的过程。基于这样一个出发点&＃xff0c;自然语言处理应运而生。

二、自然语言处理之word2vec

    计算机智能保存0、1这样的数据&＃xff0c;不会保存kitty、tom、jerry、舒克这样的文本&＃xff0c;那么该如何表达文本呢&＃xff1f;

    1、 one-hot编码

    又称独热编码、一位有效编码。直观来说就是有多少个状态就有多少比特&＃xff0c;而且只有一个比特为1&＃xff0c;其他全为0的一种码制&＃xff0c;如图一&＃xff1a;

                                                                                                                         图一

    举个例子&＃xff1a;我们用{1&＃xff0c;0&＃xff0c;0&＃xff0c;0}表示kitty&＃xff0c;用{0&＃xff0c;0&＃xff0c;0&＃xff0c;1}表示tom。这样kitty与tom之间的区分程度就可以用数学中的向量距离来表示。

    但是one-hot有一个弊端&＃xff0c;就是表达方式太冗余&＃xff0c;仅仅利用了一个位置&＃xff0c;其他位置全部浪费了。上面4个单词用了4列&＃xff0c;其中3列为0&＃xff0c;如果有1000个单词&＃xff0c;那么就会有999列为0。因此需要一种更好的表达方式。

    2、 Embeddings

    是一组广泛应用于预测NLP建模的特征工程技术&＃xff0c;是比one-hot更有效率的一种表达方式&＃xff0c;如图二&＃xff1a;

                                                                                                                            图二

    我们使用Cat和Mouse两个特征&＃xff0c;kitty{0.8&＃xff0c;0.2}与tom{0.9&＃xff0c;0.1}之间的距离要小于kitty{0.8&＃xff0c;0.2}与jerry{0.2&＃xff0c;0.8}之间的距离&＃xff0c;与直观上的感受是一致的&＃xff0c;也可以达到区分的目的。而且空间占用相比于one-hot减小了一倍。

三、word2vec之skip-gram

    首先我们要有一个直观的感受&＃xff0c;来看下面四个句子&＃xff1a;

    1、 武磊在西班牙足球甲级联赛打入首粒入球&＃xff1b;

    2、 武磊确认为西班牙人足球队本场比赛的首发&＃xff1b;

    3、 湖人5连胜&＃xff0c;詹姆斯三双再刷NBA历史纪录&＃xff1b;

    4、 詹姆斯又创NBA里程悲,湖人还有办法吗?

    上面四个句子&＃xff0c;我们可以发现&＃xff1a;当“武磊”出现时&＃xff0c;大概率会出现“足球”、“西班牙”&＃xff0c; 小概率出现“NBA”&＃xff1b;当“詹姆斯”出现时&＃xff0c;大概率会出现“NBA”、“湖人”&＃xff0c;小概率出现“足球”。

    上述问题可以换一种抽象的描述&＃xff1a;当X出现时&＃xff0c;Y1、Y2、Y3…Yn会以较大概率出现。Skip-Gram-Naïve-Softmax模型可以处理这种情况&＃xff0c;如图三&＃xff1a;

                                                                                                                     图三

    假设我们的输入是最左边的one-hot-vector向量&＃xff0c;经过VxD维矩阵M1映射为1xD的Vc向量&＃xff0c;再经过DxV维矩阵M2映射&＃xff0c;最后经过SoftMax成为公式一       

                                                                               公式1

    公式1可以用来用来表示的具体信息&＃xff0c;我们暂不讨论数学公式&＃xff0c;仅从直观上分析&＃xff1a;要找到一种情景S使公式1最大&＃xff0c;从而最有效的对矩阵M1、M2进行训练&＃xff08;参考神经网络相关知识&＃xff09;。

    那么情景S如何选取呢&＃xff0c;Skip-gram将情景S定义为单词的上下文&＃xff0c;即距离目标单词Wi物理位置较近的Wi-1&＃xff0c;Wi&＃43;1等等。比如说本节的例子&＃xff0c;“武磊”附近大概率出现“足球”、“西班牙”&＃xff0c;“詹姆斯”附近大概率出现“NBA”、“湖人“。

    通过符合情景S的训练集&＃xff0c;对图中的矩阵M1、M2进行训练&＃xff0c;就可以得的单词的Embeddings表示&＃xff0c;进而计算不同单词之间的距离。

    代码实现、数据集&＃xff1a;https://github.com/dongguadan/recommender-system.git

    查询单词&＃xff1a;kenya

    相似度排名&＃xff1a;

        Colonialism:0.71

        Sheeny:0.67

        Score:0.65

        Religious:0.64

        Estereotyped:0.64

        Africa:0.63

        Maputo:0.63

        Jodorowsky:0.61

        Tankjacking:0.61

        Cambodia:0.61

                                                                                                                            图四

四、Skip-gram应用于推荐系统

    上面的数据集是基于影视评论的统计&＃xff0c;通过计算于目标单词相似度最近的单词&＃xff0c;可以找到与评论者近似的评论&＃xff0c;进而对评论者的兴趣进行评估、做友好推荐。

五、参考

    https://github.com/DSKSD/DeepNLP-models-Pytorch

    https://www.jianshu.com/p/8e291e4ba0da