皮一下之技术流保命法

这个时候&＃xff0c;我感觉到后脊梁骨一阵发凉&＃xff0c;果不其然。正在喝水的我&＃xff0c;差点没被噎死。发来如下题目&＃xff0c;就是说&＃xff0c;如果我俩越默契&＃xff0c;答案就越相似&＃xff0c;题目是这样的。

请给以下唇色评分&＃xff08;5分制&＃xff09;&＃xff0c;评出你对每一个的喜好程度&＃xff1f;

额&＃xff1f;你给大直男&＃xff0c;发这种测试&＃xff0c;真的好吗&＃xff1f;我这些是啥色都认不全&＃xff0c;哪里知道选多少分哦&＃xff1f;只能凭感觉蒙吧~

我以为把答案丢给他&＃xff0c;然后她比对我的答案&＃xff0c;看下我大概哪些题每答对就好了。好吧。我太小看女生心思了。她把这些测试都发了一份给她的闺蜜们&＃xff0c;得出了10个人的得分&＃xff0c;然后让我选择其中哪一个是她。大兄弟们&＃xff0c;也就是说&＃xff0c;如果选了她的一位闺蜜&＃xff0c;那就危险了。

正好最近看了推荐系统的章节&＃xff0c;发现这个和推荐系统的相似度计算很相似&＃xff0c;首先咱们理一下数据的情况&＃xff0c;咱们选项按照分数级来分1~5表示喜好程度。每一个人呢&＃xff0c;我们就用字典的key形式给她做编号&＃xff0c;比如第一个闺蜜&＃xff08;或女票&＃xff09;就是per_1。唇色就用编号lip_1&＃xff0c;那么第一个人的数据类似于这样的

{ # 第一个人"per_1": {# 第10个唇色 : 3分&＃xff0c;下同"lip_10": 3,"lip_9": 1,"lip_8": 5,"lip_1": 2,"lip_3": 2,"lip_2": 3,"lip_5": 4,"lip_4": 1,"lip_7": 1,"lip_6": 1}}

这里核心就是&＃xff0c;只要我们每一题和女票回答的尽可能相近就能够把最后相近度控制在最小。这里我们采用欧几里得公式来求解&＃xff0c;别看这个名字挺唬人的&＃xff0c;其实原理很简单。就是两点之间的距离计算。

给定两个点 P&＃61;(x,y)和Q&＃61;(z,t)  &＃xff0c;定义距离

这样看公式不容易理解&＃xff0c;没问题&＃xff0c;看我的灵魂画图功底。如下&＃xff0c;其实咱们就是要求这个d的距离&＃xff0c;并且使它最小。

总共有10个唇色偏爱程度&＃xff0c;我们只需要根据公式进行加和&＃xff0c;最终使得距离值最小即可。

Don&＃39;t bb, show me the code

def xzz_sim_distance(perfs, person1, person2):&＃39;&＃39;&＃39;    小祖宗相似度计算     :return 一个0~1之间的值&＃xff0c;越大表示两人相似度越高    &＃39;&＃39;&＃39;# 判断如果两人存在共同爱好,跳出来计算两人之间的差值总和# 判断如果两人不存在相同爱好,则返回0for per_person1_like in perfs[person1]:if per_person1_like in perfs[person2]:breakelse:return 0# 计算每一组差值的平方和sum_squares_sim &＃61; sum([pow(perfs[person2][per_saw] - perfs[person1][per_saw], 2) for per_saw in perfs[person1] if per_saw in perfs[person2]])# 避免因为两者完全相等时,分母为0&＃xff1b;取导数时,则保证,数值越大,表明两者越相关,方便记忆。return 1/(1 &＃43; sqrt(sum_squares_sim))

ok&＃xff0c;咱们把自己对每一个唇色的喜好程度进行打分&＃xff0c;将自己的打分结果与闺蜜们的数据一起打包&＃xff0c;形成最终的数据perfs。然后调用 小祖宗相似度计算函数&＃xff08;xzz_sim_distance&＃xff09;看下结果如何。

for per_p in Lips_data:# 不与自己进行比较if per_p &＃61;&＃61; &＃39;per_0&＃39;:continueprint xzz_sim_distance(Lips_data, &＃39;per_0&＃39;, per_p), per_p

输出如下:

0.141187848064 per_10
0.179128784748 per_9
0.2 per_8
0.1336766024 per_5
0.2 per_4
0.205213096158 per_7
0.135078105936 per_6
0.139578756837 per_1
0.309016994375 per_3
0.150221104822 per_2

我们可以很容易的看出来&＃xff0c;最大值是第三个人。虽然感觉得分还是很低&＃xff0c;但是觉得自己推理是没毛病的&＃xff0c;颤抖着的手把答案发了过去。

(╯‵□′)╯︵┻━┻ 还没完没了了。但是没办法&＃xff0c;谁让她是小祖宗呢&＃xff1f;我先审一下题&＃xff0c;这次是她们公司的创意库&＃xff0c;采集的作品&＃xff0c;让我看下各种广告视频&＃xff0c;并根据这些个创意进行喜好程度打分。这其实原理和之前一样嘛&＃xff0c;也是计算相似度。

所以这里介绍另外一套算法&＃xff0c;皮尔逊相关系数&＃xff0c;能够修正我这种比较糙的人。对于皮尔逊相关系数不太理解的&＃xff0c;可以看下如下资料

如何理解皮尔逊相关系数&＃xff08;Pearson Correlation Coefficient&＃xff09;

皮尔逊相关系数&＃xff0c;如下是公式&＃xff1a;

show me the code :

def xzz_sim_person(perfs, p1, p2):&＃39;&＃39;&＃39;     小祖宗皮尔逊相关系数计算    :return 一个0~1之间的值&＃xff0c;越大表示两人相似度越高    &＃39;&＃39;&＃39;# 构建共同数据集common &＃61; {}for per_p1 in perfs[p1]:if per_p1 in perfs[p2]:common[per_p1] &＃61; 1# 得到数据集总数量n &＃61; len(common)# 没有共同兴趣爱好if n &＃61;&＃61; 0:return 0# 对所有偏好求和sum1 &＃61; sum([perfs[p1][per_common] for per_common in common])sum2 &＃61; sum([perfs[p2][per_common] for per_common in common])# 求平方和sq_sum1 &＃61; sum([pow(perfs[p1][per_common], 2) for per_common in common])sq_sum2 &＃61; sum([pow(perfs[p2][per_common], 2) for per_common in common])# 求乘积和mul_sum &＃61; sum([perfs[p1][per_common] * perfs[p2][per_common] for per_common in common])num &＃61; mul_sum - sum1*sum2/nden &＃61; sqrt((sq_sum1 - pow(sum1, 2)/n)*(sq_sum2 - pow(sum2, 2)/n))if den &＃61;&＃61; 0:return 0r &＃61; num/denreturn r

每写一个相似度匹配算法&＃xff0c;咱们就得排序一下结果&＃xff0c;看看谁分值较高&＃xff0c;挺麻烦的&＃xff0c;那就写一个通用的小祖宗最n临近人算法&＃xff08;名字瞎取的&＃xff09;方便复用&＃xff1a;

def xzz_top_matches(prefs, person, n&＃61;5, similarity&＃61;xzz_sim_person):&＃39;&＃39;&＃39;    小祖宗最n临近人算法    寻找与自己最相近的n个人,并给出相似度评分    &＃39;&＃39;&＃39;scores &＃61; [(similarity(prefs, person, per_person), per_person) for per_person in prefs if per_person !&＃61; person]scores.sort()scores.reverse()return scores[0:n]

咱们来调用一下看看结果如何&＃xff1a;

print xzz_top_matches(Videos_data, &＃39;per_0&＃39;, n&＃61;5, similarity&＃61;xzz_sim_person)

输出如下

[(0.520765483515341, &＃39;per_32&＃39;),
(0.4597024642476977, &＃39;per_29&＃39;),
(0.34642796561282824, &＃39;per_21&＃39;),
(0.3054957597202306, &＃39;per_33&＃39;),
(0.2796316410812393, &＃39;per_10&＃39;)]

激动地酱不出话&＃xff0c;从50个人当中找出评分&＃xff0c;一个个比对&＃xff0c;我找出来&＃xff0c;估计也到后年腊月了吧&＃xff1f;颤抖着手把猜测结果发了过去。

好了&＃xff0c;又来了&＃xff0c;这次倒不是测试&＃xff0c;是这样&＃xff0c;她在网上找了一堆化妆品品牌的评测&＃xff0c;每个牌子都有堆网友的综合评分&＃xff0c;她自己对10种牌子有一个自己喜好&＃xff0c;并做了评分&＃xff0c;但想知道哪个人跟她的喜好相似&＃xff0c;因此就可以根据相似人的喜好去买买买。

但是这里面有两个问题有bug

1. 不是每个人都对10个牌子有评价&＃xff1b;

2. 有些人有个人好恶&＃xff0c;就是说某些品牌可能总体评价不好&＃xff0c;但某个人就是钟爱她&＃xff0c;这就会造成推荐偏差。

这又要怎么解决呢&＃xff1f;easy&＃xff0c;咱们可以通过加权计算

我们先计算每个人的相似度&＃xff0c;然后看她们对于每一个牌子的评分&＃xff0c;与我们的相似度相乘&＃xff0c;得到加权后的得分&＃xff0c;再和相似度总和相除&＃xff0c;便可以得到最后的得分。这就可以避免诸如牌子2有一项没有被该用户评分的情况。

上代码&＃xff1a;

def xzz_get_recommendations(perfs, person, similarity&＃61;xzz_sim_person):"""    小祖宗物品推荐算法    基于相似度评分,进行加权计算,进行推荐建议    """sim_rew_sum &＃61; {}sim_sum &＃61; {}for per_person in perfs:# 不与自己比较if per_person &＃61;&＃61; person:continuesimilar &＃61; similarity(perfs, person, per_person)# 忽略总分小于0的情况if similar <&＃61; 0:continuefor per_item in perfs[per_person]:# 只对自己没了解过的牌子进行评价if per_item not in perfs[person] or perfs[person][per_item] &＃61;&＃61; 0:# 相似度*评价值之和sim_rew_sum.setdefault(per_item, 0)sim_rew_sum[per_item] &＃43;&＃61; perfs[per_person][per_item] * similar# 相似度之和sim_sum.setdefault(per_item, 0)sim_sum[per_item] &＃43;&＃61; similarranks &＃61; [(sim_rew_sum[item]/sim_sum[item], item) for item in sim_rew_sum]ranks.sort()ranks.reverse()return ranks

这里再将品牌数据传到其中即可&＃xff0c;再将数据集传入其中即可&＃xff0c;结果可喜可贺。可是今晚依然没有约会~至此&＃xff0c;我的假女朋友也可以退下了。

anyway&＃xff0c;做一个简单总结&＃xff1a;

1. 相似度计算可以通过欧几里得或者皮尔逊相关系数等算法。得分越高越匹配

2. 皮尔逊相关系数能够修正某一个人出分普遍比另一个人高的情况

3. 推荐物品时&＃xff0c;为了消除个人特殊癖好&＃xff0c;或者未打分的情况&＃xff0c;可通过加权计算进行修正

特别说明&＃xff1a;

本节相关知识点参考书籍《集体智慧编程》

素材来自Internet