[转]基于LUCENE实现自己的推荐引擎

转自&＃xff1a;http://www.yeeach.com/2010/10/01/%E5%9F%BA%E4%BA%8Elucene%E5%AE%9E%E7%8E%B0%E8%87%AA%E5%B7%B1%E7%9A%84%E6%8E%A8%E8%8D%90%E5%BC%95%E6%93%8E/

采用基于数据挖掘的算法来实现推荐引擎是各大电子商务网站、SNS社区最为常用的方法&＃xff0c;推荐引擎常用的Content-Based推荐算法及协同过滤算法&＃xff08;Item-Based 、User-based&＃xff09;在电子商务推荐系统入门v2.0、电子商务推荐系统入门基础中已经有所阐述。但从实际应用来看&＃xff0c;对于大部分中小型企业来说&＃xff0c;要在电子商务系统完整采用以上算法有很大的难度。

1、常用推荐引擎算法问题

1&＃xff09;、相对成熟、完整、现成的开源解决方案较少

粗略分来&＃xff0c;目前与数据挖掘及推荐引擎相关的开源项目主要有如下几类&＃xff1a;

数据挖掘相关&＃xff1a;主要包括Weka、R-Project、Knime、RapidMiner、Orange 等

文本挖掘相关&＃xff1a;主要包括OpenNLP、LingPipe、FreeLing、GATE 、Carrot2 等&＃xff0c;具体可以参考LingPipe’s Competition

推荐引擎相关&＃xff1a;主要包括Apache Mahout、Duine framework、Singular Value Decomposition (SVD) &＃xff0c;其他包可以参考Open Source Collaborative Filtering Written in Java

搜索引擎相关&＃xff1a;Lucene、Solr、Sphinx、Hibernate Search等

2&＃xff09;、常用推荐引擎算法相对复杂&＃xff0c;入门门槛较低

3&＃xff09;、常用推荐引擎算法性能较低&＃xff0c;并不适合海量数据挖掘

以上这些包或算法&＃xff0c;除了Lucene/Sor相对成熟外&＃xff0c;大部分都还处于学术研究使用&＃xff0c;并不能直接应用于互联网大规模的数据挖掘及推荐引擎引擎使用。

2、采用Lucene实现推荐引擎的优势

对很多众多的中小型网站而言&＃xff0c;由于开发能力有限&＃xff0c;如果有能够集成了搜索、推荐一体化的解决方案&＃xff0c;这样的方案肯定大受欢迎。采用Lucene来实现推荐引擎具有如下优势&＃xff1a;

1&＃xff09;、Lucene 入门门槛较低&＃xff0c;大部分网站的站内搜索都采用了Lucene

2&＃xff09;、相对于协同过滤算法&＃xff0c;Lucene性能较高

3&＃xff09;、Lucene对Text Mining、相似度计算等相关算法有很多现成方案

在开源的项目中&＃xff0c;Mahout或者Duine Framework用于推荐引擎是相对完整的方案&＃xff0c;尤其是Mahout 核心利用了Lucene&＃xff0c;因此其架构很值得借鉴。只不过Mahout目前功能还不是很完整&＃xff0c;直接用其实现电子商务网站的推荐引擎尚不是很成熟。只不过从Mahout实现可以看出采用Lucene实现推荐引擎是一种可行方案。

3、采用Lucene实现推荐引擎需要解决的核心问题

Lucene擅长Text Mining较为擅长&＃xff0c;Lucene在contrib包中提供了MoreLikeThis功能&＃xff0c;可以较为容易实现Content-Based的推荐&＃xff0c;但对于涉及用户协同过滤行为的结果&＃xff08;所谓的Relevance Feedback&＃xff09;&＃xff0c;Lucene目前并没有好的解决方案。需要在Lucene中内容相似算法中加入用户协同过滤行为对因素&＃xff0c;将用户协同过滤行为结果转化为Lucene所支持的模型。

4、推荐引擎的数据源

电子商务网站与推荐引擎相关典型的行为&＃xff1a;

• 购买本商品的顾客还买过
• 浏览本商品的顾客还看过
• 浏览更多类似商品
• 喜欢此商品的人还喜欢
• 用户对此商品的平均打分

因此基于Lucene实现推荐引擎主要要处理如下两大类的数据

1&＃xff09;、内容相似度

例如&＃xff1a;商品名称、作者/译者/制造商、商品类别、简介、评论、用户标签、系统标签

2&＃xff09;、用户协同行为相似度

例如&＃xff1a;打标签、购买商品、点击流、搜索、推荐、收藏、打分、写评论、问答、页面停留时间、所在群组等等

5、实现方案

5.1、内容相似度

基于Lucene MoreLikeThis实现即可。

5.1、对用户协同行为的处理

1&＃xff09;、用户每一次协同行为都使用lucene来进行索引&＃xff0c;每次行为一条记录

2&＃xff09;、索引记录中包含如下重要信息&＃xff1a;

商品名、商品id、商品类别、商品简介、标签等重要特征值、用户关联行为的其他商品的特征元素、商品缩略图地址、协同行为类型&＃xff08;购买、点击、收藏、评分等&＃xff09;、Boost值&＃xff08;各协同行为在setBoost时候的权重值&＃xff09;

3&＃xff09;、对评分、收藏、点击等协同行为以商品特征值&＃xff08;标签、标题、概要信息&＃xff09;来表征

4&＃xff09;、不同的协同行为类型&＃xff08;例如购买、评分、点击&＃xff09;设置不同的值setBoost

5&＃xff09;、搜索时候采用Lucene MoreLikeThis算法&＃xff0c;将用户协同转化为内容相似度

以上方案只是基于Lucene来实现推荐引擎最为简单的实现方案&＃xff0c;方案的准确度及细化方案以后再细说。

更为精细的实现&＃xff0c;可以参考Mahout的算法实现来优化。