推荐系统开源软件汇总

这方面的中文资料很少见&＃xff0c;希望对国内的朋友了解掌握推荐系统有帮助

 一、SVDFeature

由上海交大的同学开发的&＃xff0c;C&＃43;&＃43;语言&＃xff0c;代码质量很高 。去年我们参加KDD竞赛时用过&＃xff0c;非常好用&＃xff0c;而且出自咱们国人之手&＃xff0c;所以置顶推荐&＃xff01;

项目地址&＃xff1a;

http://svdfeature.apexlab.org/wiki/Main_Page

SVDFeature包含一个很灵活的Matrix Factorization推荐框架&＃xff0c;能方便的实现SVD、SVD&＃43;&＃43;等方法, 是单模型推荐算法中精度最高的一种。SVDFeature代码精炼&＃xff0c;可以用相对较少的内存实现较大规模的单机版矩阵分解运算。

另外含有Logistic regression的model&＃xff0c;可以很方便的用来进行ensemble运算

二、Crab

项目地址&＃xff1a;

系统的Tutorial可以看这里&＃xff1a;

Recommender Systems Framework in Python — scikit-recommender v0.1 documentation

Crab是基于Python开发的开源推荐软件&＃xff0c;其中实现有item和user的协同过滤。据说更多算法还在开发中&＃xff0c;

Crab的python代码看上去很清晰明了&＃xff0c;适合一读

三、CofiRank

C&＃43;&＃43;开发的 Collaborative Filtering算法的开源推荐系统&＃xff0c;但似乎2009年后作者就没有更新了&＃xff0c;

CofiRank依赖boost库&＃xff0c;联编会比较麻烦。不是特别推荐

项目地址&＃xff1a;

http://www.cofirank.org/

四、EasyRec

Java开发的推荐系统&＃xff0c;感觉更像一个完整的推荐产品&＃xff0c;包括了数据录入模块、管理模块、推荐挖掘、离线分析等&＃xff0c;整个系统比较完备。

项目地址&＃xff1a;

http://easyrec.org/

五、GraphLab

项目地址&＃xff1a;

http://graphlab.org/

Graphlab是基于C&＃43;&＃43;开发的一个高性能分布式graph处理挖掘系统&＃xff0c;特点是对迭代的并行计算处理能力强&＃xff08;这方面是hadoop的弱项&＃xff09;&＃xff0c;

由于功能独到&＃xff0c;GraphLab在业界名声很响

用GraphLab来进行大数据量的random walk或graph-based的推荐算法非常有效。

Graphlab虽然名气比较响亮&＃xff08;CMU开发&＃xff09;&＃xff0c;但是对一般数据量的应用来说可能还用不上

六、Lenskit

LensKit — Welcome

这个Java开发的开源推荐系统&＃xff0c;来自美国的明尼苏达大学&＃xff0c;也是推荐领域知名的测试数据集Movielens的作者&＃xff0c;

他们的推荐系统团队&＃xff0c;在学术圈内的影响力很大&＃xff0c;很多新的学术思想会放到这里

七、Mahout

网址

Apache Mahout

Mahout知名度很高&＃xff0c;是Apache基金资助的重要项目&＃xff0c;在国内流传很广&＃xff0c;并已经有一些中文相关书籍了。注意Mahout是一个分布式机器学习算法的集合&＃xff0c;协同过滤只是其中的一部分。除了被称为Taste的分布式协同过滤的实现&＃xff08;Hadoop-based&＃xff0c;另有pure Java版本&＃xff09;&＃xff0c;Mahout里还有其他常见的机器学习算法的分布式实现方案。

另外Mahout的作者之一Sean Owen基于Mahout开发了一个试验性质的推荐系统&＃xff0c;称为Myrrix, 可以看这里&＃xff1a;

http://myrrix.com/quick-start/

八、MyMediaLite

MyMediaLite Recommender System Library

基于.NET框架的C#开发&＃xff08;也有Java版本&＃xff09;&＃xff0c;作者基本来自德国、英国等欧洲的一些高校。

除了提供了常见场景的推荐算法&＃xff0c;MyMediaLite也有Social Matrix Factorization这样独特的功能

尽管是.Net框架&＃xff0c;但也提供了Python、Ruby等脚本语言的调用API

MyMediaLite的作者之一Lars Schmidt在2012年KDD会议上专门介绍过他们系统的一些情况&＃xff0c;可惜由于.Net开发框架日渐式微&＃xff0c;MyMediaLite对Windows NT Server的系统吸引力大些&＃xff0c;LAMP网站用得很少

九、LibFM

项目网址&＃xff1a;

libFM

作者是德国Konstanz University的Steffen Rendle&＃xff0c;KDD Cup竞赛上&＃xff0c;他用LibFM同时玩转Track1和Track2两个子竞赛单元&＃xff0c;都取得了很好的成绩&＃xff0c;说明LibFM是非常管用的利器

顾名思义&＃xff0c;LibFM是专门用于矩阵分解的利器&＃xff0c;尤其是其中实现了MCMC&＃xff08;Markov Chain Monte Carlo&＃xff09;优化算法&＃xff0c;比常见的SGD&＃xff08;随即梯度下降&＃xff09;优化方法精度要高&＃xff08;当然也会慢一些&＃xff09;

十、LibMF

项目地址&＃xff1a;

http://www.csie.ntu.edu.tw/~cjlin/libmf/

注意LibMF和上面的LibFM是两个不同的开源项目。这个LibMF的作者是大名鼎鼎的台湾国立大学&＃xff0c;他们在机器学习领域享有盛名&＃xff0c;近年连续多届KDD Cup竞赛上均获得优异成绩&＃xff0c;并曾连续多年获得冠军。台湾大学的风格非常务实&＃xff0c;业界常用的LibSVM&＃xff0c; Liblinear等都是他们开发的&＃xff0c;开源代码的效率和质量都非常高

LibMF在矩阵分解的并行化方面作出了很好的贡献&＃xff0c;针对SDG优化方法在并行计算中存在的locking problem和memory discontinuity问题&＃xff0c;提出了一种矩阵分解的高效算法&＃xff0c;根据计算节点的个数来划分评分矩阵block&＃xff0c;并分配计算节点。系统介绍可以见这篇论文&＃xff08;Recsys 2013的 Best paper Award&＃xff09;

Y. Zhuang, W.-S. Chin, Y.-C. Juan, and C.-J. Lin. A Fast Parallel SGD for Matrix Factorization in Shared Memory Systems. Proceedings of ACM Recommender Systems 2013.

十一、PREA

全名是 Personalized Recommendation Algorithms Toolkit, 开发语言为Java。也是一个轻量级的开源项目

项目网址&＃xff1a;

mloss | All entries

放在Mloss这个大project下。我个人感觉PREA还是比较简陋的&＃xff0c;参加开发的三位工程师Joonseok Lee, Mingxuan Sun, Guy Lebanon更新频率很低&＃xff0c;提供的资料也少。

不过Mloss下倒是能找到其他一些推荐开源项目

mloss | All entries

十二、Python-recsys

一个非常轻量级的开源推荐系统&＃xff0c;python开发&＃xff0c;作者似乎只有一位&＃xff0c;

Python-recsys主要实现了SVD、Neighborhood SVD推荐算法&＃xff0c;

这个项目麻雀虽小五脏俱全&＃xff0c;评估数据&＃xff08;Movielens&＃xff0c;Last.fm&＃xff09;、评估框架也都有

API也很简单清晰&＃xff0c;代码简洁&＃xff0c;属于推荐入门的良好教材。

不过真正要用到实际系统中&＃xff0c;还是得补充很多内容

github的地址位于

GitHub - ocelma/python-recsys: A python library for implementing a recommender system

项目的介绍见&＃xff1a;

python-recsys Library — python-recsys v1.0 documentation

十三、RapidMiner

项目网址为&＃xff1a;

RapidMiner | Best Data Science & Machine Learning Platform

Java语言开发&＃xff0c;RapidMiner&＃xff08;前身是Yale&＃xff09;已经是一个比较成熟的数据挖掘解决方案了&＃xff0c;包括常见的机器学习、NLP、推荐、预测等方法&＃xff08;推荐只占其中很小一部分&＃xff09;&＃xff0c;而且带有GUI的数据分析环境&＃xff0c;数据ETL、预处理、可视化、评估、部署等整套系统都有。

另外RapidMiner提供commercial license&＃xff0c;提供R语言接口&＃xff0c;感觉在向着一个商用的数据挖掘公司的方向在前进。

十四、Recommendable

基于Ruby语言开发&＃xff0c;实现了一些评分预测的推荐算法&＃xff0c;但是整体感觉比较单薄&＃xff0c;

github上地址如下&＃xff1a;

GitHub - davidcelis/recommendable: :&＃43;1::-1: A recommendation engine using Likes and Dislikes for your Ruby app

十五、Recommenderlab

基于R语言开发的开源推荐程序&＃xff0c;对经常使用R语言的工程师或者BI数据分析师来说&＃xff0c;recommenderlab的出现绝对算得上是福音了

项目地址&＃xff1a;

CRAN - Package recommenderlab

基于Recommenderlab来开发推荐系统&＃xff0c;代码会非常精简&＃xff0c;因为推荐系统所依赖的user-item rating matrix对擅长处理向量运算的R语言来说再方便不过了&＃xff0c;

但是在实际推荐系统中&＃xff0c;需要考虑的问题和逻辑都比较复杂&＃xff0c;用Recommenderlab不是很灵活。另外受限于R语言对内存的限制&＃xff0c;Recommenderlab不太适用于过大规模的推荐应用

十六、Waffles

SF地址&＃xff1a;

http://waffles.sourceforge.net/

Waffles英文原意是蜂蜜甜饼&＃xff08;见logo&＃xff09;&＃xff0c;在这里却指代一个非常强大的机器学习的开源工具包&＃xff0c;基于C&＃43;&＃43;语言开发。

Waffles里包含的算法特别多&＃xff0c;涉及机器学习的方方面面&＃xff0c;推荐系统位于其中的Waffles_recommend tool&＃xff0c;大概只占整个Waffles的1/10的内容&＃xff08;其它还有分类、聚类、采样、降维、数据可视化、音频处理等许许多多工具包&＃xff0c;估计能与之媲美的也就数Weka了&＃xff09;