《Scala机器学习》一一3.4机器学习库

3.4　机器学习库
Spark是基于内存的存储系统&＃xff0c;它本质上能提高节点内和节点之间的数据访问速度。这似乎与ML有一种自然契合&＃xff0c;因为许多算法需要对数据进行多次传递或重新分区。MLlib是一个开源库&＃xff0c;但仍有一些私人公司还在不断按自己的方式来实现MLlib中的算法。
在第5章会看到大多数标准机器学习算法可以表示为优化问题。例如&＃xff0c;经典线性回归会最小化回归直线与实际y值之间的距离平方和&＃xff1a;

其中&＃xff0c;是由下面的线性表达式所得到的预测值&＃xff1a;

A通常称为斜率&＃xff0c;B通常称为截距。线性优化问题更一般化的公式可以写成最小化加法函数&＃xff1a;

其中&＃xff0c;L(w | xi, yi)称为损失函数&＃xff0c;R(w)是正则函数。正则函数增加了模型函数的复杂性&＃xff0c;比如参数的数量&＃xff08;或基于此的自然对数&＃xff09;。下表给出了大多数常见的损失函数&＃xff1a;

正则化的目的是惩罚更复杂的模型&＃xff0c;以避免过拟合和降低泛化错误。MLlib当前支持如下的正则化&＃xff1a;

其中&＃xff0c;sign (w)是w中所有元素对应的符号向量。
当前MLlib实现了如下的算法&＃xff1a;
基本统计
概要统计&＃xff08;summary statistics&＃xff09;
相关性
分层抽样&＃xff08;stratified sampling&＃xff09;
假设检验
流式显著性检验
随机数据生成
分类与回归
线性模型&＃xff08;SVM、logistic回归和线性回归&＃xff09;
朴素贝叶斯
决策树
集成树&＃xff08;随机森林和梯度提升树&＃xff09;
保序回归
协同过滤
交替最小二乘&＃xff08;alternating least squares&＃xff0c;ALS&＃xff09;
聚类
k-means
Gaussian混合
Power迭代聚类&＃xff08;PIC&＃xff09;
隐狄利克雷分布&＃xff08;Latent Dirichlet allocation&＃xff0c;LDA&＃xff09;
二分&＃xff08;Bisecting&＃xff09;k-means
流式&＃xff08;Streaming&＃xff09;k-means
降维
奇异值分解&＃xff08;SVD&＃xff09;
主成分分析&＃xff08;PCA&＃xff09;
特征提取与变换
频繁模式挖掘
FP-growth
关联规则
PrefixSpan
优化
随机梯度下降&＃xff08;SGD&＃xff09;
有限内存BFGS&＃xff08;L-BFGS&＃xff09;
第5章将会介绍其中的一些算法&＃xff0c;而更复杂的非结构化机器学习方法将在第6章介绍。
3.4.1　SparkR
R是用流行的S编程语言实现的&＃xff08;S语言是当时在贝尔实验室工作的John Chambers所创建的&＃xff09;&＃xff0c;它目前由R统计计算基金会支持。调查表明R的人气近年来在不断增加。SparkR提供了一个轻量级前端来使用基于R的Apache Spark。从Spark 1.6.0开始&＃xff0c;SparkR提供了一个分布式DataFrame&＃xff0c;它支持选择、过滤、聚合等操作&＃xff0c;这与R的DataFrame和dplyr类似&＃xff0c;但是SparkR处理的是非常大的数据集。SparkR还支持基于MLlib的分布式机器学习。
SparkR需要R的3.0版本或更高版本&＃xff0c;可通过./bin/sparkR来运行shell。本书将在第8章介绍SparkR。
3.4.2　图算法&＃xff1a;Graphx和GraphFrames
图算法是其中最难的算法之一&＃xff0c;因为若图本身不能被分割&＃xff08;即它能表示成一组断开的子图&＃xff09;&＃xff0c;那么图算法需要在节点之间有恰当的分布。对节点规模高大数百万的社交网络上进行分析开始流行的原因是&＃xff0c;一些公司&＃xff08;如Facebook、谷歌和LinkedIn&＃xff09;的研究人员已经提出了新的方法来规范图表示、算法以及问答类型。
GraphX是一个图计算的现代框架&＃xff0c;在2013年的一篇论文提出了这种框架&＃xff08;GraphX: A Resilient Distributed Graph System on Spark by Reynold Xin, Joseph Gonzalez, Michael Franklin和Ion Stoica, GRADES&＃xff08;SIGMOD workshop&＃xff09;, 2013&＃xff09;。之前的图并行框架有Pregel和PowerGraph。GraphX中的图由两个RDD表示&＃xff1a;一个用于表示顶点&＃xff1b;另一个用于表示边。一旦RDD加入&＃xff0c;GraphX支持类似于Pregel的API或类似于MapReduce的API&＃xff0c;其中map函数应用于节点的近邻&＃xff0c;而reduce是在map结果之上进行聚合。
在写本书时&＃xff0c;GraphX实现了如下的图算法&＃xff1a;
PageRank
连通分量
三角计数
标签传播&＃xff08;label propagation&＃xff09;
SVD &＃43;&＃43;&＃xff08;协同过滤&＃xff09;
强连通分量
由于GraphX是一个开源库&＃xff0c;因此其修改会被列出来。GraphFrames是Databricks公司给出的一种新的实现&＃xff0c;它构建在DataFrame之上&＃xff0c;完全支持如下这三种语言&＃xff1a;Scala、Java和Python。第7章会讨论其具体的实现。