Bagging,Boosting,Stacking

　　本文主要总结Bagging 和 Boosting 和 Stacking思想的异同点。这三种算法都可以称作为“meta-algorithms”，就是将多个机器学习方法集成到一个模型里面去降低方差，偏差，或者改善模型预测能力。通常bagging可以降低variance，boosting可以降低bias，stacking可以改善模型预测能力。

　　这三种算法都包含以下两个步骤：

• 在原始数据的子集样例上产生一个简单的ML模型分布。


• 将这个分布的模型集成到一个模型当中。

在多分类问题当中，常用到两大类的方法：Ensemble methods 和 Hybrid methods。Ensemble methods:主要是指将多个相同的学习模型集成到一起。最常见的方法里面有Bagging 和 Boosting，它们可以使弱分类器组成强分类器。Hybrid methods:主要是指将不同的学习模型集成到一起组成一个新的学习模型。最常见的方法里面有Stacking (or stacked generation)

下面着重总结bagging 和 boosting 的异同点。

1.Bagging (booststrap aggregating)

具体算法过程如下：

a> 先从原始样本集中抽取训练集。有放回的抽样n个训练样本，其中某些样本可能被多次抽到，而有些样本也可能一次没有抽到。共进行k轮抽取，得到k个训练集。（大约有1/3不会被抽到）　　

b>每次使用一个训练集得到一个模型，k个训练集共得到k个模型。

c>对于分类模型：最后结果采取k个模型投票的方式得到分类结果；对于回归问题：计算上述模型的均值得到最好的结果。（所有模型的重要性相同）

>>bagging只是通过增大训练集合的个数来降低预测的方差。（仅仅改变训练数据，不改变模型）

2.Boosting 

最主要的思想是将弱分类器组装成一个强分类器，在PCA(概率近似正确)框架下，则一定可以将弱分类器组成一个强分类器。

boosting两个核心问题：

a>在每一轮如何改变训练数据的权值或概率分布？

boosting中每个模型的更新都是和上一个模型相关的。通过提高那些在前一轮被弱分类器分错样例的权值，来使分类器对误分的数据有较好的效果。

b>通过什么方式来组合弱分类器？

通过加法模型使弱分类器线性组合。增大错误率小的分类器的权值，同时减小错误率较大的分类器的权值。

>>每一个新的训练子集合包含着上一个模型误分类的数据。

Stacking：

stacking类似于boosting。 

3.Bagging 和 Boosting二者之间的区别

a>在样本选择上：

Bagging:训练集是在原始集中有放回的选取，从原始数据集中选出的各轮训练集之间是相互独立的。

Boosting:每一轮的训练集不变，只是训练集中每个样例在分类器中的权值发生变化。而权值是根据上一轮的分类结果进行调整。

b>样例权重：

Bagging:使用均匀抽样，每个样例的权重相等。

Boosting:根据错误率不断调整样例的权值，错误率越大则权重越大。

c>预测函数：

Bagging:所以预测函数的权重相等。

Boosting:每个弱分类器都有相应的权重，对于分类误差小的分类器会有更大的权重。

d>并行计算：

Bagging:各预测函数可以并行生成。

Boosting:各个预测函数只能顺序生成，因为后一个模型参数需要前一轮模型的结果。

e>作用和目标：

Bagging:目标是降低variance，而不是bias。适合高方差低偏差模型，也就是复杂模型。

Boosting:目标是降低bias，而不是variacne，适合低方差高偏差模型。

4.总结

Bagging 和Boosting 方法都是将多个分类器集成到一个分类器，只是集成的方法不一样。最后集成模型提高了单一分类器的效果，同时增大了计算量。

常用的算法组合：

Bagging +决策树=随机森林

AdaBoost+决策树=提升树

Gradient Boosting+决策树=GBDT

5.reference 

1. http://www.cnblogs.com/liuwu265/p/4690486.html

2.https://stats.stackexchange.com/questions/18891/bagging-boosting-and-stacking-in-machine-learning

3.https://people.cs.pitt.edu/~milos/courses/cs2750-Spring04/lectures/class23.pdf

4.http://quantdare.com/dream-team-combining-classifiers-2/

5.https://quantdare.com/what-is-the-difference-between-bagging-and-boosting/