集成模型

集成模型集成方法&＃xff08;ensemble method&＃xff09;

通过组合多个学习器来完成学习任务&＃xff0c;通过集成方法&＃xff0c;可以将多个弱学习器组合成一个强分类器&＃xff0c;因此集成学习的泛化能力一般比单一分类器要好。

集成方法主要包括Bagging和Boosting&＃xff0c;Bagging和Boosting都是将已有的分类或回归算法通过一定方式组合起来&＃xff0c;形成一个更加强大的分类。两种方法都是把若干个分类器整合为一个分类器的方法&＃xff0c;只是整合的方式不一样&＃xff0c;最终得到不一样的效果。常见的基于Baggin思想的集成模型有&＃xff1a;随机森林、基于Boosting思想的集成模型有&＃xff1a;Adaboost、GBDT、XgBoost、LightGBM等。

Baggin和Boosting的区别总结如下&＃xff1a;

• 样本选择上&＃xff1a; Bagging方法的训练集是从原始集中有放回的选取&＃xff0c;所以从原始集中选出的各轮训练集之间是独立的&＃xff1b;而Boosting方法需要每一轮的训练集不变&＃xff0c;只是训练集中每个样本在分类器中的权重发生变化。而权值是根据上一轮的分类结果进行调整
• 样例权重上&＃xff1a; Bagging方法使用均匀取样&＃xff0c;所以每个样本的权重相等&＃xff1b;而Boosting方法根据错误率不断调整样本的权值&＃xff0c;错误率越大则权重越大
• 预测函数上&＃xff1a; Bagging方法中所有预测函数的权重相等&＃xff1b;而Boosting方法中每个弱分类器都有相应的权重&＃xff0c;对于分类误差小的分类器会有更大的权重
• 并行计算上&＃xff1a; Bagging方法中各个预测函数可以并行生成&＃xff1b;而Boosting方法各个预测函数只能顺序生成&＃xff0c;因为后一个模型参数需要前一轮模型的结果。