机器学习15Bagging学习方法

知识点十五&＃xff1a;Bagging学习方法

Bagging这个单词&＃xff0c;是根据Bootstrap Aggregation这个词组创造的一个新词。Bootstrap, 即拔靴带&＃xff0c;是指穿长筒靴时用来帮助提靴的一个纽带&＃xff0c;位于靴子后面。

统计学上的Bootstrap一般称为自助法&＃xff0c;是指从n个训练样本

中随机选取n个&＃xff0c;允许重复&＃xff0c;生成与原始的训练样本集有些许差异的样本集的方法。像拔靴带那样的,只依靠自己就可以完成穿靴的动作&＃xff0c;对于训练样本而言&＃xff0c;因为采样后原始的训练样本集得以重新生成&＃xff0c;因而可以灵活应用于各种各样的计算&＃xff0c;所以就有了Bootstrap学习法这样的名称。另一方面&＃xff0c;Aggregation 是聚集、集成的意思。因此,正如其名称所表示的那样,在Bagging学习中&＃xff0c;首先经由自助法生成虚拟的训练样本,并对这些样本进行学习。然后&＃xff0c;反复重复这一过程、 对得到的多个分类器的输出求平均值。

通过上述方法&＃xff0c;就可以从大量略有不同的训练样本集合&＃xff0c;得到多个稍微不同的弱分类器&＃xff0c;然后再对这些分类器加以统合&＃xff0c;就可以得到稳定、可靠的强分类器。

注意&＃xff1a;本知识点的理解&＃xff0c;请结合知识点七。