【机器学习】Stacking与K折交叉验证

其他机器学习系列文章见于专题&＃xff1a;机器学习进阶之路——学习笔记整理&＃xff0c;欢迎大家关注。

1. Stacking定义

  Stacking并不是简单地对个体学习器的结果做简单逻辑处理&＃xff0c;而是先从初始数据集训练出初级学习器&＃xff0c;将初级学习器的输出当成特征&＃xff0c;初始样本的标记仍被当作标记&＃xff0c;由此生成一个新数据集用于训练学习器。

2. Stacking原理

  假设我们有两个初级学习器$Model1$&＃xff0c;$Model2$。

  &＃xff08;1&＃xff09;对初级学习器$Model1$&＃xff0c;利用训练集$D$进行训练&＃xff0c;然后用训练好的$Model1$预测训练集$D$和测试集$T$的标签列&＃xff0c;结果分别为$P1$、$T1$。

  &＃xff08;2&＃xff09;对初级学习器$Model2$&＃xff0c;重复步骤&＃xff08;1&＃xff09;&＃xff0c;得到预测标签结果$P2$、$T2$。

  &＃xff08;3&＃xff09;将两个初级学习器的结果合并&＃xff0c;得到次级学习器$Model3$的训练集$P3\&＃61;(P1,P2)$和测试集$T3\&＃61;(T1,T2)$。也就是说&＃xff0c;有多少个初级学习器&＃xff0c;次级学习器的训练集和测试集就有多少列&＃xff08;特征&＃xff09;。

  &＃xff08;4&＃xff09;用$P3$训练次级学习器$Model3$&＃xff0c;并预测$T3$&＃xff0c;得到最终的预测结果。

3. Stacking算法描述

  输入&＃xff1a;训练集$D$&＃xff0c;初级学习算法L1,L2,...,LT{\mathfrak{L}}_1,{\mathfrak{L}}_2,...,{\mathfrak{L}}_TL1​,L2​,...,LT​&＃xff0c;次级学习算法$\mathfrak{L}$。

  过程&＃xff1a;

    &＃xff08;1&＃xff09;对$i\&＃61;1,2,\dots ,m$&＃xff0c;使用初级学习算法Lt\mathfrak{L}_tLt​产生初级学习器ht&＃61;Lt(D)h _ { t } &＃61; \mathfrak { L } _ { t } ( D )ht​&＃61;Lt​(D);

    &＃xff08;2&＃xff09;生成次级训练集&＃xff1a;

      D′&＃61;∅D ^ { \prime } &＃61; \emptysetD′&＃61;∅

      $fori\&＃61;1,2,\dots ,mdo$

        $fort\&＃61;1,2,\dots ,Tdo$

          zit&＃61;ht(xi){{z_{it}} &＃61; {h_t}\left( {{x_i}} \right)}zit​&＃61;ht​(xi​)

        $endfor$

        D′&＃61;D′∪((zi1,zi2,…,ziT),yi){{D^\prime } &＃61; {D^\prime } \cup \left( {\left( {{z_{i1}},{z_{i2}}, \ldots ,{z_{iT}}} \right),{y_i}} \right)}D′&＃61;D′∪((zi1​,zi2​,…,ziT​),yi​)

      $endfor$

    &＃xff08;3&＃xff09;在D′{D&＃x27;}D′上用次级学习算法$\mathfrak{L}$产生次级学习器h′&＃61;L(D′){h&＃x27;} &＃61; {\mathfrak{L}}\left( {D&＃x27;} \right)h′&＃61;L(D′)。

  输出&＃xff1a;H(x)&＃61;h′(h1(x),h2(x),…,hT(x))H\left( x \right) &＃61; h&＃x27;\left( {{h_1}\left( x \right),{h_2}\left( x \right), \ldots ,{h_T}\left( x \right)} \right)H(x)&＃61;h′(h1​(x),h2​(x),…,hT​(x))。

4. K折交叉验证

  但是&＃xff0c;上述这种做法直接利用训练集训练得到的模型去预测训练集的标签&＃xff0c;过拟合风险比较大。因此&＃xff0c;一般通过k折交叉验证来缓解这种做法的过拟合问题。

  以5折交叉验证为例&＃xff0c;做法如下&＃xff1a;

  &＃xff08;1&＃xff09;原始训练集$D$被随机划分5个大小相似的子集D1,D2,…,D5{D_1},{D_2}, \ldots ,{D_5}D1​,D2​,…,D5​&＃xff0c;令DjD_jDj​、D‾j&＃61;D\Dj{\overline D _j} &＃61; D\backslash {D_j}Dj​&＃61;D\Dj​分别表示第$j$折的测试集和训练集。

  &＃xff08;2&＃xff09;用D1D_1D1​训练$Model1$&＃xff0c;然后在D1D_1D1​上进行预测得到P11P_{11}P11​&＃xff1b;用D2D_2D2​训练$Model1$&＃xff0c;然后在D2D_2D2​上进行预测得到P12{P_{12}}P12​&＃xff0c;重复5次将预测得到的P1&＃61;(P11⋮P15)P 1 &＃61; \left( \begin{array} { c } { P _ { 11 } } \\ { \vdots } \\ { P _ { 15 } } \end{array} \right)P1&＃61;⎝⎜⎛​P11​⋮P15​​⎠⎟⎞​。$P1$的训练集样本数等于原始训练集$D$中的样本数。

  &＃xff08;3&＃xff09;在每次5折交叉验证中&＃xff0c;都利用训练好的$Model1$对整个测试集$T$进行预测&＃xff0c;然后将5次预测结果求平均得到$T1$。

  &＃xff08;4&＃xff09;对初级学习器$Model2$&＃xff0c;重复步骤&＃xff08;2&＃xff09;&＃xff08;3&＃xff09;&＃xff0c;得到标签预测结果$P2$、$T2$。

  &＃xff08;5&＃xff09;拼接得到次级学习器$Model3$的训练集$P3\&＃61;(P1,P2)$和测试集$T3\&＃61;(T1,T2)$。

  &＃xff08;6&＃xff09;用$P3$训练次级学习器$Model3$&＃xff0c;并预测$T3$&＃xff0c;得到最终的预测结果。

参考文献&＃xff1a;

1. 《机器学习》第八章集成学习——周志华
2. Kaggle机器学习之模型融合&＃xff08;stacked&＃xff09;心得
3. 【机器学习】模型融合方法概述