ISLR读书笔记十：模型选择——子集选择法（subsectselection）

前言

这篇文章主要讲的是模型选择&＃xff08;model selection&＃xff09;中的一类方法&＃xff1a;子集选择法&＃xff08;subsect selection&＃xff09;&＃xff0c;接下来两篇文章将介绍模型选择的其他两类方法&＃xff1a;收缩法&＃xff08;shrinkage&＃xff09;和降维法&＃xff08;dimension reduction&＃xff09;。
首先为什么要进行模型选择呢&＃xff1f;以线性回归模型为例&＃xff0c;主要出于预测准确性&＃xff08;prediction accuracy&＃xff09;和模型解释度&＃xff08;model interpretability&＃xff09;两方面的考虑。

1. 模型准确性
   当 $n$ 没有远大于 $p$ 时&＃xff0c;利用最小二乘拟合得到的预测结果方差会很大&＃xff1b;当 $n<p$ 时&＃xff0c;最小二乘法失效&＃xff0c;得不到唯一的参数估计。
2. 模型解释度
   多元回归模型中的某些自变量&＃xff0c;可能与因变量毫无关联&＃xff0c;而最小二乘法得到的无关因素的参数系数未必刚好是 0&＃xff0c;所以若加入这些无关因素&＃xff0c;可能会影响模型解释度。

最优子集法&＃xff08;best subset selection&＃xff09;

算法&＃xff1a;

1. 记 M0M_0M0​ 为空模型&＃xff08;null model&＃xff09;&＃xff08;无自变量&＃xff09;。该模型预测的结果均为样本均值。
2. For $k\&＃61;1,2,\cdots ,p$&＃xff1a;
   拟合所有CpkC_p^kCpk​ 个包含 $k$ 个自变量的模型&＃xff1b;
   从这 CpkC_p^kCpk​ 个模型选取最优的模型&＃xff0c;记为 MkM_kMk​ 。这里的最优&＃xff0c;在线性回归问题中&＃xff0c;可以是最小 $RSS$ 或者最大 R2R^2R2。
3. 从 M0,M1,⋯&＃xff0c;MpM_0,M_1,\cdots&＃xff0c;M_pM0​,M1​,⋯&＃xff0c;Mp​ 中选取最优模型。选取标准可以是交叉验证的预测误差&＃xff0c;或者 Cp(AIC),BIC,C_p(AIC), BIC,Cp​(AIC),BIC,调整后的 R2R^2R2。

优点&＃xff1a; 简单

缺点&＃xff1a; 受计算限制&＃xff0c;$p$ 较大时运算量太大。

逐步选择法&＃xff08;stepwise selection&＃xff09;

优点&＃xff1a; 运算量较小
缺点&＃xff1a; 未必能选取最佳模型

向前逐步选择

算法&＃xff1a;

1. 记 M0M_0M0​ 为无自变量的空模型&＃xff08;null model&＃xff09;
2. For $k\&＃61;1,2,\cdots ,p-1$&＃xff1a;
   拟合所有 $p-k$ 个在 MkM_kMk​ 基础上只增加一个自变量的模型&＃xff1b;
   从这 $p-k$ 个模型选取最优的模型&＃xff0c;记为 Mk&＃43;1M_{k&＃43;1}Mk&＃43;1​ 。这里的最优&＃xff0c;在线性回归问题中&＃xff0c;可以是最小 $RSS$ 或者最大 R2R^2R2。
3. 从 M0,M1,⋯&＃xff0c;MpM_0,M_1,\cdots&＃xff0c;M_pM0​,M1​,⋯&＃xff0c;Mp​ 中选取最优模型。选取标准可以是交叉验证的预测误差&＃xff0c;或者 Cp(AIC),BIC,C_p(AIC), BIC,Cp​(AIC),BIC,调整后的 R2R^2R2。

向后逐步选择

算法&＃xff1a;

1. 记 MpM_pMp​ 为包含所有 $p$ 个自变量的模型&＃xff08;full model&＃xff09;
2. For $k\&＃61;p,p-1,\cdots ,1$&＃xff1a;
   拟合所有 $k$ 个在 MkM_kMk​ 基础上只减少一个自变量的模型&＃xff1b;
   从这 $k$ 个模型选取最优的模型&＃xff0c;记为 Mk−1M_{k-1}Mk−1​ 。这里的最优&＃xff0c;在线性回归问题中&＃xff0c;可以是最小 $RSS$ 或者最大 R2R^2R2。
3. 从 M0,M1,⋯&＃xff0c;MpM_0,M_1,\cdots&＃xff0c;M_pM0​,M1​,⋯&＃xff0c;Mp​ 中选取最优模型。选取标准可以是交叉验证的预测误差&＃xff0c;或者 Cp(AIC),BIC,C_p(AIC), BIC,Cp​(AIC),BIC,调整后的 R2R^2R2。

混合逐步选择

按向前逐步选择的方式给空模型增加自变量&＃xff0c;每增加一个新的自变量&＃xff0c;移除不再提供改进的自变量。

如何选取最优

Cp,AIC,BIC,C_p,AIC,BIC,Cp​,AIC,BIC, 调整后的 R2R^2R2

Cp,AIC,BIC,C_p,AIC,BIC,Cp​,AIC,BIC, 调整后的 R2R^2R2 都是用来评价模型好坏的统计量&＃xff0c;在选择最优模型的时候进行参考。
Cp,AIC,BIC,C_p,AIC,BIC,Cp​,AIC,BIC, 越小越好&＃xff1b;调整后的 R2R^2R2 越接近 $1$ 越好

CpC_pCp​

Cp&＃61;1n(RSS&＃43;2dσ^2)C_p&＃61;\frac{1}{n}(RSS&＃43;2d\hat\sigma^2)Cp​&＃61;n1​(RSS&＃43;2dσ^2)
CpC_pCp​是对测试MSE的估计&＃xff0c;$d$ 是自变量数量&＃xff0c;σ^2\hat\sigma^2σ^2 是对误差项 $ϵ$ 方差的估计。CpC_pCp​ 统计量在RSS的基础上增加了一个 2dσ^22d\hat\sigma^22dσ^2 的惩罚项来进行调整。

$AIC$

Akaike information criterion&＃xff08;AIC&＃xff09;
AIC&＃61;1nσ^2(RSS&＃43;2dσ^2)AIC&＃61;\frac{1}{n\hat\sigma^2}(RSS&＃43;2d\hat\sigma^2)AIC&＃61;nσ^21​(RSS&＃43;2dσ^2)

$BIC$

Bayesian information criterion&＃xff08;BIC&＃xff09;
BIC&＃61;1nσ^2(RSS&＃43;log(n)dσ^2)BIC&＃61;\frac{1}{n\hat\sigma^2}(RSS&＃43;log(n)d\hat\sigma^2)BIC&＃61;nσ^21​(RSS&＃43;log(n)dσ^2)

调整后的 R2R^2R2 &＃xff08;adjusted R2R^2R2&＃xff09;

adjustedR2&＃61;1−RSS/(n−d−1)TSS/(n−1)adjusted R^2&＃61;1-\frac{RSS/(n-d-1)}{TSS/(n-1)}adjustedR2&＃61;1−TSS/(n−1)RSS/(n−d−1)​

交叉验证的误差

上面四种统计量都是通过间接的方式来估计测试MSE&＃xff0c;也可以用校验集或者交叉验证集上的得到误差来直接估计。交叉验证的预测误差最小的模型&＃xff0c;效果最好。