从多项式函数拟合实验出发浅谈“模型选择、欠拟合和过拟合”问题

在本笔记中，我们将从简单易懂的多项式函数拟合实验出发，谈一谈如今做机器学习绕不开的三个重要概念：模型选择、欠拟合和过拟合，并且进一步挖掘如何选择模型、如何避免欠拟合和过拟合问题。本笔记主要从下面五个方面展开：

文章目录

• 1 模型选择
• • 1.1 训练误差和泛化误差
  • 1.2 模型选择
• 2 欠拟合和过拟合
• • 2.1 模型复杂度
  • 2.2 训练数据集大小
• 3 多项式函数拟合实验
• • 3.1 三阶多项式函数拟合（正常）
  • 3.2 线性函数拟合（欠拟合）
  • 3.3 训练样本不足（过拟合）
  • 3.4 小结
• 4 提高模型泛化能力的两种方法
• • 4.1 权重衰减
  • 4.2 丢弃法
• 5 心得体会

1.1 训练误差和泛化误差

首先，我们需要区分训练误差（training error）和泛化误差（generalization error）。通俗来讲，前者指模型在训练数据集上表现出的误差，后者指模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似。计算训练误差和泛化误差可以使用之前介绍过的损失函数，例如线性回归用到的平方损失函数和softmax回归用到的交叉熵损失函数。

让我们以高考为例来直观地解释训练误差和泛化误差这两个概念。训练误差可以认为是做往年高考试题（训练题）时的错误率，泛化误差则可以通过真正参加高考（测试题）时的答题错误率来近似。假设训练题和测试题都随机采样于一个未知的依照相同考纲的巨大试题库。如果让一名未学习中学知识的小学生去答题，那么测试题和训练题的答题错误率可能很相近。但如果换成一名反复练习训练题的高三备考生答题，即使在训练题上做到了错误率为0，也不代表真实的高考成绩会如此。

在机器学习里，我们通常假设训练数据集（训练题）和测试数据集（测试题）里的每一个样本都是从同一个概率分布中相互独立地生成的。基于该独立同分布假设，给定任意一个机器学习模型（含参数），它的训练误差的期望和泛化误差都是一样的。例如，如果我们将模型参数设成随机值（小学生），那么训练误差和泛化误差会非常相近。但我们从前面几节中已经了解到，模型的参数是通过在训练数据集上训练模型而学习出的，参数的选择依据了最小化训练误差（高三备考生）。所以，训练误差的期望小于或等于泛化误差。也就是说，一般情况下，由训练数据集学到的模型参数会使模型在训练数据集上的表现优于或等于在测试数据集上的表现。由于无法从训练误差估计泛化误差，一味地降低训练误差并不意味着泛化误差一定会降低。

机器学习模型应关注降低泛化误差。

1.2 模型选择

在机器学习中，通常需要评估若干候选模型的表现并从中选择模型。这一过程称为模型选择（model selection）。可供选择的候选模型可以是有着不同超参数的同类模型。以多层感知机为例，我们可以选择隐藏层的个数，以及每个隐藏层中隐藏单元个数和激活函数。为了得到有效的模型，我们通常要在模型选择上下一番功夫。下面，我们来描述模型选择中经常使用的验证数据集（validation data set）。

1. 验证数据集

从严格意义上讲，测试集只能在所有超参数和模型参数选定后使用一次。不可以使用测试数据选择模型，如调参。由于无法从训练误差估计泛化误差，因此也不应只依赖训练数据选择模型。鉴于此，我们可以预留一部分在训练数据集和测试数据集以外的数据来进行模型选择。这部分数据被称为验证数据集，简称验证集（validation set）。例如，我们可以从给定的训练集中随机选取一小部分作为验证集，而将剩余部分作为真正的训练集。

然而在实际应用中，由于数据不容易获取，测试数据极少只使用一次就丢弃。因此，实践中验证数据集和测试数据集的界限可能比较模糊。从严格意义上讲，除非明确说明，否则本书中实验所使用的测试集应为验证集，实验报告的测试结果（如测试准确率）应为验证结果（如验证准确率）。

1. k k k折交叉验证

由于验证数据集不参与模型训练，当训练数据不够用时，预留大量的验证数据显得太奢侈。一种改善的方法是 k k k折交叉验证（ k k k-fold cross-validation）。在 k k k折交叉验证中，我们把原始训练数据集分割成 k k k个不重合的子数据集，然后我们做 k k k次模型训练和验证。每一次，我们使用一个子数据集验证模型，并使用其他 k − 1 k-1 k−1个子数据集来训练模型。在这 k k k次训练和验证中，每次用来验证模型的子数据集都不同。最后，我们对这 k k k次训练误差和验证误差分别求平均。

接下来，我们将探究模型训练中经常出现的两类典型问题：一类是模型无法得到较低的训练误差，我们将这一现象称作欠拟合（underfitting）；另一类是模型的训练误差远小于它在测试数据集上的误差，我们称该现象为过拟合（overfitting）。在实践中，我们要尽可能同时应对欠拟合和过拟合。虽然有很多因素可能导致这两种拟合问题，在这里我们重点讨论两个因素：模型复杂度和训练数据集大小。

2.1 模型复杂度

为了解释模型复杂度，我们以多项式函数拟合为例。给定一个由标量数据特征 x x x和对应的标量标签 y y y组成的训练数据集，多项式函数拟合的目标是找一个 K K K阶多项式函数 y ^ = b + ∑ k = 1 K x k w k \hat{y} = b + \sum_{k=1}^K x^k w_k y^​=b+k=1∑K​xkwk​来近似 y y y。在上式中， w k w_k wk​是模型的权重参数， b b b是偏差参数。与线性回归相同，多项式函数拟合也使用平方损失函数。特别地，一阶多项式函数拟合又叫线性函数拟合。

因为高阶多项式函数模型参数更多，模型函数的选择空间更大，所以高阶多项式函数比低阶多项式函数的复杂度更高。因此，高阶多项式函数比低阶多项式函数更容易在相同的训练数据集上得到更低的训练误差。给定训练数据集，模型复杂度和误差之间的关系通常如图1所示。给定训练数据集，如果模型的复杂度过低，很容易出现欠拟合；如果模型复杂度过高，很容易出现过拟合。应对欠拟合和过拟合的一个办法是针对数据集选择合适复杂度的模型。

图1 模型复杂度对欠拟合和过拟合的影响

2.2 训练数据集大小

影响欠拟合和过拟合的另一个重要因素是训练数据集的大小。一般来说，如果训练数据集中样本数过少，特别是比模型参数数量（按元素计）更少时，过拟合更容易发生。此外，泛化误差不会随训练数据集里样本数量增加而增大。因此，在计算资源允许的范围之内，我们通常希望训练数据集大一些，特别是在模型复杂度较高时，例如层数较多的深度学习模型。

为了理解模型复杂度和训练数据集大小对欠拟合和过拟合的影响，下面我们以多项式函数拟合为例来实验。本次实验也是基于PyTorch来完成，正好学习理论的同时进一步对深度学习代码进行学习。

首先导入实验需要的包或模块。

import torch
import numpy as np
from matplotlib import pyplot as plt


我们将生成一个人工数据集。在训练数据集和测试数据集中，给定样本特征 x x x，我们使用如下的三阶多项式函数来生成该样本的标签：
y = 1.2 x − 3.4 x 2 + 5.6 x 3 + 5 + ϵ y = 1.2x &＃8211; 3.4x^2 + 5.6x^3 + 5 + \epsilon y=1.2x−3.4x2+5.6x3+5+ϵ其中噪声项 ϵ \epsilon ϵ服从均值为0、方差为0.01的正态分布。训练数据集和测试数据集的样本数都设为100。

n_train, n_test, true_w, true_b = 100, 100, [1.2, -3.4, 5.6], 5
features = torch.randn((n_train + n_test, 1))
poly_features = torch.cat((features, torch.pow(features, 2), torch.pow(features, 3)), 1)
labels = (true_w[0] * poly_features[:, 0] + true_w[1] * poly_features[:, 1]
+ true_w[2] * poly_features[:, 2] + true_b)
labels += torch.tensor(np.random.normal(0, 0.01, size=labels.size()), dtype=torch.float)


• torch.randn(size)表示从标准正态分布中随机抽出一组数组成一个size大小的张量。如果要自定义正态分布的均值和方差可以利用torch.tensor(np.random.normal(0, 0.01, size=labels.size())）先利用numpy内置函数再转成tensor。
• torch.cat看到函数的第一印象还以为是“张量猫”，但是其真正含义为张量拼接，最后一个key之前的参数都是待拼接的张量。最后为“0”表示按行拼接，即“越拼越深”；“1”表示按列拼接，即“越拼越长”。这个地方很巧妙的一点就是将一次项、二次项以及三次项放在一个张量中方便调用。

然后我们先定义作图函数semilogy，其中 y y y轴使用了对数尺度。

def semilogy(x_vals, y_vals, x_label, y_label, x2_vals, y2_vals, legend):
plt.xlabel(x_label)
plt.ylabel(y_label)
plt.semilogy(x_vals, y_vals)
if x2_vals and y2_vals:
plt.semilogy(x2_vals, y2_vals, linestyle=':')
plt.legend(legend)


• plt.semilogy表示将y轴按照对数输出，x轴不变。画图的函数后面隐藏的key会很多，所以经常看到会不知道是什么意思，这个时候需要多看多积累。
• if x2_vals and y2_vals:肯定会有很多读者会问为什么要加这一句，其实这一句的意思是如果第二个图为空，也就不需要画图显示图例了。

和线性回归一样，多项式函数拟合也使用平方损失函数。因为我们将尝试使用不同复杂度的模型来拟合生成的数据集，所以我们把模型定义部分放在fit_and_plot函数中。

num_epochs, loss = 100, torch.nn.MSELoss()
def fit_and_plot(train_features, test_features, train_labels, test_labels):
net = torch.nn.Linear(train_features.shape[-1], 1)
# 通过Linear文档可知，pytorch已经将参数初始化了，所以我们这里就不手动初始化了
batch_size = min(10, train_labels.shape[0])
dataset = torch.utils.data.TensorDataset(train_features, train_labels)
train_iter = torch.utils.data.DataLoader(dataset, batch_size, shuffle=True)

optimizer = torch.optim.SGD(net.parameters(), lr=0.01)
train_ls, test_ls = [], []
for _ in range(num_epochs):
for X, y in train_iter:
l = loss(net(X), y.view(-1, 1))
optimizer.zero_grad()
l.backward()
optimizer.step()
train_labels = train_labels.view(-1, 1)
test_labels = test_labels.view(-1, 1)
train_ls.append(loss(net(train_features), train_labels).item())
test_ls.append(loss(net(test_features), test_labels).item())
print('final epoch: train loss', train_ls[-1], 'test loss', test_ls[-1])
semilogy(range(1, num_epochs + 1), train_ls, 'epochs', 'loss',
range(1, num_epochs + 1), test_ls, ['train', 'test'])
print('weight:', net.weight.data,
'\nbias:', net.bias.data)


• l = loss(net(X), y.view(-1, 1))这个地方要注意的是损失函数中传入的两个参数必须同型，计算的时候要注意。

3.1 三阶多项式函数拟合（正常）

我们先使用与数据生成函数同阶的三阶多项式函数拟合。实验表明，这个模型的训练误差和在测试数据集的误差都较低。训练出的模型参数也接近真实值： w 1 = 1.2 , w 2 = − 3.4 , w 3 = 5.6 , b = 5 w_1 = 1.2, w_2=-3.4, w_3=5.6, b = 5 w1​=1.2,w2​=−3.4,w3​=5.6,b=5。

fit_and_plot(poly_features[:n_train,:],poly_features[n_train:,:],labels[:n_train],labels[n_train:])


输出：

图2 正常情况下的输出

这里还要额外插一句，就是这个实验我觉得设计得很巧妙，就是将多项式中的系数当成神经网络中的参数，而将多项式中的常数项当成神经网络中的偏置项，这样一来就是可以保证我的输入为3个未知数，方便理解，要不然就要再加一个神经元并且这个神经元的输入恒为1，用4个参数并且不带偏置项的线性层来解决。

3.2 线性函数拟合（欠拟合）

我们再试试线性函数拟合。很明显，该模型的训练误差在迭代早期下降后便很难继续降低。在完成最后一次迭代周期后，训练误差依旧很高。线性模型在非线性模型（如三阶多项式函数）生成的数据集上容易欠拟合，即在训练数据集上都不能达到一个很小的误差。

fit_and_plot(features[:n_train,:],features[n_train:,:],labels[:n_train],labels[n_train:])


输出：

图3 欠拟合情况下的输出

3.3 训练样本不足（过拟合）

事实上，即便使用与数据生成模型同阶的三阶多项式函数模型，如果训练样本不足，该模型依然容易过拟合。让我们只使用两个样本来训练模型。显然，训练样本过少了，甚至少于模型参数的数量。这使模型显得过于复杂，以至于容易被训练数据中的噪声影响。在迭代过程中，尽管训练误差较低，但是测试数据集上的误差却很高。这是典型的过拟合现象。

fit_and_plot(poly_features[0:2,:],poly_features[n_train:,:],labels[0:2],labels[n_train:])


输出：

图4 过拟合情况下的输出

3.4 小结

• 由于无法从训练误差估计泛化误差，一味地降低训练误差并不意味着泛化误差一定会降低。机器学习模型应关注降低泛化误差。
• 可以使用验证数据集来进行模型选择。
• 欠拟合指模型无法得到较低的训练误差，过拟合指模型的训练误差远小于它在测试数据集上的误差。
• 应选择复杂度合适的模型并避免使用过少的训练样本。

本节主要介绍应对过拟合问题，提高模型泛化性能的两种常用方法：权重衰减(weight decay)和丢弃法(dropout)。

4.1 权重衰减

权重衰减等价于 L 2 L_2 L2​范数正则化(regularization)。正则化通过为模型损失函数添加惩罚项使学出的模型参数值较小，是应对过拟合的常用手段。我们先描述 L 2 L_2 L2​范数正则化，再解释它为何又称权重衰减。

L 2 L_2 L2​范数正则化在模型原损失函数基础上添加 L 2 L_2 L2​范数惩罚项，从而得到训练所需要最小化的函数。 L 2 L_2 L2​范数惩罚项指的是模型权重参数每个元素的平方和与一个正的常数的乘积。以线性回归中的线性回归损失函数
ℓ ( w 1 , w 2 , b ) = 1 n ∑ i = 1 n 1 2 ( x 1 ( i ) w 1 + x 2 ( i ) w 2 + b − y ( i ) ) 2 \ell(w_1, w_2, b) = \frac{1}{n} \sum_{i=1}^n \frac{1}{2}\left(x_1^{(i)} w_1 + x_2^{(i)} w_2 + b &＃8211; y^{(i)}\right)^2 ℓ(w1​,w2​,b)=n1​i=1∑n​21​(x1(i)​w1​+x2(i)​w2​+b−y(i))2为例，其中 w 1 , w 2 w_1, w_2 w1​,w2​是权重参数， b b b是偏差参数，样本 i i i的输入为 x 1 ( i ) , x 2 ( i ) x_1^{(i)}, x_2^{(i)} x1(i)​,x2(i)​，标签为 y ( i ) y^{(i)} y(i)，样本数为 n n n。将权重参数用向量 w = [ w 1 , w 2 ] \boldsymbol{w} = [w_1, w_2] w=[w1​,w2​]表示，带有 L 2 L_2 L2​范数惩罚项的新损失函数为
ℓ ( w 1 , w 2 , b ) + λ 2 n ∣ w ∣ 2 , \ell(w_1, w_2, b) + \frac{\lambda}{2n} |\boldsymbol{w}|^2, ℓ(w1​,w2​,b)+2nλ​∣w∣2,其中超参数 λ > 0 \lambda > 0 λ>0。当权重参数均为0时，惩罚项最小。当 λ \lambda λ较大时，惩罚项在损失函数中的比重较大，这通常会使学到的权重参数的元素较接近0。当 λ \lambda λ设为0时，惩罚项完全不起作用。上式中 L 2 L_2 L2​范数平方 ∣ w ∣ 2 |\boldsymbol{w}|^2 ∣w∣2展开后得到 w 1 2 + w 2 2 w_1^2 + w_2^2 w12​+w22​。

个人理解：权重衰减其实质上就是在降低模型的复杂度。举个例子来说，如果我现在要拟合几个固定的点，我可以选择低次函数，也可以选择高次函数，如果次数太高那么他的泛化能力肯定差，对于高次函数而言他之所以泛化性能大直观上而言就是波动弯曲起伏太大不具有一般泛化能力，所以这就代表着其每一点附近的梯度会比较大，那么就导致这个高次函数的系数很大，所以现在权重衰减就是要强行限制这个系数，不让系数变大这样就会防止学出来的模型太复杂，避免泛化能力较低。（之前一直不理解为什么要让权重变小，这么一解释是不是清晰了许多）

具体实现方法就是：在初始化网络的时候分别对权重和偏置进行初始化，然后对他们分别设置优化器optimizer，优化器中有一个key就是代表的是否进行权重衰减，代码如下：

nn.init.normal_(net.weight, mean=0, std=1)
nn.init.normal_(net.bias, mean=0, std=1)
optimizer_w = torch.optim.SGD(params=[net.weight],lr,weight_decay=wd) #对权重参数衰减
optimizer_b = torch.optim.SGD(params=[net.bias],lr) #不对偏差参数衰减


4.2 丢弃法

图5 隐藏层使用了丢弃法的多层感知机

图5描述了一个单隐藏层的多层感知机。其中输入个数为4，隐藏单元个数为5，且隐藏单元 h i h_i hi​（ i = 1 , … , 5 i=1, \ldots, 5 i=1,…,5）的计算表达式为
h i = ϕ ( x 1 w 1 i + x 2 w 2 i + x 3 w 3 i + x 4 w 4 i + b i ) h_i = \phi\left(x_1 w_{1i} + x_2 w_{2i} + x_3 w_{3i} + x_4 w_{4i} + b_i\right) hi​=ϕ(x1​w1i​+x2​w2i​+x3​w3i​+x4​w4i​+bi​)这里 ϕ \phi ϕ是激活函数， x 1 , … , x 4 x_1, \ldots, x_4 x1​,…,x4​是输入，隐藏单元 i i i的权重参数为 w 1 i , … , w 4 i w_{1i}, \ldots, w_{4i} w1i​,…,w4i​，偏差参数为 b i b_i bi​。当对该隐藏层使用丢弃法时，其中 h 2 h_2 h2​和 h 5 h_5 h5​被清零。这时输出值的计算不再依赖 h 2 h_2 h2​和 h 5 h_5 h5​，在反向传播时，与这两个隐藏单元相关的权重的梯度均为0。由于在训练中隐藏层神经元的丢弃是随机的，即 h 1 , … , h 5 h_1, \ldots, h_5 h1​,…,h5​都有可能被清零，输出层的计算无法过度依赖 h 1 , … , h 5 h_1, \ldots, h_5 h1​,…,h5​中的任一个，从而在训练模型时起到正则化的作用，并可以用来应对过拟合。

在测试模型时，我们为了拿到更加确定性的结果，一般不使用丢弃法，所以一般测试之前都会用eval()来关闭dropout的功能。

具体实现方法就是：在需要使用dropout的地方加入nn.Dropout(P)这一层或者利用F.Dropout(P)这一函数来完成这一功能，括号中的P表示置零神经元的概率，代码如下：

net = nn.Sequential(
nn.Linear(num_inputs, num_hiddens1),
nn.ReLU(),
nn.Dropout(drop_prob1),
nn.Linear(num_hiddens1, num_hiddens2),
nn.ReLU(),
nn.Dropout(drop_prob2),
nn.Linear(num_hiddens2, 10)
)


当然这个Dropout层放置的位置也可以好好研究一下。

• 在上一篇笔记中主要讲到了softmax分类在MLP中的应用，这一次的笔记主要围绕模型的结果及泛化能力改进进行了一些讨论。
• 无论搭建什么模型，我们的最终目的是它有一个很好的泛化能力，可以对于未知的数据有一个很好的表现，而绝不仅仅在于训练的好与坏。
• 这之间的关系就好像一个博弈，为了提高测试的准确度其实有时放大训练误差也未尝不可。