训练集(trainset)、验证集(validationset)、测试集(testset)

在有监督(supervise learning)机器学习中&＃xff0c;数据集常被分成2~3个部分&＃xff1a;
训练集(train set)&＃xff1a;用来估计模型&＃xff1b;
验证集(validation set)&＃xff1a;确定网络结构或者控制模型复杂程度的参数&＃xff1b;
测试集(test set)&＃xff1a;检验最终选择最优的模型的性能如何。

一个典型的划分是训练集占总样本的50&＃xff05;&＃xff0c;而其它各占25&＃xff05;&＃xff0c;三部分都是从样本中随机抽取。样本少的时候&＃xff0c;上面的划分就不合适了。常用的是留少部分做测试集。然后对其余N个样本采用K折交叉验证法。就是将样本打乱&＃xff0c;然后均匀分成K份&＃xff0c;轮流选择其中K&＃xff0d;1份训练&＃xff0c;剩余的一份做验证&＃xff0c;计算预测误差平方和&＃xff0c;最后把K次的预测误差平方和再做平均作为选择最优模型结构的依据。特别的K取N&＃xff0c;就是留一法&＃xff08;leave one out&＃xff09;。

这三个名词在机器学习领域的文章中极其常见&＃xff0c;但很多人对他们的概念并不是特别清楚&＃xff0c;尤其是后两个经常被人混用。Ripley, B.D&＃xff08;1996&＃xff09;在他的经典专著Pattern Recognition and Neural Networks中给出了这三个词的定义。

Training set: A set of examples used for learning, which is to fit the parameters [i.e., weights] of the classifier.
Validation set: A set of examples used to tune the parameters [i.e., architecture, not weights] of a classifier, for example to choose the number of hidden units in a neural network.
Test set: A set of examples used only to assess the performance [generalization] of a fully specified classifier.

显然&＃xff0c;training set是用来训练模型或确定模型参数的&＃xff0c;如ANN中权值等&＃xff1b; validation set是用来做模型选择&＃xff08;model selection&＃xff09;&＃xff0c;即做模型的最终优化及确定的&＃xff0c;如ANN的结构&＃xff1b;而 test set则纯粹是为了测试已经训练好的模型的推广能力。当然&＃xff0c;test set这并不能保证模型的正确性&＃xff0c;他只是说相似的数据用此模型会得出相似的结果。但实际应用中&＃xff0c;一般只将数据集分成两类&＃xff0c;即training set 和test set&＃xff0c;大多数文章并不涉及validation set。