深度学习-超参数和交叉验证

没接触过机器学习的人可能对这个概念比较模糊。我们可以从两方面来理解

(1)参数值的产生由来

超参数是在开始学习过程之前设置值的参数（人为设置），而不是通过训练得到的参数数据。

（2）超参数含义

• 定义关于模型的更高层次的概念，如复杂性或学习能力。
• 不能直接从标准模型培训过程中的数据中学习，需要预先定义。
• 可以通过设置不同的值，训练不同的模型和选择更好的测试值来决定

（3）举例

• 树的数量或树的深度
• 矩阵分解中潜在因素的数量
• 学习率（多种模式）
• 深层神经网络隐藏层数
• k均值聚类中的簇数

交叉验证的目的是什么?

一般有两种：

 1.我们进行学习的时候，可能会选择多种模型来训练，最后我们需要一种评判标准来选择哪种模型较好，此时就需要交叉验证

 2.我们确定了某种学习模型，但可能有多组参数的选择，具体选择哪一种我们也需要交叉验证

普通的验证不行吗，为什么要交叉的？

因为数据集中某部分可能不纯（比如验证块中某些数据可能存在误差值，异常值，导致测试结果偏低，或者某些部分验证的数据过于简单，使得测试结果偏高）

关于交叉验证的具体分类和操作详见

https://zhuanlan.zhihu.com/p/24825503?refer=rdatamining

http://blog.csdn.net/linkin1005/article/details/42869331