三、AI学习笔记|神经网络调试

1、常调节的超参数

• 学习率




• 动量梯度下降中的 k

  
  
  
  
  



• 每层的神经元个数 n




• 子训练集 mini-batch 的大小




• 神经网络层数 L




• 学习率控制衰减超参数 decayRate

2、调节方法

网格搜索法：效率很低，不推荐使用

随机搜索法：在合理的取值范围之内，随机选取一些点。可以尝试更多不同的超参数值，先寻找到大概适合的值，将参数确定在该

点的周围区域，然后进行更精密的搜索

3、采样标尺

随机搜索可以叫做随机采样，或者随机均匀采样。

假如取值范围是 0.0001 - 1

线性标尺：

指数标尺：