跟我学算法吴恩达老师（超参数调试,batch归一化,softmax使用，tensorflow框架举例）...

1. 在我们学习中&＃xff0c;调试超参数是非常重要的。

超参数的调试可以是a学习率&＃xff0c;&＃xff08;β1和β2&＃xff0c;ε&＃xff09;在Adam梯度下降中使用, layers层数, hidden units 隐藏层的数目,

learning_rate_dacay 学习率衰减, mini-batch size 每次迭代的样本数目

当需要调节的参数的数目较多时&＃xff0c;我们通常使用随机参数选择进行参数调节.

比如学习率的范围为0.0001 - 1 , 在0.0001-0.001之间&＃xff0c;样本随学习率的变化较大&＃xff0c;因此有必要增加这部分的权重&＃xff0c;我们使用log函数

a_1 &＃61; log10(0.0001) &＃61; -4 

a_2 &＃61; log10(1) &＃61; 0 

r &＃61; -4 * np.random.randn()  (生成-4-0的数字)

a &＃61; 10^r 来决定学习率

还有β1的范围为0.9-0.999

1-β1&＃61; 0.0001-0.1

β_1 &＃61; log10(0.0001) &＃61; -4 

β_2 &＃61; log10(0.1) &＃61; -1 

r &＃61; -4*np,random.randn(0.25, 1)

 β1 &＃61;1 -  10^r 

2. batch归一化

μ &＃61; 1/mΣZ(i)  #表示输入样本的所有均值

δ2 &＃61; 1/mΣ(Z(i) - μ) #表示方差

Z(i) &＃61; (Z(i) - μ) / (np.sqrt(δ2 &＃43; ε))  #进行归一化操作 ε防止分母出现0的出现  

Z(i) &＃61; γ*Z(i) &＃43; β   # 为了使得Z(i) 的取值范围更大&＃xff0c;在后续的激活函数中表现得更多样

此时的反向传播的训练参数为

w :&＃61; w - a * dw 

γ :&＃61; γ - a * dγ

β :&＃61; β - a * dβ

由于进行了去均值的操作&＃xff0c;所以使得b就被消去了

batch归一化的作用&＃xff0c;使得前层数据不会变得那么多变&＃xff0c;使得当前层的训练变得更加独立和容易&＃xff0c;对前一层的依赖也就越少,

由于计算的均值和标准差&＃xff0c;使得一定的噪音信号产生&＃xff0c;有点类似dropout&＃xff0c;使得训练算法不过分依赖某些神经元&＃xff0c;起到了轻微的正则化的作用

下面是tensorflow实现的,使用的是RMS梯度下降

3.softmax使用

对于logistics回归&＃xff0c;是一个参数输入一个参数输出&＃xff0c; 

对于softmax实现的是一个多分类问题&＃xff0c;输入是1*4&＃xff0c; 输出也是1*4 

Z[l] &＃61; W[l] * a[l-1] &＃43; b[l]

t &＃61; e^(Z[l])

a(i)[l] &＃61; t(i) / Σ(t(i))

举例说明

z[l] &＃61; [5, 2, -1, 3]

t &＃61; [148.4, 7.4, 0.4, 20.1]

a &＃61; [0.842, 0.042, 0.002, 0.114]

我们在做这类标签时&＃xff0c;

y &＃61; [0, 1, 0, 0] 

y_1 &＃61; [0.3, 0,2, 0.1, 0.4]  #y_1表示softmax的输出值

loss(y_1, y) &＃61;  - Σy*logy_1 &＃61; -logy_1(2) 即保证y_1的第二数越来越大

y &＃61; [y[1], y[2], y[m]]  # m 表示样本的个数&＃xff0c; y的样本shape为&＃xff08;4&＃xff0c; m&＃xff09;

j &＃61; 1/mΣloss(y_1, y)  # 总的损失函数

4. tensorflow 框架举例