深度学习——PoolingLayer

简介

• Pooling Layer正常是用于Convolution Layer后面&＃xff0c;可以进一步提取有效特征&＃xff0c;降低nW,nHn_W,n_HnW​,nH​维度&＃xff0c;减少计算量。Pooling 层和Convolution层一样具有$stride(d)、f、pad(p)$参数。
• Pooling Layer主要有两种&＃xff1a;1)Max Pooling、2)Average Pooling,如下图&＃xff08;1&＃xff09;
• nHl&＃61;⌊nHl−1&＃43;2∗p−fs&＃43;1⌋,nWl&＃61;⌊nWl−1&＃43;2∗p−fs&＃43;1⌋,nCl&＃61;nCl−1(1)n_H^l&＃61;\lfloor \frac{n_H^{l-1}&＃43;2*p-f}{s}&＃43;1\rfloor,n_W^l&＃61;\lfloor \frac{n_W^{l-1}&＃43;2*p-f}{s}&＃43;1\rfloor,n_C^{l}&＃61;n_C^{l-1} \qquad(1)nHl​&＃61;⌊snHl−1​&＃43;2∗p−f​&＃43;1⌋,nWl​&＃61;⌊snWl−1​&＃43;2∗p−f​&＃43;1⌋,nCl​&＃61;nCl−1​(1)
  
  $$figure(1)$$

1、Max Pooling

forwardpropagation

• Max Pooling如上图(1)所示&＃xff0c;对输入数据每一通道在f*f 的slice范围内的数取最大值形成新的矩阵&＃xff0c;最后每一通的矩阵concat在一起,维度变为公式&＃xff08;1&＃xff09;。$f\&＃61;2,stride\&＃61;2$。
  a(nh,nw,c)l&＃61;max(a(nh∗stride:nh∗stride&＃43;f,nw∗stride:nw∗stride&＃43;f,c)l−1)(2)a_{(nh,nw,c)}^l&＃61;max(a^{l-1}_{(nh*stride:nh*stride&＃43;f,nw*stride:nw*stride&＃43;f,c)})\qquad(2)a(nh,nw,c)l​&＃61;max(a(nh∗stride:nh∗stride&＃43;f,nw∗stride:nw∗stride&＃43;f,c)l−1​)(2)

backpropagation

• 由前向传播可以知道&＃xff0c;梯度只要最大值才有&＃xff0c;只有最大值才需更新。
  mask&＃61;(a(nh∗stride:nh∗stride&＃43;f,nw∗stride:nw∗stride&＃43;f,c)l−1&＃61;&＃61;max)//等于最大值的位置变为1&＃xff0c;其他为0(3)mask &＃61; (a^{l-1}_{(nh*stride:nh*stride&＃43;f,nw*stride:nw*stride&＃43;f,c)}&＃61;&＃61;max)//等于最大值的位置变为1&＃xff0c;其他为0 \qquad(3)mask&＃61;(a(nh∗stride:nh∗stride&＃43;f,nw∗stride:nw∗stride&＃43;f,c)l−1​&＃61;&＃61;max)//等于最大值的位置变为1&＃xff0c;其他为0(3)
  dA(nh∗stride:nh∗stride&＃43;f,nw∗stride:nw∗stride&＃43;f,c)l−1&＃43;&＃61;mask∗dA(nw,nh,nc)l(4)dA^{l-1}_{(nh*stride:nh*stride&＃43;f,nw*stride:nw*stride&＃43;f,c)} &＃43;&＃61;mask*dA^l_{(nw,nh,nc)}(4)dA(nh∗stride:nh∗stride&＃43;f,nw∗stride:nw∗stride&＃43;f,c)l−1​&＃43;&＃61;mask∗dA(nw,nh,nc)l​(4)

2、Average Pooling

forwardpropagation

• Average Pooling如上图(1)所示&＃xff0c;对输入数据每一通道在f*f 的slice范围内的数计算平均值形成新的矩阵&＃xff0c;最后每一通的矩阵concat在一起,维度变为公式&＃xff08;1&＃xff09;。$f\&＃61;2,stride\&＃61;2$。
  a(nh,nw,c)l&＃61;np.sum(a(nh∗stride:nh∗stride&＃43;f,nw∗stride:nw∗stride&＃43;f,c)l−1)f∗f(5)a_{(nh,nw,c)}^l&＃61;\frac{np.sum(a^{l-1}_{(nh*stride:nh*stride&＃43;f,nw*stride:nw*stride&＃43;f,c)})}{f*f}\qquad(5)a(nh,nw,c)l​&＃61;f∗fnp.sum(a(nh∗stride:nh∗stride&＃43;f,nw∗stride:nw∗stride&＃43;f,c)l−1​)​(5)

backpropagation

• 由前向传播可以知道
  dAverage(nh∗stride:nh∗stride&＃43;f,nw∗stride:nw∗stride&＃43;f,c)l&＃61;np.sum(dAverage(nh∗stride:nh∗stride&＃43;f,nw∗stride:nw∗stride&＃43;f,c)l−1)f∗fdAverage^{l}_{(nh*stride:nh*stride&＃43;f,nw*stride:nw*stride&＃43;f,c)}&＃61;\frac{np.sum(dAverage^{l-1}_{(nh*stride:nh*stride&＃43;f,nw*stride:nw*stride&＃43;f,c)})}{f*f}dAverage(nh∗stride:nh∗stride&＃43;f,nw∗stride:nw∗stride&＃43;f,c)l​&＃61;f∗fnp.sum(dAverage(nh∗stride:nh∗stride&＃43;f,nw∗stride:nw∗stride&＃43;f,c)l−1​)​
  dA((nh∗stride:nh∗stride&＃43;f,nw∗stride:nw∗stride&＃43;f,c)l−1&＃43;&＃61;dAverage(nh∗stride:nh∗stride&＃43;f,nw∗stride:nw∗stride&＃43;f,c)l(4)dA^{l-1}_{((nh*stride:nh*stride&＃43;f,nw*stride:nw*stride&＃43;f,c)} &＃43;&＃61; dAverage^{l}_{(nh*stride:nh*stride&＃43;f,nw*stride:nw*stride&＃43;f,c)} (4)dA((nh∗stride:nh∗stride&＃43;f,nw∗stride:nw∗stride&＃43;f,c)l−1​&＃43;&＃61;dAverage(nh∗stride:nh∗stride&＃43;f,nw∗stride:nw∗stride&＃43;f,c)l​(4)