卷积神经网络CNN算法原理

作者：合约100年 | 来源：互联网 | 2023-07-13 03:57

写在前面在上一篇【Deeplearning】卷积神经网络CNN结构中我们简单地介绍了CNN的结构。接下来我们看看这种结构的CNN模型是怎么运行的，包括CNN的前向传

写在前面

在上一篇【Deep learning】卷积神经网络CNN结构中我们简单地介绍了CNN的结构。接下来我们看看这种结构的CNN模型是怎么运行的&＃xff0c;包括CNN的前向传播和反向传播算法。

1.CNN前向传播算法

&＃xff08;1&＃xff09;输入层前向传播到卷积层

输入层的前向传播是CNN前向传播算法的第一步。一般输入层对应的都是卷积层&＃xff0c;因此我们标题是输入层前向传播到卷积层。

我们这里还是以图像识别为例。先考虑最简单的&＃xff0c;样本都是二维的黑白图片。这样输入层X就是一个矩阵&＃xff0c;矩阵的值等于图片的各个像素位置的值。这时和卷积层相连的卷积核W就也是矩阵。如果样本都是有RGB的彩色图片&＃xff0c;这样输入X就是3个矩阵&＃xff0c;即分别对应R&＃xff0c;G和B的矩阵&＃xff0c;或者说是一个张量。这时和卷积层相连的卷积核W就也是张量&＃xff0c;对应的最后一维的维度为3.即每个卷积核都是3个子矩阵组成。同样的方法&＃xff0c;对于3D的彩色图片之类的样本&＃xff0c;我们的输入X可以是4维&＃xff0c;5维的张量&＃xff0c;那么对应的卷积核W也是个高维的张量。不管维度多高&＃xff0c;对于我们的输入&＃xff0c;前向传播的过程可以表示为&＃xff1a;

$a^{2}&＃61;\sigma\left(z^{2}\right)&＃61;\sigma\left(a^{1} * W^{2}&＃43;b^{2}\right)$

其中&＃xff0c;上标代表层数&＃xff0c;星号代表卷积&＃xff0c;而b代表我们的偏倚, σ为激活函数&＃xff0c;这里一般都是ReLU。

和DNN的前向传播比较一下&＃xff0c;其实形式非常的像&＃xff0c;只是我们这儿是张量的卷积&＃xff0c;而不是矩阵的乘法。同时由于W是张量&＃xff0c;那么同样的位置&＃xff0c;W参数的个数就比DNN多很多了。为了简化我们的描述&＃xff0c;本文后面如果没有特殊说明&＃xff0c;我们都默认输入是3维的张量&＃xff0c;即用RBG可以表示的彩色图片。

这里需要我们自己定义的CNN模型参数是&＃xff1a;

　　　　1&＃xff09; 一般我们的卷积核不止一个&＃xff0c;比如有K个&＃xff0c;那么我们输入层的输出&＃xff0c;或者说第二层卷积层的对应的输入就K个。
　　　　2&＃xff09; 卷积核中每个子矩阵的的大小&＃xff0c;一般我们都用子矩阵为方阵的卷积核&＃xff0c;比如FxF的子矩阵。
　　　　3&＃xff09; 填充padding&＃xff08;以下简称P&＃xff09;&＃xff0c;我们卷积的时候&＃xff0c;为了可以更好的识别边缘&＃xff0c;一般都会在输入矩阵在周围加上若干圈的0再进行卷积&＃xff0c;加多少圈则P为多少。

　　　　4&＃xff09; 步幅stride&＃xff08;以下简称S&＃xff09;&＃xff0c;即在卷积过程中每次移动的像素距离大小。

&＃xff08;2&＃xff09;隐藏层前向传播到卷积层

现在我们再来看普通隐藏层前向传播到卷积层时的前向传播算法。

假设隐藏层的输出是M个矩阵对应的三维张量&＃xff0c;则输出到卷积层的卷积核也是M个子矩阵对应的三维张量。这时表达式和输入层的很像&＃xff0c;也是&＃xff1a;

$a^{l}&＃61;\sigma\left(z^{l}\right)&＃61;\sigma\left(a^{l-1} * W^{l}&＃43;b^{l}\right)$

和上一节唯一的区别仅仅在于&＃xff0c;这里的输入是隐藏层来的&＃xff0c;而不是我们输入的原始图片样本形成的矩阵。

需要我们定义的CNN模型参数也和上一节一样&＃xff0c;这里我们需要定义卷积核的个数K&＃xff0c;卷积核子矩阵的维度F&＃xff0c;填充大小P以及步幅S。

&＃xff08;3&＃xff09;隐藏层前向传播到池化层

池化层的处理逻辑是比较简单的&＃xff0c;我们的目的就是对输入的矩阵进行缩小概括。比如输入的若干矩阵是NxN维的&＃xff0c;而我们的池化大小是kxk的区域&＃xff0c;则输出的矩阵都是N/k × N/k维的。

这里需要需要我们定义的CNN模型参数是&＃xff1a;

　　　　1&＃xff09;池化区域的大小k
　　　　2&＃xff09;池化的标准&＃xff0c;一般是MAX或者Average。

&＃xff08;4&＃xff09;隐藏层前向传播到FC层

由于全连接层就是普通的DNN模型结构&＃xff0c;因此我们可以直接使用DNN的前向传播算法逻辑&＃xff0c;即&＃xff1a;

$a^{l}&＃61;\sigma\left(z^{l}\right)&＃61;\sigma\left(W^{l} a^{l-1}&＃43;b^{l}\right)$

这里的激活函数一般是sigmoid或者tanh。经过了若干全连接层之后&＃xff0c;最后的一层为Softmax输出层。此时输出层和普通的全连接层唯一的区别是&＃xff0c;激活函数是softmax函数。

这里需要需要我们定义的CNN模型参数是&＃xff1a;

　　　　1&＃xff09;全连接层的激活函数
　　　　2&＃xff09;全连接层各层神经元的个数

CNN前向传播算法小结&＃xff1a;

2. CNN反向传播算法

对于CNN反向传播&＃xff0c;首先要理解DNN反向传播算法。举个栗子&＃xff1a;

现在我们把同样的思想用到CNN中&＃xff0c;很明显&＃xff0c;CNN有些不同的地方&＃xff0c;不能直接去套用DNN的反向传播算法的公式。

要套用DNN的反向传播算法到CNN&＃xff0c;有几个问题需要解决&＃xff1a;
　　　　1&＃xff09;池化层没有激活函数&＃xff0c;没有需要学习的参数。这个问题倒比较好解决&＃xff0c;我们可以令池化层的激活函数为σ(z)&＃61;z&＃xff0c;即激活后就是自己本身。这样池化层激活函数的导数为1.
　　　　2&＃xff09;池化层在前向传播的时候&＃xff0c;对输入进行了压缩&＃xff0c;那么我们现在需要向前反向推导δl−1&＃xff0c;这个推导方法和DNN完全不同。
　　　　3) 卷积层是通过张量卷积&＃xff0c;或者说若干个矩阵卷积求和而得的当前层的输出&＃xff0c;这和DNN很不相同&＃xff0c;DNN的全连接层是直接进行矩阵乘法得到当前层的输出。这样在卷积层反向传播的时候&＃xff0c;上一层的δl−1递推计算方法肯定有所不同。
　　　　4&＃xff09;对于卷积层&＃xff0c;由于W使用的运算是卷积&＃xff0c;那么从δl推导出该层的所有卷积核的W,b的方式也不同。

从上面可以看出&＃xff0c;问题1比较好解决&＃xff0c;但是问题2,3,4就需要好好的动一番脑筋了&＃xff0c;而问题2,3,4也是解决CNN反向传播算法的关键所在。另外大家要注意到的是&＃xff0c;DNN中的al,zl都只是一个向量&＃xff0c;而我们CNN中的al,zl都是一个张量&＃xff0c;这个张量是三维的&＃xff0c;即由若干个输入的子矩阵组成。

下面我们就针对问题2,3,4来一步步研究CNN的反向传播算法。

在研究过程中&＃xff0c;需要注意的是&＃xff0c;由于卷积层可以有多个卷积核&＃xff0c;各个卷积核的处理方法是完全相同且独立的&＃xff0c;为了简化算法公式的复杂度&＃xff0c;我们下面提到卷积核都是卷积层中若干卷积核中的一个。

&＃xff08;1&＃xff09;已知池化层的 $\large \delta^l$ &＃xff0c;推导上一隐藏层的 $\large \delta^{l-1}$

我们首先解决上面的问题2&＃xff0c;如果已知池化层的 $\large \delta^l$ &＃xff0c;推导出上一隐藏层的 $\large \delta^{l-1}$ 。

在前向传播算法时&＃xff0c;池化层一般我们会用MAX或者Average对输入进行池化&＃xff0c;池化的区域大小已知。现在我们反过来&＃xff0c;要从缩小后的误差 $\large \delta^l$ &＃xff0c;还原前一次较大区域对应的误差。

在反向传播时&＃xff0c;我们首先会把 $\large \delta^l$ 的所有子矩阵矩阵大小还原成池化之前的大小&＃xff0c;然后如果是MAX&＃xff0c;则把 $\large \delta^l$ 的所有子矩阵的各个池化局域的值放在之前做前向传播算法得到最大值的位置。如果是Average&＃xff0c;则把 $\large \delta^l$ 的所有子矩阵的各个池化局域的值取平均后放在还原后的子矩阵位置。这个过程一般叫做upsample。

用一个例子可以很方便的表示&＃xff1a;假设我们的池化区域大小是2x2。 $\large \delta^l$ 的第k个子矩阵为:

$\delta_{k}^{l}&＃61;\left( \begin{array}{ll}{2} & {8} \\ {4} & {6}\end{array}\right)$

由于池化区域为2x2&＃xff0c;我们先将δlk做还原&＃xff0c;即变成&＃xff1a;

$\left( \begin{array}{llll}{0} & {0} & {0} & {0} \\ {0} & {2} & {8} & {0} \\ {0} & {4} & {6} & {0} \\ {0} & {0} & {0} & {0}\end{array}\right)$

如果是MAX&＃xff0c;假设我们之前在前向传播时记录的最大值位置分别是左上&＃xff0c;右下&＃xff0c;右上&＃xff0c;左下&＃xff0c;则转换后的矩阵为&＃xff1a;

$\left( \begin{array}{llll}{2} & {0} & {0} & {0} \\ {0} & {0} & {0} & {8} \\ {0} & {4} & {0} & {0} \\ {0} & {0} & {6} & {0}\end{array}\right)$

如果是Average&＃xff0c;则进行平均&＃xff1a;转换后的矩阵为&＃xff1a;

$\left( \begin{array}{cccc}{0.5} & {0.5} & {2} & {2} \\ {0.5} & {0.5} & {2} & {2} \\ {1} & {1} & {1.5} & {1.5} \\ {1} & {1} & {1.5} & {1.5}\end{array}\right)$

这样我们就得到了上一层 $\frac{\partial J(W, b)}{\partial a_{k}^{L-1}}$ 的值&＃xff0c;要得到上一层的误差&＃xff1a;

$\delta_{k}^{l-1}&＃61;\frac{\partial J(W, b)}{\partial a_{k}^{l-1}} \frac{\partial a_{k}^{l-1}}{\partial z_{k}^{l-1}}&＃61;u p s a m p l e\left(\delta_{k}^{l}\right) \odot \sigma^{\prime}\left(z_{k}^{l-1}\right)$

其中upsample函数表示池化层的误差传递&＃xff0c;后面的求导是池化层前一层的误差传递

总结一下&＃xff0c;对于 $\large \delta^l$ &＃xff0c;有&＃xff1a;

$\delta^{l-1}&＃61;u p s a m p l e\left(\delta^{l}\right) \odot \sigma^{\prime}\left(z^{l-1}\right)$

&＃xff08;2&＃xff09;已知卷积层的 $\large \delta^l$ &＃xff0c;推导上一隐藏层的 $\large \delta^{l-1}$

对于卷积层的反向传播&＃xff0c;我们首先回忆下卷积层的前向传播公式&＃xff1a;

$a^{l}&＃61;\sigma\left(z^{l}\right)&＃61;\sigma\left(a^{l-1} * W^{l}&＃43;b^{l}\right)$

在DNN中&＃xff0c;我们知道 $\large \delta^{l-1}$ 和 $\large \delta^l$ 的递推关系为&＃xff1a;

$\delta^{l}&＃61;\frac{\partial J(W, b)}{\partial z^{l}}&＃61;\frac{\partial J(W, b)}{\partial z^{l&＃43;1}} \frac{\partial z^{l&＃43;1}}{\partial z^{l}}&＃61;\delta^{l&＃43;1} \frac{\partial z^{l&＃43;1}}{\partial z^{l}}$

因此要推导出 $\large \delta^l$ 和 $\large \delta^{l-1}$ 的递推关系&＃xff0c;必须计算 $\frac{\partial z^{l}}{\partial z^{l-1}}$ 的梯度表达式。

注意到两者是有递推关系的&＃xff1a;

$z^{l}&＃61;a^{l-1} * W^{l}&＃43;b^{l}&＃61;\sigma\left(z^{l-1}\right) * W^{l}&＃43;b^{l}$

因此可以得出&＃xff1a;

$\delta^{l-1}&＃61;\delta^{l} \frac{\partial z^{l}}{\partial z^{l-1}}&＃61;\delta^{l} * r o t 180\left(W^{l}\right) \odot \sigma^{\prime}\left(z^{l-1}\right)$

这里的式子其实和DNN的类似&＃xff0c;区别在于对于含有卷积的式子求导时&＃xff0c;卷积核被旋转了180度。即式子中的rot180()&＃xff0c;翻转180度的意思是上下翻转一次&＃xff0c;接着左右翻转一次。在DNN中这里只是矩阵的转置。那么为什么呢&＃xff1f;可以参考转置卷积。

&＃xff08;3&＃xff09;已知卷积层的 $\large \delta^l$ &＃xff0c;推导该层的W&＃xff0c;b参数的梯度

到现在为止&＃xff0c;我们已经完成了最艰难的误差传递计算&＃xff0c;接下来就需要对网络中的参数进行更新。对于全连接层&＃xff0c;可以直接按照DNN的算法来求得参数的梯度。而对于池化层&＃xff0c;没有参数&＃xff0c;故也不用求。现在只剩下卷积层的参数需要我们计算。

在前向传播中&＃xff0c;卷积层有&＃xff1a;

$z^{l}&＃61;a^{l-1} * W^{l}&＃43;b$

因此我们有&＃xff1a;

$\frac{\partial J(W, b)}{\partial W^{l}}&＃61;\frac{\partial J(W, b)}{\partial z^{l}} \frac{\partial z^{l}}{\partial W^{l}}&＃61;a^{l-1} * \delta^{l}$

$\frac{\partial J(W, b)}{\partial b^{l}}&＃61;\sum_{u, v}\left(\delta^{l}\right)_{u, v}$

推荐阅读

ide
表面缺陷检测数据集综述及GitHub开源项目推荐

本文综述了表面缺陷检测领域的数据集，并推荐了多个GitHub上的开源项目。通过对现有文献和数据集的系统整理，为研究人员提供了全面的资源参考，有助于推动该领域的发展和技术进步。 ... [详细]

蜡笔小新 2024-10-29 08:22:46
ide
MATLAB人体行为检测与识别

人体行为检测与识别摘要人体行为检测与识别是当前研究的重点，具有很高的研究价值和广阔的应用前景。主要应用在型人机交互、运动分析、智能监控和虚拟现实也称灵境技术ÿ ... [详细]

蜡笔小新 2024-10-20 19:34:31
ide
【转】强大的矩阵奇异值分解(SVD)及其应用

在工程实践中，经常要对大矩阵进行计算，除了使用分布式处理方法以外，就是通过理论方法，对矩阵降维。一下文章，我在 ... [详细]

蜡笔小新 2024-11-16 12:44:31
ide
能够感知你情绪状态的智能机器人即将问世 | 科技前沿观察

本周科技前沿报道了多项重要进展，包括美国多所高校在机器人技术和自动驾驶领域的最新研究成果，以及硅谷大型企业在智能硬件和深度学习技术上的突破性进展。特别值得一提的是，一款能够感知用户情绪状态的智能机器人即将问世，为未来的人机交互带来了全新的可能性。 ... [详细]

蜡笔小新 2024-11-05 20:45:31
ide
2019年斯坦福大学CS224n课程笔记：深度学习在自然语言处理中的应用——Word2Vec与GloVe模型解析

本文详细解析了2019年斯坦福大学CS224n课程中关于深度学习在自然语言处理（NLP）领域的应用，重点探讨了Word2Vec和GloVe两种词嵌入模型的原理与实现方法。通过具体案例分析，深入阐述了这两种模型在提升NLP任务性能方面的优势与应用场景。 ... [详细]

蜡笔小新 2024-10-29 10:37:07
ide
cs231n笔记（1）——KNN算法

图像分类：KNN算法（K—最近邻算法）一.定义定义：KNN是通过测量不同特征值之间的距离进行分类。它的的思路是ÿ ... [详细]

蜡笔小新 2024-10-25 13:32:41
ide
巨头_巨头纷纷押注的智能翻译机，会是第一款成功的消费级AI硬件吗？

到了今天，已经很少有人再提人工智能音箱了。使用率低、售价跳水、缺乏销售数据……我们不能武断地说智能音箱凉了，但的确不少所谓的AI企业的硬件梦碎了。相对于一 ... [详细]

蜡笔小新 2024-10-10 12:31:22
ide
每日一书丨AI圣经《深度学习》作者斩获2018年图灵奖

2019年3月27日——ACM宣布，深度学习之父YoshuaBengio,YannLeCun,以及GeoffreyHinton获得了2018年的图灵奖， ... [详细]

蜡笔小新 2024-09-27 16:03:32
ide
读手语图像识别论文笔记2

文章目录一、前言二、笔记1.名词解释2.流程分析上一篇快速门:读手语图像识别论文笔记1（手语识别背景和方法）一、前言一句：“做完了&#x ... [详细]

蜡笔小新 2023-10-17 20:45:15
ide
鄂维南：从数学角度，理解机器学习的「黑魔法」，并应用于更广泛的科学问题...

作者|Hertz来源|科学智能AISI北京时间2022年7月8日晚上22:30，鄂维南院士在2022年的国际数学家大会上作一小时大会报告(plenarytalk)。今 ... [详细]

蜡笔小新 2023-10-15 23:41:17
ide
分享篇：第十届“泰迪杯”数据挖掘挑战赛农田害虫图像识别（特等奖）一

1.1赛题背景昆虫的种类浩如烟海，农田常见的昆虫是人工生态系统的重要组成部分。分辨益虫和害虫，保留益虫，消灭害虫，对于减轻害 ... [详细]

蜡笔小新 2023-10-15 19:37:42
ide
深入理解ASCII、ANSI、GB2312、UNICODE及UTF-8、UTF-16编码

本文回顾了作者初次接触Unicode编码时的经历，并详细探讨了ASCII、ANSI、GB2312、UNICODE以及UTF-8和UTF-16编码的区别和应用场景。通过实例分析，帮助读者更好地理解和使用这些编码。 ... [详细]

蜡笔小新 2024-11-13 07:33:27
ide
全连接神经网络应用于手写图像识别实践

2019独角兽企业重金招聘Python工程师标准转载于:https:my.oschina.netliyangkeb ... [详细]

蜡笔小新 2024-10-23 18:06:55
ide
「爆干7天7夜」入门AI人工智能学习路线一条龙，真的不能再透彻了

前言应广大粉丝要求，今天迪迦来和大家讲解一下如何去入门人工智能，也算是迪迦对自己学习人工智能这么多年的一个总结吧，本条学习路线并不会那么 ... [详细]

蜡笔小新 2023-10-16 12:17:31
windows
TensorFlow入门上

前置准备在阅读本文之前，请确定你已经了解了神经网络的基本结构以及前向传播、后向传播的基本原理，如果尚未了解，可以查看下文。神经网络初探chrer.com也可以直接在我博客阅读Te ... [详细]

蜡笔小新 2023-10-16 10:25:39

合约100年

这个家伙很懒，什么也没留下！

Tags | 热门标签

RankList | 热门文章