卷积滤波器如何提取图像特征

本文首发于集智专栏：https://jizhi.im/blog/post/zen_bra

在卷积：如何成为一个很厉害的神经网络 - 知乎专栏中，热心网友提出了这样的问题：

该文在卷积神经网络的构成上讲解的比较直观，但是没有深入地探讨数学原理。本文将详细介绍卷积滤波器的具体机理，当然不要担心数学问题，只要能熟练掌握百以内加减法和九九乘法表就可以。

之前在微博上关于神经网络的探讨中，话题走向奇怪地走向了奶子（计划通り），并且王司图也做出了召唤柏木由纪的承诺，所以这次就以柏木由纪的照片为例，讲解图像处理的基本法。

01. 暗中观察

现在我们谈的“人工智能”都是弱人工智能，更确切地说，还是辅助计算工具。我们不能因为有了神经网络，就像卡兹一样停止思考。

所以不管借助神经网络解决任何问题，第一步也是最关键的一步，就是了解你的问题本身。反映在具体的应用上，就是要摸清业务背后的逻辑关系，而不是把数据往黑盒里一扔，开始准备炼丹。如果一遍摸不清，那就再摸一遍。

现在我们要做一个物体识别的程序，上图中可供识别的物体并不多，唯一凉鞋、一裤头、一奶罩而已，那就奶罩吧。作为一个入门程序，现在那么早就处理彩色图片，是不理智、不合适的。所以我们要进行一些简化，从皮相中剥离出骨相，把最核心的数学原理公然露出，放置Play。

经过“灰度->阈值”两步，彩图变成了黑白图。接下来我们要从计算机视觉的角度去司图，所以眼前的黑不是黑，你说的白也不是白，所见诸相非相，只是像素值，0 or 1。

02. 见微知著

暂时抛开图片背景， 经过观察可知，要从人的身体上识别出奶罩和裤头，本质上是从白花花中寻找黑乎乎，其实就是从0中找到1。

那我们是不是需要整个奶罩呢？非也，只需要探测出奶罩的边缘就可以了，这就如同棋道，金角银边烂肚皮，只要围住了眼，就占住了气，从而控住了势。

卷积滤波器是一个比图片尺寸小的矩阵，这里设为3x3。我们把图片缩放至像素级（猜猜这是哪个部位），这里每一个小方格背后就是0或1了。卷积核在输入图像上来回滚动、摩擦，那么基本上会遇到三种区域（橙框）：

• 全白（肉体）
• 全黑（奶罩）
• 黑白（肉体和奶罩的边缘）

和下图的对应关系应该也很明显。

这时候，我们的卷积核就像情趣羽毛，扫遍每一个角落， 撩拨你的动感地带。

03. 掐指一算

在上文的图表中，我们已经见识到了多种滤波器和对应的滤镜效果，比如边缘检测、锐化、均值模糊、高斯模糊。

来看第三种边缘检测卷积核，其矩阵为：

-1 -1 -1

-1  8 -1

-1 -1 -1

再取包含边缘的5x5区域，对应矩阵：

0 0 1 1 1

0 0 1 1 1

0 0 1 1 1

0 0 1 1 1

0 0 1 1 1

现在这个3x3矩阵（滤波器）要在5x5矩阵上摸一遍，当然摸不是为了爽，而是为计算一个值。计算方式如下图，黄色方格与红色数字即是卷积滤波器，而计算的方式就是重叠的对应元素相乘，再相加。（注意：这不是真正的「矩阵乘法」）

因为这里的image在竖直方向上是不变的，所以只需要让filter沿着最上端滑一圈就行了，总共有三次计算：

1

2

3

最后生成的完整特征映射(Feature Map)将是：

特征映射的单元位置对应的是卷积核中心(8)的位置，特征映射的取值有三种：

• -3：探测到奶罩边缘，且卷积核位于奶罩外侧
• 3：探测到奶罩边缘，且卷积核位于奶罩内侧
• 0: 没有探测到边缘特征

现在你应该已经明白了，为什么滤波器可以提取图片的特征。