Skip to content
Cavill's Blog
Go back

Why we need CNN

3,448 字

为什么我们需要 CNN?这个问题要追溯到深度学习成为主流之前。当时,人们已经希望计算机能够「看懂」图片:识别信封上的邮政编码、区分手写数字,或在照片中找到某个物体。

这里推荐一个有趣的视频,其中分析了我们人类是如何区分面包和狗的。

但是计算机没有「眼睛」,它无法像我们一样轻松识别各种物体。可能在它眼里猫和人类并无不同也说不定,对于它来说,图片上的内容只是像素组成的矩阵,以 MNIST 为例,每一个小格都是一张独立的手写数字图片,每张手写数字图片有 28×2828 \times 28 个像素。而将它展开后,便是一串长度为 784784 的数字。

MNIST 训练集中的前 100 个样本
MNIST 训练集中的前 100 个样本

人类看到这些图片时,几乎立刻就能辨认出数字。我们会自然地关注笔画、转角、闭合的圆环,以及它们之间的相对位置。但对于计算机而言可不是这么容易,为了让最基础的神经网络能够处理它,我们可以先将这张二维图片按行展开成一个长度为 784784 的向量。

接着,将这 784784 个数输入神经网络。最直接的结构是:输入层中的每一个像素,都与下一层的每一个神经元相连。这种「相邻两层中的节点两两相连」的层,称为全连接层(fully connected layer)。

全连接层
全连接层

以隐藏层中的第一个神经元 h1h_1 为例。它接收全部 784784 个像素值,并为每个像素配备一个权重。它首先计算这些输入的加权和:

z1=w1,1x1+w1,2x2+⋯+w1,784x784+b1z_1 = w_{1,1}x_1 + w_{1,2}x_2 + \cdots + w_{1,784}x_{784} + b_1

其中,x1,x2,…,x784x_1, x_2, \ldots, x_{784} 是图片展开后的像素值。w1,1,w1,2,…,w1,784w_{1,1}, w_{1,2}, \ldots, w_{1,784} 是对应连接上的权重,b1b_1 是偏置。

随后,z1z_1 会经过激活函数 σ\sigma,得到神经元最终的输出:

h1=σ(z1)h_1 = \sigma(z_1)

隐藏层中的其他神经元也会进行相同的计算,只是它们各自拥有不同的权重和偏置。因此,它们会从同一张图片中提取不同的信息。

这种方法当然可以工作,展开之后,模型不再明确知道哪些像素原本相邻。图片左上角的一段斜线和中央的一段斜线,也会被当成完全不同位置上的输入。但它没有利用图片本身的结构。

因此,我们需要一种更符合图像特点的网络。它会先观察局部区域,识别边缘、线条和纹理,再逐层组合出更复杂的形状。

CNN 正是为此而设计的。相较于传统的神经网络,它基于图像结构提出了几个合理的假设:

这些假设被后来人总结为局部连接、权重共享和多层结构。我们也会依照这个顺序来逐一讲解。

局部连接

一张图片中的信息,并不是均匀分布的。对于识别一个数字 8 而言,相邻像素共同构成的笔画、边缘和弯曲,往往比两个相距很远的像素之间的联系更有意义。

例如,一段连续变化的亮暗边界,可能意味着一条笔画的边缘。几个相邻的弯曲笔画,则可能构成数字中的一个圆环。要发现这些局部模式,神经元不必一开始就观察整张图片,只需要先关注一个较小的区域即可。

因此,CNN 不再让每个神经元连接全部 28×28=78428 \times 28 = 784 个像素,而是让它只观察图片中的一小块区域。例如,一个 3×33 \times 3 的窗口:

卷积核观察局部像素
一个神经元只连接输入图像中的局部区域

这个局部窗口被称为感受野(receptive field)。它对应的神经元只会根据窗口内的 3×33 \times 3 个像素进行计算,而不会直接接收图片其他位置的信息。

吐槽

不知道是谁翻译的这个感受野,在我眼里,这和 robustness 的翻译一样糟糕。

这样的连接方式称为局部连接(local connectivity)。它并不是说远处的像素永远不重要,而是认为,对于最底层的视觉任务,局部结构往往更值得优先关注。

局部连接还显著减少了参数数量。假设下一层有 100100 个神经元:

Note

暂不考虑 bias(偏置)。

但这就出现了一个问题,局部连接让神经元只关注一小块区域,而图片中的同一种特征并不总是出现在固定位置。

例如,手写数字的位置可能略有偏移。一条竖直笔画出现在图片左侧时,与它出现在中央或右侧时,本质上仍然是同一种局部结构。我们并不希望模型只能在某个固定位置识别它。

一种直接但低效的做法,是让不同位置上的神经元分别学习各自的权重。这样一来,模型需要在许多位置重复学习「如何识别一条竖直笔画」。

Example

左上角的一个 3×33 \times 3 区域与图片中央的一个 3×33 \times 3 区域,分别由不同的神经元处理。如果不共享权重,这两个神经元各自拥有独立的 99 个权重。于是,左上角的神经元需要学习如何识别竖直边缘。当同样的竖直边缘出现在图片中央时,中央的神经元却不能直接利用前者学到的规则,而要重新学习一次。

换句话说,模型会因为特征出现的位置不同,而反复学习如何识别同一种局部结构。

CNN 进一步作出限制:对于同一种局部特征,无论它出现在哪里,都使用同一组权重进行检测。这种设计称为权重共享(weight sharing)。

权重共享

仍以 3×33 \times 3 的局部区域为例。我们可以先学习一组 3×33 \times 3 的权重,用它来判断某个局部区域是否具有特定的模式,例如一条竖直边缘。之后,无论这个 3×33 \times 3 区域位于图片的左上角、中央还是右下角,模型都使用这同一组权重进行计算。

这并不意味着不同位置会得到相同的结果。权重虽然相同,但各个位置输入的像素不同,因此计算结果也可能不同。如果某个区域中恰好出现了该组权重所关注的特征,那么对应位置的输出就会更大。反之,输出则会较小。

这组被重复使用的权重,称为卷积核(kernel),也常被称为滤波器(filter)。我们可以把它想象成一个固定大小的窗口:它依次作用于图片中的不同局部区域,并在每个位置给出一个结果。

当卷积核遍历整张图片后,这些结果会按照原来的空间位置排列成一张新的二维矩阵,称为特征图(feature map)。

权重共享大幅减少了需要学习的参数。对于一张 28×2828 \times 28 的灰度图片,若使用大小为 3×33 \times 3 的卷积核、步长为 11 且不填充边缘,那么会得到一张 26×2626 \times 26 的特征图。

具体情况可以参考:

生成特征图的过程
来源:https://github.com/jerpint/cnn-cheatsheet/blob/master/assets/Conv2D.gif

虽然其中有 26×2626 \times 26 个输出,但它们共用同一组 3×3=93 \times 3 = 9 个权重,而不是分别学习 26×2626 \times 26 组权重。

卷积操作

到这里,我们已经知道卷积核会在图片的不同位置重复使用,并生成一张特征图。但对于一个具体的 3×33 \times 3 区域,卷积核究竟如何得到一个输出值?

假设卷积核当前覆盖图片左上角的一个 3×33 \times 3 区域。它会将自身的每个权重与对应位置的像素值相乘,再将这 99 个乘积相加,得到一个数。这个数便是特征图左上角的第一个输出值。

为了便于理解,下面使用一个人为设定的卷积核。真实 CNN 中的权重并不是手工指定的,而是在训练过程中由模型自动学习得到。

Example

设输入的局部区域为:

[110110110]\begin{bmatrix} 1 & 1 & 0 \\ 1 & 1 & 0 \\ 1 & 1 & 0 \end{bmatrix}

卷积核为:

[10−110−110−1]\begin{bmatrix} 1 & 0 & -1 \\ 1 & 0 & -1 \\ 1 & 0 & -1 \end{bmatrix}

逐项相乘并求和:

∑([110110110]⊙[10−110−110−1])=3\sum( \begin{bmatrix} 1 & 1 & 0 \\ 1 & 1 & 0 \\ 1 & 1 & 0 \end{bmatrix} \odot \begin{bmatrix} 1 & 0 & -1 \\ 1 & 0 & -1 \\ 1 & 0 & -1 \end{bmatrix} ) = 3

因此,特征图对应位置的输出值为 33。较大的结果说明:这一局部区域与卷积核所关注的竖直边缘较为相似。

接下来,卷积核会向右移动一个像素,覆盖下一个 3×33 \times 3 局部区域,并重复同样的计算。需要注意的是,卷积核移动时,它内部的 99 个权重并不会改变,改变的只有当前覆盖的像素值。

不过,卷积得到的 33 还只是加权求和的结果。与全连接层一样,它通常还需要经过激活函数,才能成为该位置最终的输出。

在现代 CNN 中,最常见的激活函数是 ReLU:

ReLU⁡(z)=max⁡(0,z)\operatorname{ReLU}(z)=\max(0,z)

对于刚才得到的结果,z=3z=3,因此:

ReLU⁡(3)=3\operatorname{ReLU}(3)=3

如果卷积结果为负数,ReLU 则会将它变为 00。经过激活函数后,特征图中的每一个位置都表示:卷积核所关注的特征在该位置出现的强弱。

多层结构

单个卷积层只能从一个很小的局部区域中寻找特征。例如,第一层的卷积核可能对某种边缘、线条或亮暗变化产生较强的响应。

但仅靠这些简单特征,我们仍然无法直接判断一张图片是不是数字 8。因此,CNN 会将第一层生成的特征图继续交给下一层处理。

第二层不再直接观察原始图片的像素,而是观察第一层特征图中的局部区域。第一层已经标记出了不同位置上的边缘或线条,第二层则可以进一步判断:这些边缘是否构成了转角、弯曲或圆环等更复杂的结构。

这种逐层组合的过程,使网络能够从简单特征逐渐构建出复杂特征:

从感受野的角度看,多层结构也让神经元能够间接观察更大的范围。假设每一层都使用大小为 3×33 \times 3、步长为 11 的卷积核:

Note

感受野扩大,指的是:为了计算更高一层的一个输出值,最终需要查看原图中更大范围的像素。

第一层中的一个输出值,直接来自原图的一个 3×33 \times 3 区域:

□□□□□□□□□\begin{matrix} \square & \square & \square \\ \square & \square & \square \\ \square & \square & \square \end{matrix}

它根据这 3×33 \times 3 个像素,计算出特征图中的一个输出,例如 a1,1a_{1,1}。

第二层中的一个输出,需要查看第一层相邻的 3×33 \times 3 个输出:

a1,1a1,2a1,3a2,1a2,2a2,3a3,1a3,2a3,3\begin{matrix} a_{1,1} & a_{1,2} & a_{1,3} \\ a_{2,1} & a_{2,2} & a_{2,3} \\ a_{3,1} & a_{3,2} & a_{3,3} \end{matrix}

这些输出分别来自原图中彼此重叠的 3×33 \times 3 区域。将它们合并后,第二层的一个输出实际上依赖原图中的一个 5×55 \times 5 区域:

□□□□□□□□□□□□□□□□□□□□□□□□□\begin{matrix} \square & \square & \square & \square & \square \\ \square & \square & \square & \square & \square \\ \square & \square & \square & \square & \square \\ \square & \square & \square & \square & \square \\ \square & \square & \square & \square & \square \end{matrix}

因此,在步长为 11、不考虑填充时,连续叠加 3×33 \times 3 卷积层,感受野会逐层扩大:

3×3→5×5→7×7→9×9→⋯3 \times 3 \rightarrow 5 \times 5 \rightarrow 7 \times 7 \rightarrow 9 \times 9 \rightarrow \cdots

随着网络不断加深,后面的神经元能够综合越来越大范围的信息。这使 CNN 既能从局部开始识别细节,又能逐步理解整张图片的整体结构。

基本上,这就是我们需要 CNN 的原因。至于它如何被具体实现,我会在之后的文章中继续介绍。

Hope this helps!


Edit page
Share this post:

Previous Post
如何使用伯恩斯坦定理
Next Post
你需要一个更好的终端