为什么我们需要 CNN?这个问题要追溯到深度学习成为主流之前。当时,人们已经希望计算机能够「看懂」图片:识别信封上的邮政编码、区分手写数字,或在照片中找到某个物体。
这里推荐一个有趣的视频,其中分析了我们人类是如何区分面包和狗的。
但是计算机没有「眼睛」,它无法像我们一样轻松识别各种物体。可能在它眼里猫和人类并无不同也说不定,对于它来说,图片上的内容只是像素组成的矩阵,以 MNIST 为例,每一个小格都是一张独立的手写数字图片,每张手写数字图片有 个像素。而将它展开后,便是一串长度为 的数字。
人类看到这些图片时,几乎立刻就能辨认出数字。我们会自然地关注笔画、转角、闭合的圆环,以及它们之间的相对位置。但对于计算机而言可不是这么容易,为了让最基础的神经网络能够处理它,我们可以先将这张二维图片按行展开成一个长度为 的向量。
接着,将这 个数输入神经网络。最直接的结构是:输入层中的每一个像素,都与下一层的每一个神经元相连。这种「相邻两层中的节点两两相连」的层,称为全连接层(fully connected layer)。
以隐藏层中的第一个神经元 为例。它接收全部 个像素值,并为每个像素配备一个权重。它首先计算这些输入的加权和:
其中, 是图片展开后的像素值。 是对应连接上的权重, 是偏置。
随后, 会经过激活函数 ,得到神经元最终的输出:
隐藏层中的其他神经元也会进行相同的计算,只是它们各自拥有不同的权重和偏置。因此,它们会从同一张图片中提取不同的信息。
这种方法当然可以工作,展开之后,模型不再明确知道哪些像素原本相邻。图片左上角的一段斜线和中央的一段斜线,也会被当成完全不同位置上的输入。但它没有利用图片本身的结构。
因此,我们需要一种更符合图像特点的网络。它会先观察局部区域,识别边缘、线条和纹理,再逐层组合出更复杂的形状。
CNN 正是为此而设计的。相较于传统的神经网络,它基于图像结构提出了几个合理的假设:
- 相邻像素之间往往存在更强的联系
- 同一种特征可能出现在图片的任意位置
- 复杂的视觉内容可以由简单的局部特征逐层组合而成
这些假设被后来人总结为局部连接、权重共享和多层结构。我们也会依照这个顺序来逐一讲解。
局部连接
一张图片中的信息,并不是均匀分布的。对于识别一个数字 8 而言,相邻像素共同构成的笔画、边缘和弯曲,往往比两个相距很远的像素之间的联系更有意义。
例如,一段连续变化的亮暗边界,可能意味着一条笔画的边缘。几个相邻的弯曲笔画,则可能构成数字中的一个圆环。要发现这些局部模式,神经元不必一开始就观察整张图片,只需要先关注一个较小的区域即可。
因此,CNN 不再让每个神经元连接全部 个像素,而是让它只观察图片中的一小块区域。例如,一个 的窗口:
这个局部窗口被称为感受野(receptive field)。它对应的神经元只会根据窗口内的 个像素进行计算,而不会直接接收图片其他位置的信息。
不知道是谁翻译的这个感受野,在我眼里,这和 robustness 的翻译一样糟糕。
这样的连接方式称为局部连接(local connectivity)。它并不是说远处的像素永远不重要,而是认为,对于最底层的视觉任务,局部结构往往更值得优先关注。
局部连接还显著减少了参数数量。假设下一层有 个神经元:
- 全连接层需要学习 个权重,即每个神经元需要学习784个权重
- 若每个神经元只观察 的局部区域,则每个神经元只需学习 个权重
暂不考虑 bias(偏置)。
但这就出现了一个问题,局部连接让神经元只关注一小块区域,而图片中的同一种特征并不总是出现在固定位置。
例如,手写数字的位置可能略有偏移。一条竖直笔画出现在图片左侧时,与它出现在中央或右侧时,本质上仍然是同一种局部结构。我们并不希望模型只能在某个固定位置识别它。
一种直接但低效的做法,是让不同位置上的神经元分别学习各自的权重。这样一来,模型需要在许多位置重复学习「如何识别一条竖直笔画」。
左上角的一个 区域与图片中央的一个 区域,分别由不同的神经元处理。如果不共享权重,这两个神经元各自拥有独立的 个权重。于是,左上角的神经元需要学习如何识别竖直边缘。当同样的竖直边缘出现在图片中央时,中央的神经元却不能直接利用前者学到的规则,而要重新学习一次。
换句话说,模型会因为特征出现的位置不同,而反复学习如何识别同一种局部结构。
CNN 进一步作出限制:对于同一种局部特征,无论它出现在哪里,都使用同一组权重进行检测。这种设计称为权重共享(weight sharing)。
权重共享
仍以 的局部区域为例。我们可以先学习一组 的权重,用它来判断某个局部区域是否具有特定的模式,例如一条竖直边缘。之后,无论这个 区域位于图片的左上角、中央还是右下角,模型都使用这同一组权重进行计算。
这并不意味着不同位置会得到相同的结果。权重虽然相同,但各个位置输入的像素不同,因此计算结果也可能不同。如果某个区域中恰好出现了该组权重所关注的特征,那么对应位置的输出就会更大。反之,输出则会较小。
这组被重复使用的权重,称为卷积核(kernel),也常被称为滤波器(filter)。我们可以把它想象成一个固定大小的窗口:它依次作用于图片中的不同局部区域,并在每个位置给出一个结果。
当卷积核遍历整张图片后,这些结果会按照原来的空间位置排列成一张新的二维矩阵,称为特征图(feature map)。
权重共享大幅减少了需要学习的参数。对于一张 的灰度图片,若使用大小为 的卷积核、步长为 且不填充边缘,那么会得到一张 的特征图。
具体情况可以参考:
虽然其中有 个输出,但它们共用同一组 个权重,而不是分别学习 组权重。
卷积操作
到这里,我们已经知道卷积核会在图片的不同位置重复使用,并生成一张特征图。但对于一个具体的 区域,卷积核究竟如何得到一个输出值?
假设卷积核当前覆盖图片左上角的一个 区域。它会将自身的每个权重与对应位置的像素值相乘,再将这 个乘积相加,得到一个数。这个数便是特征图左上角的第一个输出值。
为了便于理解,下面使用一个人为设定的卷积核。真实 CNN 中的权重并不是手工指定的,而是在训练过程中由模型自动学习得到。
设输入的局部区域为:
卷积核为:
逐项相乘并求和:
因此,特征图对应位置的输出值为 。较大的结果说明:这一局部区域与卷积核所关注的竖直边缘较为相似。
接下来,卷积核会向右移动一个像素,覆盖下一个 局部区域,并重复同样的计算。需要注意的是,卷积核移动时,它内部的 个权重并不会改变,改变的只有当前覆盖的像素值。
不过,卷积得到的 还只是加权求和的结果。与全连接层一样,它通常还需要经过激活函数,才能成为该位置最终的输出。
在现代 CNN 中,最常见的激活函数是 ReLU:
对于刚才得到的结果,,因此:
如果卷积结果为负数,ReLU 则会将它变为 。经过激活函数后,特征图中的每一个位置都表示:卷积核所关注的特征在该位置出现的强弱。
多层结构
单个卷积层只能从一个很小的局部区域中寻找特征。例如,第一层的卷积核可能对某种边缘、线条或亮暗变化产生较强的响应。
但仅靠这些简单特征,我们仍然无法直接判断一张图片是不是数字 8。因此,CNN 会将第一层生成的特征图继续交给下一层处理。
第二层不再直接观察原始图片的像素,而是观察第一层特征图中的局部区域。第一层已经标记出了不同位置上的边缘或线条,第二层则可以进一步判断:这些边缘是否构成了转角、弯曲或圆环等更复杂的结构。
这种逐层组合的过程,使网络能够从简单特征逐渐构建出复杂特征:
- 较低层通常关注边缘、方向和亮暗变化
- 中间层可能组合出拐角、曲线、圆环或笔画
- 更高层则能够结合这些结构,判断它们是否构成完整的数字或物体
从感受野的角度看,多层结构也让神经元能够间接观察更大的范围。假设每一层都使用大小为 、步长为 的卷积核:
- 第一层中的一个输出值,依赖原图的一个 区域
- 第二层中的一个输出值,依赖第一层相邻的 个输出
- 因此,它最终会间接依赖原图的一个 区域
- 再经过一层,感受野会进一步扩大到
感受野扩大,指的是:为了计算更高一层的一个输出值,最终需要查看原图中更大范围的像素。
第一层中的一个输出值,直接来自原图的一个 区域:
它根据这 个像素,计算出特征图中的一个输出,例如 。
第二层中的一个输出,需要查看第一层相邻的 个输出:
这些输出分别来自原图中彼此重叠的 区域。将它们合并后,第二层的一个输出实际上依赖原图中的一个 区域:
因此,在步长为 、不考虑填充时,连续叠加 卷积层,感受野会逐层扩大:
随着网络不断加深,后面的神经元能够综合越来越大范围的信息。这使 CNN 既能从局部开始识别细节,又能逐步理解整张图片的整体结构。
基本上,这就是我们需要 CNN 的原因。至于它如何被具体实现,我会在之后的文章中继续介绍。
Hope this helps!