4.7.1 卷积神经网络（CNN [Convolutional Neural Network]）

卷积神经网络（CNN [Convolutional Neural Network]），是对采用 卷积核（Convolutional Kernel），配合 层叠网格结构 构成的流水线，来进行特征提取的一类神经网络的统称。该类型最为擅长抽象图片或更复杂信息的高维特征。

仍以 AlexNet 为例，原工程示意图之前已有展示：

我们用它来做一个，基于 MINST 手写字母图像集的，简单字母分类识别模型。如下所示：

可以发现，该模型在层级设计上，前半部分使用到了一系列由多个 更偏重功能性 的特殊隐藏层，即卷积层（Conv）、池化层（Pool），以连接构成复杂结构。之后，在经过一个独立的平化层（Flatten Layer）处理多通道数据完毕，才到达我们熟知类似之前介绍的，三层简易结构组成 多层感知器（MLP）朴素神经网络（Simple Neural Network） 的部分。

CNN 层级分类

显然，新引入的 卷积层（Conv） 、 池化层（Pool） 、 平化层（Flatten Layer），从神经网络结构上划分，仍然属于隐藏层。但所偏重的处理却更为细分。单纯使用结构体系的称谓，已经不能体现其具体作用了。

介于此，我们不得不采用 功能分类 方式，细化隐藏层类，来扩展对 CNN 的结构描述能力。

于是，结合原本输入层、输出层的相对准确描述，通常情况，我们能够将 CNN 的层类型分为 6 类。分别是：

输入层（Input Layer），处理接收样本的前处理准备工作；
卷积层（Conv [Convolutional Layer]），处理卷积核的移动和相关数据过滤工作；
池化层（Pool [Pooling Layer]），处理压缩/提升参数量的工作；
平化层（Flat [Flatten Layer]），处理接收样本的前处理准备工作；
全连接层（FC [Fully Connected Layer]），完成神经网络提取后特征的权重迭代部分；
输出层（Output Layer），完成最终特征向量结果输出，交由损失函数处理

不过，因为是按照针对处理任务进行的划分，因此，不同的 CNN 模型，在分类上会有或多或少的不同。例如，有些没有平化层，而有些则会多出独立的激活层（专门用于激活函数生效的隐藏层）。所以需要根据实际情况，做些许调整。但分类原则仍然依照上述标准。

为了区别于基础输入层、输出层、隐藏层概念，我们在介绍时统一采用 CNN 前缀（如，CNN-Input），表明特殊的分类形式。

CNN 输入层（CNN-Input）

CNN 输入层（CNN-Input） 所做的工作和传统神经网络的输入层工作有一定的区分，除了要完成初步激活外，还需要对输入样本数据做一定的 预处理（Pre-Process） 工作。此类主要为 特征工程（Feature Engineering） 的相关工作，包括但不限于：

数据过滤（Data Filtering），初步筛选部分可以直接从样本本身判断出来的无效数据；
标准化（Standardization），将数据转为均值 0 且标准差为 1 的分布，无关原分布特征；
归一化（Normalization），将样本数据映射到一定范围区间内，放大或缩小范围；
中心化（Zero-Centered），将样本数据转为均值 0 但保留原有分布特征；

这里的 归一化（Normalization），指的是将参与训练的数据，归一到 统一尺度 下处理。虽然 $[0,\ 1]$ 范围因契合概率特征，常作为考虑范围之一，但并不一定都会选在 $[0,\ 1]$ 范围。例如我们在音视频中，以 RGB 作为输入数据时，更希望保留 $[0,\ 255]$ 的离散范围作为样本。

除此之外，还有对原有数据的去关联性、离散化、量化转移。因此，输入层的工作，也被经常称为 数据预处理（Data Preprocessing）。这一部分存在相当多的工作，本书在章节末尾的书目推荐中，已列出相关参考推荐，感兴趣可以自行前往了解。

CNN 卷积层（CNN-Conv）

CNN 卷积层（CNN-Conv） 主要采用一些滤波器算法，来针对性的提取特征信息。这一过程中使用的滤波器（Filter）即是我们在本书第三章第二节中介绍的一类类型，涵盖了之前所提到的常用滤波手段在内的一系列滤波处理方式。而这也是 CNN 的核心概念之一。

在 CNN 中，一般将 采用滤波器称为卷积核（Kernel）。

通过卷积操作，不断的从输入样本（CNN 一般是多维数据）中，提取出滤波后的特征。这一过程实际上是对最终被用来作为训练的输出特征向量，所在高维投影信息的一种过滤和逼近。通过对多层 CNN 卷积层的加权训练，来实现简洁观察到样本集代表数据的本质特征。

由于卷积操作的特点，CNN 最适合被 GPU 加速的运算，即是卷积核运算。

CNN 池化层（CNN-Pool）

CNN 池化层（CNN-Pool） 是除了 CNN 卷积层外的另一种特征提取方式。它本身其实也可归类为一种算子简单的 CNN 卷积层。为了区别，我们把池化层的卷积核，称为池化核。因此，CNN 池化层具有 CNN 卷积层的所有特点，并一样利于 GPU 化加速。池化算子根据前一级输入，一般为 $2 \times 2$ 或 $3 \times 3$ 大小，移动步长为了避免范围覆盖，会取用等核大小步长。 常见的池化算子（Pooling Operator）主要有两种，分别是：

最大值池化（Max-Pooling），以池化核内最大值为输出；
核均值池化（Avg-Pooling），以池化核内所有值的均值作为输出；

这两类都是 向下采样（Subsampling） 过程，效果如下：

除此外，还有各种类型的其它池化算法，例如：混合池化（Mixed Pooling）、线性探测池化（Linear Probing Pooling）[19] 、向上采样（Upsampling）的全局池化（Global Pooling）等。 方法不一而足。

但池化层的目的，始终是对前级输入的一种，引入相对对抗性的校准方式。使得特征的小范围内值得到突出，或用以磨平部分核内数据干扰的手段。

CNN 平化层（CNN-Flat）

CNN 平化层（CNN-Flat），从字面意义理解，即把输入变换到指定维度大小数据当特殊处理层。它的意义在于，为传统 MLP 的神经网络部分，提供可供其学习的输入特征。

因此，常见的平化层操作，即将前一级输入直接按照顺序延展到指定维度即可。

通常情况，我们会选择输出扁平化到 一维张量（1-dim Tensor，即的有 $n \times 1$ 个元素的向量）。这个过程如上图展示。

CNN 全连接层（CNN-FC）& CNN 输出层（CNN-Output）

CNN 全连接层（CNN-FC） & CNN 输出层（CNN-Output），相比之前几类，和它俩在 MLP 时期的作用基本无变化。

CNN 全连接层（CNN-FC） 相当于前文中三层朴素神经网络里的隐藏层；
CNN 输出层（CNN-Output） 相当于前文中三层朴素神经网络里的输出层；

此处就不再赘述。

需要注意的是，CNN 输出层（CNN-Output）的输出结果，才是我们 在训练阶段 中，用来 交付损失函数计算，并参与优化器迭代权重的部分。为区别于其它，有时会被称为模型的 关键特征向量（Key Vector）。

CNN 网络结构

卷积神经网络存在远超 MLP 的层级，带来的变换远非只停留于对层级功能的细化上。在网络结构层面，也逐渐由处理针对任务性质的差异，产生了在 CNN 整体结构内，更为明确的区分。我们一般将位于神经网络内，专项执行单一主要任务的内部子模块，称为 子网结构（Sub-Network Structure），或简称为 子网（Subnet）。

同样于层级分类情况，对于主要目的不同的 CNN ，其子网结构也不完全相同。

但一般而言，大体可以分为 3 个子网，分别是：

特征提取（FE [Feature Extraction]）子网，用于提炼原始信息至高级特征；
特征选择（FS [Feature Selection]）子网，用于将高级特征抽象至最终输出特征向量；
结果输出（RO [Result Output]）子网，用于输出最终的处理结果；

从分类可见，特征选择子网和特征提取子网，在卷积神经网络中的作用，基本等同于传统机器学习过程中，特征的选择和提取在传统逻辑回归和聚类分析中，所起到的作用一致。但其作用范围是整张网络内，所有的过程中特征。这一点还是有较大维度上的差异的。

在具体实践中，是什么样的情况呢？

我们以 AlexNet 部署物体识别的 CNN 分类模型为例，有：

在例子中，3 个子网结构各包含了多个 AlexNet 的不同层级：

特征提取子网（FE），包含输入层、平化层，以及从输入层至平化层间的多个池化层、卷积层，共同组成；
特征选择子网（FS），在本例中根据功能也被称为分类子网（Classification Subnet），包含接收平化层输出的相邻隐藏层至输出层前一级隐藏层。这些隐藏层都是全链接层，以此完成特征向量提炼。
结果输出子网（RO），则是在接收 FS 输出后，最终生成特征向量的传统 MLP 组成。例子中采用了 SoftMax 连接函数，完成了对样本的 概率分布（Probabilistic Distribution） 归一化向量输出。