经典的卷积神经网络

在实践中，对神经网络模型添加过多的层后，训练误差往往不降反升。即使利用批量归一化带来的数值稳定性能够使训练深层模型更加容易，但该问题仍然存在。针对这一问题，何恺明等人提出了残差网络（ResNet），它在2015年的ImageNet图像识别挑战赛夺魁，并深刻影响了后来的深度神经网络的设计。

聚焦于神经网络局部，下图虚线框中的部分则需要拟合出有关恒等映射的残差映射f(x)-x。残差映射在实际中往往更容易优化。我们只需将图中虚线框内上方的加权运算（如仿射）的权重和偏差参数学成0，那么f(x)即为恒等映射。实际中，当理想映射f(x)极接近于恒等映射时，残差映射也易于捕捉恒等映射的细微波动。下图是ResNet的残差块（Residual Block），在残差块中，输入可通过跨层的数据线路更快地向前传播。残差网络就是将很多个残差块串联起来构成的一个非常深的网络。

ResNet模型，可以参考论文《Deep Residual Learning for Image Recognition》，如下图所示：

上图，为了表明残差网络的有效性，ResNet共使用了三种网络进行实验：其中一种为VGG19网络，它是VGGNet论文中最深的也是最有效的一种网络结构；另外一种则是基于VGG网络思维继续加深其层次而形成的一种VGG朴素网络，它共有34个含参层；最后一种则是与上述34层朴素网络相对应的ResNet网络，它主要由残差单元构成的。