【知识星球】从SVM对偶问题，到疲劳驾驶检测，到实用工业级别的模型压缩技巧

模型压缩有许多的方法，比如使用小卷积，多尺度，去除全连接层，瓶颈结构等思路设计紧凑的网络，也有对权重进行量化剪枝等方法，而DeepRebirth则采用了另外一种思路，即将Non-tensor layer(包括pooling、BN、LRN、ReLU等)合并到tensor层中，因为它们虽然参数不多，但是有很大的计算量，下面首先看看经典网络中这些层的计算时间比例：

可以看出这些非卷积层占据了很大比例的计算时间，在Intel x86上甚至能占到一半，如果能够将其去除将大幅度的提升模型的运算速度。

作者提出了两种思路，分别是StreamLine Merging和Branch Merging。

StreamLine Merging是一种串行的合并方式，如下：

通常来说，就是将Pooling、LRN，BN等网络层与相邻近的Conv层进行合并，上图的案例中经过合并后从153.8ms直接降低到了16.6ms。这里卷积本身的计算时间也大大降低，是因为pool2融合进了conv，使其步长从1变为2。

现今更为常见的情况是将BN，Scale等网络层和相邻的Conv层合并，也能降低不少计算量。

Branch Merging是一个分支的合并方式，如下：

如上图，将1*1 卷积层以及Pooling层分支分别合并到和它并行的3*3卷积和5*5卷积分支中。另外考虑到3*3卷积和5*5卷积分支输出通道增加会增大参数量和运算量，因此调整这些分支的输入通道进行压缩。

在进行以上的合并后，模型的性能通常会降低，所以需要重新训练，作者采用的方式是 合并得到的新层使用标准的初始化方式，将其他层的参数固定不变，然后将新层的学习率设置为其他层的10倍后进行finetuning。

那么实验效果如何呢？以GoogLeNet为基准模型的实验结果如下：

上表展示了对不同的网络层使用以上合并策略，可以发现各种网络层的速度都有很大提升，在精度只降低0.4%的时候，能有超过3倍的速度提升。

这是非常实用且强大的一个提升模型运行速度的方法，在实际进行模型部署时，常常会对BN等网络层进行合并。

[1] Li D, Wang X, Kong D. Deeprebirth: Accelerating deep neural network execution on mobile devices[C]//Thirty-Second AAAI Conference on Artificial Intelligence. 2018.