经典卷积神经网络算法(2)：AlexNet

上文中实现了LeNet-5卷积网络，不可否认这是一个十分经典的网络结构，但是迫于种种复杂的现实场景限制，只能在一些领域应用，所以在接下来的10年间，卷积网络的锋芒一度被SVN算法覆盖，直到2012年AlexNet的提出。2012年Imagenet图像识别大赛中，Alext提出的AlexNet网络模型一鸣惊人，引爆了神经网络的应用热潮，并且赢得了2012届图像识别大赛的冠军，这也使得卷积神经网络真正意义上成为图像处理上的核心算法。AlexNet网络相比于之前的卷积网络模型有以下几点创新：
(1)使用relu作为激活函数。在上世纪末，神经网络大多还是使用sigmod或tanh作为激活函数，使用relu作为激活函数是AlexNet网络开创的先河。
(2)使用GPU并行运算。AlexNet使用两张GPU同时训练模型，大大加快了模型训练的速度。
(3)最大池化。在AlexNet出现以前，大多使用平均池化。
(4)dropout操作。随机杀死部分神经元，防止过拟合。
(5)数据增强。从原始图片中随机截取固定大小的子图，构建更大规模数据集。