MAI（二）：图像分类&常用深度预测编码器backbone解析

原论文名称： EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks 论文下载地址： https://arxiv.org/abs/1905.11946 原论文提供代码： https://github.com/tensorflow/tpu/tree/master/models/official/efficientnet 自己使用Pytorch实现的代码： pytorch_classification/Test9_efficientNet 自己使用Tensorflow实现的代码： tensorflow_classification/Test9_efficientNet 不想看文章的可以看下我在bilibili上录制的视频： https://www.bilibili.com/video/BV1XK4y1U7PX 在之前的一些手工设计网络中(AlexNet，VGG，ResNet等等)经常有人问，为什么输入图像分辨率要固定为224，为什么卷积的个数要设置为这个值，为什么网络的深度设为这么深？这些问题你要问设计作者的话，估计回复就四个字--工程经验。而这篇论文主要是用NAS（Neural Architecture Search）技术来搜索网络的图像输入分辨率，网络的深度以及 channel的宽度三个参数的合理化配置。在之前的一些论文中，基本都是通过改变上述3个参数中的一个来提升网络的性能，而这篇论文就是同时来探索这三个参数的影响。在论文中提到，本文提出的 EfficientNet-B7在 Imagenet top-1上达到了当年最高准确率 84.3%，与之前准确率最高的 GPipe相比，参数数量（Params）仅为其 1/8.4，推理速度提升了 6.1倍（看上去又快又轻量，但个人实际使用起来发现很吃显存）。下图是EfficientNet与其他网络的对比（ 注意，参数数量少并不意味推理速度就快 ）。 在之前的一些论文中，有的会通过增加网络的 width即增加卷积核的个数（增加特征矩阵的 channels）来提升网络的性能如图(b)所示，有的会通过增加网络的深度即使用更多的层结构来提升网络的性能如图(c)所示，有的会通过增加输入网络的分辨率来提升网络的性能如图(d)所示。而在本篇论文中会同时增加网络的 width 、网络的深度以及输入网络的分辨率来提升网络的性能如图(e)所示： 根据以往的经验，增加网络的深度depth能够得到更加丰富、复杂的特征并且能够很好的应用到其它任务中。但网络的深度过深会面临梯度消失，训练困难的问题。 The intuition is that deeper ConvNet can capture richer and more complex features, and generalize well on new tasks.