PyTorch 的（通用）EfficientNets

EfficientNet、MixNet、MobileNetV3 等的“通用”实现，涵盖了从 MobileNet V1/V2 块序列派生的大多数计算/参数高效架构，包括通过自动神经架构搜索找到的架构。

所有模型均由 GenEfficientNet 或 MobileNetV3 类实现，具有基于字符串的体系结构定义来配置块布局（来自此处的想法）

什么是新的

2020 年 8 月 19 日

• 添加更新的 PyTorch 训练的 EfficientNet-B3 权重，由我自己训练timm（82.1 top-1）
• 添加由@hal-314贡献的 PyTorch 训练的 EfficientNet-Lite0 (75.5 top-1)
• 更新 ONNX 和 Caffe2 导出/实用程序脚本以使用最新的 PyTorch/ONNX
• 添加了基于 ONNX 运行时的验证脚本
• timm激活（大部分）与等效项同步

2020 年 4 月 5 日

• 添加一些新训练的 MobileNet-V2 模型，这些模型使用最新的 h 参数、rand augment 进行训练。它们与 EfficientNet-Lite 相比相当有利
  • 3.5M 参数 MobileNet-V2 100 @ 73%
  • 4.5M 参数 MobileNet-V2 110d @ 75%
  • 6.1M 参数 MobileNet-V2 140 @ 76.5%
  • 5.8M 参数 MobileNet-V2 120d @ 77.3%

2020 年 3 月 23 日

• 添加具有从Tensorflow TPU移植的权重的 EfficientNet-Lite 模型
• 添加 PyTorch 训练的 MobileNet-V3 具有 75.77% top-1 的大权重
• 重要更改（如果从头开始训练）- 更改权重 init 以更好地匹配 Tensorflow impl，设置fix_group_fanout=False为initialize_weight_goog旧行为

2020 年 2 月 12 日

• 添加从Tensorflow TPU移植的 EfficientNet-L2 和 B0-B7 NoisyStudent 权重
• 从 TF TPU 移植新的 EfficientNet-B8 (RandAugment) 权重，这些不同于 B8 AdvProp，不同的输入归一化。
• 添加 RandAugment PyTorch 训练的 EfficientNet-ES (EdgeTPU-Small) 权重，权重为 78.1 top-1。由安德鲁·拉文训练

2020 年 1 月 22 日

• 使用最新的 RandAugment 训练权重更新 EfficientNet B0、B2、B3 和 MixNet-XL 的权重。受过训练（https://github.com/rwightman/pytorch-image-models）
• 修复 PyTorch 1.4 的 torchscript 兼容性，使用 ModuleDict 添加对 MixedConv2d 的 torchscript 支持
• 使用 PyTorch 1.4 测试模型、torchscript、onnx 导出——没问题

2019 年 11 月 22 日

• 新的前1高！移植官方 TF EfficientNet AdvProp ( https://arxiv.org/abs/1911.09665 ) 权重和 B8 模型规范。创建了一组新ap模型，因为它们使用与原始 EfficientNet 基础/AA/RA 权重不同的预处理（初始均值/标准差）。

2019 年 11 月 15 日

• 移植官方 TF MobileNet-V3 float32 large/small/minimalistic weights
• 修改 MobileNet-V3 模型和组件以支持 TF MobileNet-V3 和我的差异所需的一些额外配置

2019 年 10 月 30 日

• 许多模型现在可以使用 torch.jit.script，MixNet 是最大的例外
• 改进了启用 torchscript 或 ONNX 导出兼容模式的界面（通过配置）
• 除了内存高效的 autgrad.fn 之外，还添加了 JIT 优化的内存高效 Swish/Mish autograd.fn
• 激活工厂按名称选择最佳激活版本或全局覆盖一个
• 添加处理输入转换和分类器更改的预训练检查点加载助手

2019 年 10 月 27 日

• 添加从https://github.com/tensorflow/tpu/tree/master/models/official/efficientnet/condconv移植的 CondConv EfficientNet 变体
• 从https://github.com/tensorflow/tpu/tree/master/models/official/efficientnet为 TF EfficientNet B5 和 B7 添加 RandAug 权重
• 从我的 pytorch-image-models 代码库中引入 MixNet-XL 模型和深度缩放算法
• 将激活和全局池切换到模块
• 添加节省内存的 Swish/Mish impl
• 将 as_sequential() 方法添加到所有模型并允许作为入口点 fns 中的参数
• 将 MobileNetV3 移动到自己的文件中，因为它有不同的头部
• 删除 ChamNet、MobileNet V2/V1，因为它们可能永远不会在这里使用

楷模

实施的模型包括：

• EfficientNet NoisyStudent (B0-B7, L2) ( https://arxiv.org/abs/1911.04252 )
• EfficientNet AdvProp (B0-B8) ( https://arxiv.org/abs/1911.09665 )
• EfficientNet (B0-B8) ( https://arxiv.org/abs/1905.11946 )
• EfficientNet-EdgeTPU (S, M, L) ( https://ai.googleblog.com/2019/08/efficientnet-edgetpu-creating.html )
• EfficientNet-CondConv ( https://arxiv.org/abs/1904.04971 )
• EfficientNet-Lite ( https://github.com/tensorflow/tpu/tree/master/models/official/efficientnet/lite )
• MixNet ( https://arxiv.org/abs/1907.09595 )
• MNASNet B1、A1（Squeeze-Excite）和 Small ( https://arxiv.org/abs/1807.11626 )
• MobileNet-V3 ( https://arxiv.org/abs/1905.02244 )
• FBNet-C ( https://arxiv.org/abs/1812.03443 )
• 单路径 NAS ( https://arxiv.org/abs/1904.02877 )

我最初在这里用代码实现和训练了一些模型，这个存储库只包含 GenEfficientNet 模型、验证和相关的 ONNX/Caffe2 导出代码。

预训练

我已经设法训练了几个模型，使其精度接近或高于原始论文和官方 impl。我的训练代码在这里：https ://github.com/rwightman/pytorch-image-models

更多预训练模型即将推出...

移植重量

一旦添加了相同的卷积填充等效项，并且通过 cmd 行 args 使用相同的裁剪因子、图像缩放等（见表），从 EfficientNet 模型的 Tensorflow 检查点移植的权重在 Tensorflow 中的准确度几乎匹配。

重要的：

• 用于 EfficientNet AdvProp (AP)、EfficientNet EdgeTPU、EfficientNet-CondConv、EfficientNet-Lite 和 MobileNet-V3 模型的 Tensorflow 移植权重使用 Inception 样式 (0.5, 0.5, 0.5) 表示均值和标准差。
• 在验证时启用 Tensorflow 预处理管道--tf-preprocessing将提高 0.1-0.5% 的分数，非常接近原始 TF impl。

要对 tf_efficientnet_b5 运行验证： python validate.py /path/to/imagenet/validation/ --model tf_efficientnet_b5 -b 64 --img-size 456 --crop-pct 0.934 --interpolation bicubic

要为 tf_efficientnet_b5 运行带 TF 预处理的验证： python validate.py /path/to/imagenet/validation/ --model tf_efficientnet_b5 -b 64 --img-size 456 --tf-preprocessing

使用 Inception 预处理对模型运行验证，即 EfficientNet-B8 AdvProp： python validate.py /path/to/imagenet/validation/ --model tf_efficientnet_b8_ap -b 48 --num-gpu 2 --img-size 672 --crop-pct 0.954 --mean 0.5 --std 0.5

tf-preprocessing*通过管道验证的 tfp 模型

从官方 Tensorflow 存储库移植的 Google tf 和 tflite 权重

• https://github.com/tensorflow/tpu/tree/master/models/official/mnasnet
• https://github.com/tensorflow/tpu/tree/master/models/official/efficientnet
• https://github.com/tensorflow/models/tree/master/research/slim/nets/mobilenet

用法

环境

所有开发和测试都在 Linux x86-64 系统上的 Conda Python 3 环境中完成，特别是 Python 3.6.x、3.7.x、3.8.x。

用户报告说在 Windows 中安装 Python 3 Anaconda 可以正常工作。我自己还没有验证这一点。

PyTorch 版本 1.4、1.5、1.6 已使用此代码进行了测试。

我试图将依赖项保持在最低限度，设置是按照 Conda 的 PyTorch 默认安装说明进行的：

conda create -n torch-env
conda activate torch-env
conda install -c pytorch pytorch torchvision cudatoolkit=10.2

PyTorch 集线器

可以通过 PyTorch Hub API 访问模型

>>> torch.hub.list('rwightman/gen-efficientnet-pytorch')
['efficientnet_b0', ...]
>>> model = torch.hub.load('rwightman/gen-efficientnet-pytorch', 'efficientnet_b0', pretrained=True)
>>> model.eval()
>>> output = model(torch.randn(1,3,224,224))

点

这个包可以通过 pip 安装。

安装（在 conda env/install 之后）：

pip install geffnet

评估用途：

>>> import geffnet
>>> m = geffnet.create_model('mobilenetv3_large_100', pretrained=True)
>>> m.eval()

火车用途：

>>> import geffnet
>>> # models can also be created by using the entrypoint directly
>>> m = geffnet.efficientnet_b2(pretrained=True, drop_rate=0.25, drop_connect_rate=0.2)
>>> m.train()

在 nn.Sequential 容器中创建，用于 fast.ai 等：

>>> import geffnet
>>> m = geffnet.mixnet_l(pretrained=True, drop_rate=0.25, drop_connect_rate=0.2, as_sequential=True)

出口

脚本包含在

• 将模型导出到 ONNX ( onnx_export.py)
• 优化的 ONNX 图（onnx_optimize.py或onnx_validate.pyw/ --onnx-output-optarg）
• 使用 ONNX 运行时验证 ( onnx_validate.py)
• 将 ONNX 模型转换为 Caffe2 ( onnx_to_caffe.py)
• 在 Caffe2 ( caffe2_validate.py)中验证
• Caffe2 中带 FLOP 的基准，参数输出 ( caffe2_benchmark.py)

例如，要导出 MobileNet-V3 预训练模型，然后运行 ​​Imagenet 验证：

python onnx_export.py --model mobilenetv3_large_100 ./mobilenetv3_100.onnx
python onnx_validate.py /imagenet/validation/ --onnx-input ./mobilenetv3_100.onnx 

这些脚本经测试可在 PyTorch 1.6 和 ONNX 1.7 w/ ONNX 运行时 1.4 中运行。Caffe2 兼容导出现在需要导出脚本中提到的附加参数（早期版本不需要）。

导出备注

1. _EXPORTABLE除非标志 inconfig.py设置为 True ，否则激活了“SAME”conv 填充的 TF 移植权重无法导出到 ONNX 。config.set_exportable(True)在onnx_export.py脚本中使用。
2. 具有“相同”填充的 TF 移植模型将在导出时将填充固定为用于导出的分辨率。即使 opset >= 11 支持动态填充，我也无法让它工作。
3. ONNX 优化工具在 PyTorch 1.6 / ONNX 1.7 中无法可靠运行。幸运的是，基于 onnxruntime 的推理现在运行良好，包括动态优化。
4. ONNX / Caffe2 导出/导入经常因不同的 PyTorch 和 ONNX 版本版本而中断。请在此处提交问题之前检查他们各自的问题跟踪器。