简介

此模型基于华为云ModelArts平台开发，用于对西安景点、美食、民俗、特产、工艺品等5个大类、57个子类别图像数据进行分类，是2019人工智能创新应用大赛的参赛模型。

关键词

• FastAI V1
• EfficientNet迁移学习
• 增强策略由简至繁

训练数据

数据扩充

比赛官方提供的数据集比较小，且分布不均匀，所以此模型使用的训练数据对官方数据进行了扩充。先后下载了三万张网络图片，与官方数据合并再删减，最终保留了九千张左右图片。

数据增强

• 随机缩放、旋转、翻转变换
• 随机调节亮度对比度

训练过程

核心策略

• 使用成熟开发框架，快速搭建训练流程
• 使用成熟模型进行迁移学习，最终使用B7
• 只训练离输出较近的最后两个Block和FC，锁定其他层
• 在迁移训练的不同阶段，采取不同程度的数据增强

框架

• pytorch
• fastai v1

fastai框架是pytorch的高级封装，本次参赛使用的是比较成熟的v1版本。

模型 - EfficientNet

• 参数少，精度高
• 在 ImageNet 数据集上SOTA

损失函数

• 平滑标签（Label Smoothing）
  • 通俗理解：不逼迫模型对训练样本进行100%肯定的预测，而是更多的去关注当前短板
  • 提高泛化能力
  • 抑制过拟合

优化器

• Ranger
  • 收敛更快
  • 更稳定

训练过程

阶段一：

1. 只训练FC层，用较大学习率 (1e-1 ~ 1e-2), 6 epochs
2. 解锁最后一个block，降低学习率 (1e-2 ~ 1e-3), 4 epochs
3. 再解锁一个block，使用较低学习率 (3e-4), 3 epochs

阶段二：

• 加入随机变换进行数据增强
• 解锁最后两个block，使用较低学习率 (1e-3 ~ 1e-4), 6 epochs

阶段三：

• 调整随机变换参数
• 使用较低学习率 (3e-4), 6 epochs

环境配置

依赖安装

• 在notebooks里通过pip安装：

  pip install torch==1.2.0 torchvision==0.4.0 fastai==1.0.60

• 如果是执行训练任务，需要修改pip-requirements.txt:

  torch==1.2.0
  torchvision==0.4.0
  fastai==1.0.59
  

fastai调用

• fastai的get_transforms方法可以返回一组默认的变换组合

  tmfs = get_transforms(do_flip=True)

• 基于当前模型状态，lr_find 可以搜索下一步可能比较好的学习率

  learn.lr_find(end_lr=1)

参考

• fastai (https://github.com/fastai/fastai )
• lr search (https://towardsdatascience.com/exploring-learning-rates-to-improve-model-performance-in-keras-e37f5e63f16c)
• label smoothing loss (https://towardsdatascience.com/label-smoothing-making-model-robust-to-incorrect-labels-2fae037ffbd0)