您对华为云开发者网站的整体评价?

非常不满意 非常满意

0

1

2

3

4

5

6

7

8

9

10

*您遇到了哪些问题?(最多选三项)
*您感到满意的原因是?(最多选三项)
*请针对您所遇到的问题给出具体的反馈
200/200
算法
域适应算法EfficientMixGVB
基于Pytorch,GPU训练,CPU或GPU推理
ModelArts
51个月以前
403MB 346 1696
  • 标签
    图片图像分类GPU训练CPU推理GPU推理公有云PyTorch深度学习ModelArts图像分类PyTorchGPUCPU
  • 资产ID c34587e7-3f24-42e1-892b-2f62cbadd265

描述

概述

在迁移学习中, 当源域和目标的数据分布不同 ,但两个算法任务相同,这种特殊的迁移学习叫做域适应 (Domain Adaptation,DA )。几乎所有算法在落地实际场景时都会遇到域适应问题。因为带有标注的训练数据集是很容易获得的,我们训练模型使用的都是这些数据,但是将模型应用到实际场景中的数据来源往往是不同的且没有标注的。

以车辆检测模型为例,你在重庆收集汽车道路数据并精确标注后,训练了一个车辆检测模型,在重庆路上测试效果极好,但在杭州道路上就变得非常糟糕。重庆的道路高高低低,杭州道理相对平坦;重庆的出租车是黄色的,杭州的出租车是绿色的等,同样动漫人物中的人形一般较为夸张、抽象、色彩鲜艳,与真实人形差别较大,你训练的模型在这些场景下表现很差的原因是数据域发生了变化。

那怎么解决这类训练数据域与测试数据域变化很大的问题呢?在视觉领域中已经提出了许多域适应方法来减少训练数据域与测试数据域之间的差异。域适应算法EfficientMixGVB 为ModelArts从模型结构出发改善两个域之间差异的自研图像分类算法,该算法在多个公开数据集上超越了现有的域适应算法。

训练

  • 算法基本信息

    • 适用场景:图像分类、图像分类域适应

    • 支持的框架引擎:PyTorch-1.0.0-python3.6

    • 算法精度:office-31的avg_acc=91.6%,详细实验数据请浏览博客https://bbs.huaweicloud.com/blogs/196142

    • 训练性能:

| 训练规格 | batch_size(每步训练的图片数量) | 迭代步数 | 总耗时 |
| -------- | ------------------------------- | -------- | ------ |
| V100-32G | 8 | 8000 | 1h |

  • 推理性能

    GPU的0.25P4规格的推理速度为 27.94ms/pic

    CPU规格的推理速度为795.19ms/pic

  • 算法输入:

    • ModelArts数据管理平台发布的有标签图像分类数据集,作为源域数据集。
    • ModelArts数据管理平台发布的无标签图像分类数据集(即使有标注也不会使用这些标注,建议将这些标注放入源域数据集中以提升模型精度),作为目标域数据集。
    • 在ImageNet上的预训练模型(算法自带)。
  • 算法输出:

    • 用于ModelArts在线推理的pickle模型。
    • 保存了模型参数的.pth.tar模型文件。
  • 训练参数说明

    名称 默认值 类型 是否必填 是否可修改 描述
    batch_size 8 int 每步训练的图片数量(单卡),如遇到oom,需适当减小;如选择ResNet50模型则可调整至32。
    test_interval 500 int 模型验证频率,默认500步验证一次。
    snapshot_interval 500 int 模型保存的频率
    model_name EfficientNet-B4 string 模型名称,其他可选:EfficientNet-B4(高精度), ResNet50(高性能)。
    num_iterations 5000 int 模型训练步数
    skip 4000 int 在MixMatch之前训练的步数,默认为4000,小于总模型训练步数时有效,大于时不启动MixMatch。
    lr 0.001 float 训练的学习率策略。
    gamma 0.001 float 根据训练步数影响学习率策略的系数。
  • 训练输出文件

    训练完成后的输出文件如下:

      |- model
        |- customize_service.py
        |- index
        |- config.json
        |- result.pickle
        |- *.so
        |- timm
          |- *.so
      |- iter_00000_model.pth.tar
      |- iter_01000_model.pth.tar
      |- ...
    

GPU/CPU推理

  • 无需特殊设置,跟随推理环境。

交付

华为云ModelArts

华北-北京一华北-北京四华北-乌兰察布一华东-上海一cn-east-4华南-广州西南-贵阳一

您可以在华为云ModelArts控制台直接使用资产,但无法下载资产

限制

公开

免费

无时长限制

版本

版本号
版本ID
发布时间
状态
版本说明
使用约束
2.0.0
2.0.0
2020-08-31 07:59
已完成
--

若您怀疑合法知识产权遭受侵犯,可以通过此链接进行投诉与建议。