ModelArts企业级人工智能平台特点高效的行业算法：领先人工智能技术结合行业专家经验，构建出优质高效的行业预置算法，行业AI应用开发者仅需少量标注数据，就能获得高精度的AI应用；领先的AI开发平台：底层依托一站式AI开发管理平台ModelArts提供的领先算法技术，保证AI应用开发的高效和推理结果的准确，同时减少人力投入。简单的流程式开发：用户可借助预置的行业工作流，轻松完成AI应用项目开发以及持续迭代；灵活的工作流编排：针对特定的行业、场景，开发者可根据自身需求对行业工作流进行灵活编排，实现AI应用开发；丰富的开放生态：基于华为云开放生态，用户可以在AI市场中分享及获取、购买所需行业AI工作流，高速高效实现AI行业落地。面向物流、石油、零售、金融、医疗、交通等行业场景，华为云基于领先算法及行业知识，首批推出了ModelArts Pro文字识别、视觉、自然语言处理、知识图谱等开发套件及端云协同多模态AI应用开发套件HiLens，快速响应不同行业、不同场景的定制需求，让AI变得触手可及。

【功能模块】modelarts【操作步骤&问题现象】1、智能标注后的图片只能一个一个点击确认么，不可以批量点击确认么2、不智能标注的话，modelarts 如何使用Microsoft coco数据集自带的标注文本3、在modelarts上训练出的模型如何转化为om文件【截图信息】【日志信息】（可选，上传日志内容或者附件）

数字人民币，是由中国人民银行发行的数字形式的法定货币，具有“扫码支付”、“汇款”、“收付款”、“碰一碰”四大常用功能。2020年4月17日，央行确认了数字货币正在内测。 今年的热点，的确会有数字货币一席之地。湖南建行张怀林总果然是有独到眼光。被封杀的比特币一路狂飙。全球各类数字货币创新爆发， 支持数字人民币湖南试点我看行。 1.大家有什么看法和创想没？ 记得曹娟小姐姐发表过海量文章，期待分享。 区块链，去中心化，多边贸易我们一起走过。 2.华为硬件级数字人民币钱包能否分享？ 3.没有挖币的数字人民币香吗？ 4.ModelArts与数字货币的连接，算法与算力的连接如何诠释？ 457227

本项目复现了Unsupervised Domain Adaptation for SemanticSegmentation via Class-Balanced Self-Training中提出的迁移语义分割算法，实现从GTA5到CityScape (mIOU=45.5%) 的迁移。 评价指标为 mIOU，即各类别交并比的均值。CBST算法分为两个阶段：源域预训练，仅使用源域的数据进行监督学习self-training阶段，使用源域预训练模型在目标域数据生成的伪标签以及目标域数据进行训练本算法用self-training参数表示这两个阶段，为false时代表阶段1，为true时代表阶段2代码结构：1. 准备数据集本算法包含两个迁移场景，共需要准备三个数据集：GTA5、SYNTHIA和CityScape。注意，为方便复现，我们已经提供了将目录规范化后的数据集，存储在 OBS 中可直接下载，详情见 1.4 节数据组织。1.1 GTA5数据集官网 可以查看数据集具体信息，下载后文件解压合并，如图所示：1.2 SYNTHIA数据集官网 可以查看数据集具体信息，可点此链接 下载，下载后文件如图所示：1.3 CityScape数据集官网 可以查看数据集具体信息，可点此链接 下载，下载后文件如图所示：1.4 数据组织算法会将“数据输入位置”，即data_url参数的obs文件复制到容器内的./dataset/路径下，并解压所有的zip文件。因此算法的超参数，牵涉到数据和restore_from参数文件的位置都是以./dataset/为相对路径的。./dataset/目录包含有：数据集文件数据对路径文件label的标签映射文件，固定需要在./dataset/helpers/labels.py中（仅当self-training为true时）在源域上预训练的参数.pth文件其中数据集需要准备描述数据对的list文件，例如：左边为原图像，右边为ground-truth文件，中间以一个tab（即制表符）分隔，表示各个数据对。相对路径为对于参数data_dir_src或data_dir_tgt来说的位置。label映射文件是为了处理源域label到目标域label的映射，可以参考该示例文件，示例文件为GTA5数据集到CityScape数据集的映射情况。例如，当./dataset/目录如下时：那么参数如下：data_src_dir = ./dataset/GTA5 data_src = gta data_src_list = ./dataset/list/gta5/train.lst data_tgt_dir = ./dataset/Cityscapes data_tgt_train_list = ./dataset/list/cityscapes/train_ClsConfSet.lst data_tgt_test_list = ./dataset/list/cityscapes/val.lst 命名方式不需要与示例一致，只需要能区分训练和测试数据即可，除了helper的label映射文件外，文件结构也不需要相似。此外，请留意该目录结构、data_src_dir参数和list文件相对路径的关系。可以通过点击下面链接下载打包好的数据集：GTA5 -> CityScape:·         data，密码为：cbstdaSYNTHIA -> CityScape:·         data，密码为：cbstda1.5 安装OBS Browser+并上传数据集ModelArts使用对象存储服务（OBS）来存储数据，实现安全、高可靠和低成本的存储需求。OBS Browser+是一款用于访问和管理对象存储服务（Object Storage Service，OBS）的图形化工具，支持完善的桶管理和对象管理操作。OBS Browser+的图形化界面可以非常方便地让用户在本地对OBS进行管理，例如：创建桶、上传下载文件、浏览文件等。具体操作步骤如下：（1）点此下载OBS Browser+，下载完成后解压缩，双击exe进行安装，安装完成后运行；（2）登录界面如下图所示，需要您填写账号名、Access Key ID（AK）和Secret Accsee Key（SK），参考此文档，获取AK和SK，华为云上的许多产品都需要用到访问密钥，请妥善保存该密钥文件，然后参考下图填写您的华为云账号名及刚获取的AK和SK，点击登录；（3）参考下图，点击“创建桶”，输入桶名称，注意：区域要选择华北-北京四、标准存储、私有、关闭多AZ，桶名需自定义，OBS桶名要全局唯一，如提示桶名已存在，则需要您修改为其他名称，比如本文设置桶名为paper-reproduction-01。您设置的桶名必须与此不同，如在下文的操作指导中看到paper-reproduction-01，请主动将桶名替换为您自己的桶名，下文将不再进行提示；（4）点击桶名称，进入到桶中，点击“新建文件夹”，输入文件夹名称，如“train_input”，点击进入文件夹，再新建“datasets”，点击“上传”->“添加文件”-> 选择本地下载好的数据集压缩包（之所以选压缩包格式是因为如果数据集比较大，上传压缩包比上传文件夹快很多） –> 确定，如下图所示；（5）点击OBS Browser+左侧的“任务管理”，可查看数据上传进度。如下图所示，点击设置，在基础设置中，设置最大并发数为最大值50，可以加快数据上传速度2. 订阅本算法点击本页面右上方的【订阅】按钮。然后点击页面下方的【下一步】按钮，再点击【确认付款】按钮，最后点击【确定】按钮进入我的订阅页面，可以看到刚刚订阅的算法。点击【应用控制台】超链接，选择华北-北京四区域，进入算法管理页面。如下图所示，点击“同步”按钮，同步算法，可以点击刷新按钮，刷新状态。当状态变成就绪时，表示同步成功。3. 创建训练作业点击上图中的“创建训练作业”。创建训练任务需要分别指定训练集的源域、目标域和验证集。数据文件在OBS放至同一个文件夹并将其路径传入为data_url，训练时会复制到路径为当前相对路径./dataset/。其中，数据是RGB图像，ground truth文件是相同尺寸的单通道文件，值为[0, 255]表示类别label注意：训练作业创建后会默认解压data_url下的所有.zip格式的压缩文件，解压命令为unzip -q filename.zip，而data_url在训练任务的容器内的相对路径是./dataset/按照下表填写训练作业参数，表中默认值以GTA5->CityScape实验为例，假设obs上训练集的路径为：obs://domain-adaptation/raw_datasets/gta2cityscape/，文件目录为：两个zip文件的目录见1.4节文件结构。则超参数说明如图，点击下载pdf版本：这份参数会加载ResNet38在ImageNet上的预模型进行阶段1，即在源域上预训练，训练完毕后需要将输出文件中的pretrained_src.pth放置data_url对应的obs目录中，然后设置restore_from为./dataset/pretrained_src.pth并将self-training设为true则继续进行阶段2的self-training训练。load_weight是“断点保存”和“模型评估”的参数，请理解与restore_from参数的区别，如果从0开始训练（从0开始在源域数据集做阶段1的训练，然后利用阶段1的参数做阶段2的self-training），那么是不需要这个参数的，请删除。在模型评估阶段（即eval=True）需要添加该参数。点击下一步，提交，训练作业的状态会经历“初始化”、“部署中”、“运行中”和“运行成功”四个状态。训练作业运行成功后，在上表中指定的“模型输出”路径下会自动生成model目录，该目录下有模型文件、ModelArts平台推理脚本（config.json、customize_service.py）和其他运行模型必备的文件。训练完成后可在训练日志中看到实验评估结果。评估阶段4. 模型导入准备好模型及相关的必备文件后，您可以将生成的模型导入至ModelArts模型管理。具体操作如下：（1）在ModelArts控制台的左侧导航栏点击“模型管理” -> “模型”，点击右侧页面中的“导入”。在导入模型页面填写名称，选择元模型来源，可以直接从训练中选择，也可以从OBS中选择。如果是从OBS中选择，则需要选择到model目录的上一级目录；例如，本次可选择的目录为obs://paper-reproduction-01/algorithms/train_output，如下图所示：注意：选择好元模型路径后，“AI引擎”会自动填充。如未能自动填充，请检查元模型路径是否是model目录的上一级目录，或者model目录下是否包含模型配置文件config.json。（2）点击“立即创建”，需要一点时间来等待模型导入和构建，当模型版本状态为“正常”后，即表示模型导入成功。5. 创建在线服务在ModelArts上，可以将模型部署为在线服务，然后上传图片进行预测，直接在网页端观察预测结果。部署为在线服务具体步骤如下：（1）在ModelArts左侧导航栏中选择“部署上线 -> 在线服务”，然后点击页面中的“部署”；（2）在部署页面填写参数，其中在“模型列表”选择要导入的模型及版本，计算节点规格选择CPU即可；（3）点击“下一步”，参数确认无误后，点击“提交”。提交后，您可以在在线服务列表中查看部署进度，当状态变为“运行中”后，点击服务名称，进入详情页面，点击“预测”，上传图片进行测试。6. 创建批量服务在ModelArts上，还可以将模型部署为批量服务，从OBS加载测试集图片进行预测，然后将预测结果输出到OBS。部署为批量服务具体步骤如下：（1）在ModelArts左侧导航栏中选择“部署上线 -> 批量服务”，然后点击页面中的“部署”；（2）在部署页面填写参数，其中在“模型列表”选择要导入的模型及版本，填写输入数据目录和输出数据目录，计算节点规格选择“CPU 2核 8GB”，计算节点个数设为1；（3）点击“下一步”，参数确认无误后，点击“提交”。提交后，您可以在批量服务列表中查看部署进度，当状态变为“运行中”后，表示正在预测中，当状态变为“运行完成”，表示这批图片已经预测结束，预测结果是一批txt文件，保存在上图指定的OBS输出数据目录位置中，可以前往该目录查看结果。7. 模型评估参考本文第2节中的步骤，创建“训练作业”，设置  参数为 true，并设置 load_weight 参数为模型地址，如：obs://paper-reproduction-01/algorithms/train_output/xxxxxx.pth 会在对应的输出目录生成评估结果。在 train_url 所对应的 OBS 目录下，会生成对应的评估结果，日志中能看到对应的性能结果。

迁移分类 Deepjdot复现步骤                       作者: 褚童，电子科技大学，17361012837本文档是ModelArts AI市场算法迁移分类（以下简称为本算法）的详细使用方法。本算法复现了 deepjdot 中提出的迁移分类算法，实现了从OfficeHome train set到OfficeHome validation set(Acc=50.2%)及VisDA-2017 train set 到 VisDA-2017 validation set (Acc=67.1%)的迁移。 其中VisDA-2017的精度与比赛要求有差异，原因是根据论文描述，其模型在VisDA-2017数据集上的结果应该如图：最右部分是VisDA2017的结果.代码结构：1. 准备数据集本算法包含两个迁移场景，共需要准备两个数据集：OfficeHome和VisDA2017。注意，为方便复现，已经提供了将目录规范化后的数据集，存储在 OBS 中可直接下载，详情见 1.4 节数据组织。1.1 OfficeHome 数据集官网 可以查看数据集具体信息，可点此链接 下载，下载后文件如图所示：1.2 VisDA-2017 可以通过 wget 下载：wget http://csr.bu.edu/ftp/visda17/clf/train.tartar xvf train.tarwget http://csr.bu.edu/ftp/visda17/clf/validation.tartar xvf validation.tarwget https://raw.githubusercontent.com/VisionLearningGroup/taskcv-2017-public/master/classification/data/image_list.txt或者通过 Google Drive 下载: train.tar, validation.tar, test.tar。更多信息参考 taskcv-2017-public。1.4 数据组织最终存储在 obs 中的数据组织方式为：可以通过点击下面链接下载打包好的数据集：·        data，密码为：cdanda1.5 安装OBS Browser+并上传数据集ModelArts使用对象存储服务（OBS）来存储数据，实现安全、高可靠和低成本的存储需求。OBS Browser+是一款用于访问和管理对象存储服务（Object Storage Service，OBS）的图形化工具，支持完善的桶管理和对象管理操作。OBS Browser+的图形化界面可以非常方便地让用户在本地对OBS进行管理，例如：创建桶、上传下载文件、浏览文件等。具体操作步骤如下：（1）点此下载OBS Browser+，下载完成后解压缩，双击exe进行安装，安装完成后运行；（2）登录界面如下图所示，需要您填写账号名、Access Key ID（AK）和Secret Accsee Key（SK），参考此文档，获取AK和SK，华为云上的许多产品都需要用到访问密钥，请妥善保存该密钥文件，然后参考下图填写您的华为云账号名及刚获取的AK和SK，点击登录；（3）参考下图，点击“创建桶”，输入桶名称，注意：区域要选择华北-北京四、标准存储、私有、关闭多AZ，桶名需自定义，OBS桶名要全局唯一，如提示桶名已存在，则需要您修改为其他名称，比如本文设置桶名为paper-reproduction-01。您设置的桶名必须与此不同，如在下文的操作指导中看到paper-reproduction-01，请主动将桶名替换为您自己的桶名，下文将不再进行提示；（4）点击桶名称，进入到桶中，点击“新建文件夹”，输入文件夹名称，如“train_input”，点击进入文件夹，再新建“datasets”，点击“上传”->“添加文件”-> 选择本地下载好的数据集压缩包（之所以选压缩包格式是因为如果数据集比较大，上传压缩包比上传文件夹快很多） –> 确定，如下图所示；（5）点击OBS Browser+左侧的“任务管理”，可查看数据上传进度。如下图所示，点击设置，在基础设置中，设置最大并发数为最大值50，可以加快数据上传速度2. 订阅本算法点击本页面右上方的【订阅】按钮。然后点击页面下方的【下一步】按钮，再点击【确认付款】按钮，最后点击【确定】按钮进入我的订阅页面，可以看到刚刚订阅的算法。点击【应用控制台】超链接，选择华北-北京四区域，进入算法管理页面。如下图所示，点击“同步”按钮，同步算法，可以点击刷新按钮，刷新状态。当状态变成就绪时，表示同步成功。3. 创建训练作业点击上图中的“创建训练作业”，按照下表填写训练作业参数：如果使用分享的整理好的数据集则可以将is_repo设为true，只指定source和target的简称以及root参数为./data即可，否则需要分别指定训练集的源域、目标域和测试集。数据文件在OBS放至同一个文件夹并将其路径传入为data_url，训练时会复制到路径为当前相对路径./data/。OfficeHome数据集的12个任务请传入以下参数：data_url=OBS中分享的3个压缩包的路径train_url=OBS训练结果输出目录batch_size=128num_iter=20000lr=0.001data_path=./datadataset=office-homesource=源域全称：Art, Clipart, Product, Real worldtarget=目标域简称： Art, Clipart, Product, Real worldnet=vgg16tloss=1.2sloss=1.0alpha=0.003Visda2017数据集的1个任务请传入以下参数：data_url=OBS中分享的3个压缩包的路径train_url=OBS训练结果输出目录batch_size=128num_iter=20000lr=0.001data_path=./datadataset=visdasource=traintarget=validationnet=resnet50tloss=1.2sloss=1.0alpha=0.003dataaug=0注意根据原论文结果，Office-home数据集不使用数据增强，visda-2017数据集使用数据增强，在使用自己数据集时，建议数据量充足的情况下使用dataAugment 注意，data_url 参数所对应的 OBS 数据目录包含两个数据压缩包，即：点击下一步，提交，训练作业的状态会经历“初始化”、“部署中”、“运行中”和“运行成功”四个状态。训练作业运行成功后，在上表中指定的“模型输出”路径下会自动生成model目录，该目录下有模型文件、ModelArts平台推理脚本（config.json、customize_service.py）和其他运行模型必备的文件。训练完成后可在训练日志中看到实验评估结果。4. 模型导入准备好模型及相关的必备文件后，您可以将生成的模型导入至ModelArts模型管理。具体操作如下：（1）在ModelArts控制台的左侧导航栏点击“模型管理” -> “模型”，点击右侧页面中的“导入”。在导入模型页面填写名称，选择元模型来源，可以直接从训练中选择，也可以从OBS中选择。如果是从OBS中选择，则需要选择到model目录的上一级目录；例如，本次可选择的目录为obs://paper-reproduction-01/algorithms/train_output，如下图所示：注意：选择好元模型路径后，“AI引擎”会自动填充。如未能自动填充，请检查元模型路径是否是model目录的上一级目录，或者model目录下是否包含模型配置文件config.json。（2）点击“立即创建”，需要一点时间来等待模型导入和构建，当模型版本状态为“正常”后，即表示模型导入成功。5. 创建在线服务在ModelArts上，可以将模型部署为在线服务，然后上传图片进行预测，直接在网页端观察预测结果。部署为在线服务具体步骤如下：（1）在ModelArts左侧导航栏中选择“部署上线 -> 在线服务”，然后点击页面中的“部署”；（2）在部署页面填写参数，其中在“模型列表”选择要导入的模型及版本，计算节点规格选择CPU即可；（3）点击“下一步”，参数确认无误后，点击“提交”。提交后，您可以在在线服务列表中查看部署进度，当状态变为“运行中”后，点击服务名称，进入详情页面，点击“预测”，上传图片进行测试。6. 创建批量服务在ModelArts上，还可以将模型部署为批量服务，从OBS加载测试集图片进行预测，然后将预测结果输出到OBS。部署为批量服务具体步骤如下：（1）在ModelArts左侧导航栏中选择“部署上线 -> 批量服务”，然后点击页面中的“部署”；（2）在部署页面填写参数，其中在“模型列表”选择要导入的模型及版本，填写输入数据目录和输出数据目录，计算节点规格选择“CPU 2核 8GB”，计算节点个数设为1；（3）点击“下一步”，参数确认无误后，点击“提交”。提交后，您可以在批量服务列表中查看部署进度，当状态变为“运行中”后，表示正在预测中，当状态变为“运行完成”，表示这批图片已经预测结束，预测结果是一批txt文件，保存在上图指定的OBS输出数据目录位置中，可以前往该目录查看结果。7. 模型评估参考本文第2节中的步骤，创建“训练作业”，设置 eval 参数为 1，并设置 load_weight 参数为模型地址，如：obs://paper-reproduction-01/algorithms/train_output/xxxxxx.pth 会在对应的输出目录生成评估结果。在 train_url 所对应的 OBS 目录下，会生成对应的评估结果，日志中能看到对应的性能结果： 

ModelArts 社区开发者成长路线ModelArts 快速上手ModelArts 系列课程ModelArts开发资源ModelArts：一站式AI开发平台AI 全栈计划基础篇ModelArts 官方开发文档AI 全栈计划进阶篇ModelArts 精品FAQ汇总ModelArts 快速入门文档AI 全栈计划应用篇 ModelArts 新特性及配套案例华为云 AI 实战营ModelArts-Lab GiteeModelArts 社区优质活动推荐MDG 及AI 创新沙龙《基ModelArts   OCR文字识别SQLite数据库管理》暨华为云MDG重庆站首秀 AI 创新开发者沙龙—在武大樱花下写防疫课观后感基于ModelArts的交通标志识别及其在无人车系统中的应用“如何转型搞AI”圆桌论坛高精地图3D目标检测DevRun 开发者沙龙下一代 AI：自监督 VS 有监督，谁更胜一筹？基于ModelArts与HiLens的智能塔台监控防护系统解决方案基于ModelArts与HiLens端云协同开发行人检测与跟踪方案北京老炮儿旭哥说AI：谈谈企业级AI开发平台普惠AI风口之下传统企业的转型之路AI Gallery-开发者学习·交流·实践HDC.Cloud 2020基于华为云AI平台开发口罩智能识别方案强化学习的落地实践华为诺亚方舟实验室在AutoML的技术成果分享基于ModelArts的AI应用开发调参及模型优化实践ModelArts平台上使用MindSpore实现ResNet50训练速度翻倍2020 AI 实战营2020年华为云AI实战营课程2020年华为云AI实战营活动汇总【直播回放】第1章-图像分类【直播回放】第2章-物体检测  【直播回放】第3章-图像分割  【直播回放】第5章-OCR  【直播回放】第6章-视频分析 【直播回放】第7章-NLP 【直播回放】第8章-语音识别 2020 AI 全栈计划2020年AI全栈成长计划活动汇总AI全栈成长计划-AI基础篇课程AI全栈成长计划-AI进阶篇课程AI全栈成长计划-AI应用篇课程【直播回放】零基础入门AI 零代码开发模型【直播回放】BUFF加持，ModelArts助你进阶炼丹师！【直播回放】ModelArts+HiLens   端云协同应用开发实战【直播回放】乘风破浪，一名合格AI打工人的学习之路2020 Qcon 上海王俊：MindSpore-端边云统一训练和推理的AI计算框架白小龙：ModelArts-全流程加快AI应用开发和部署夏飞：HiLens-端云协同多模态AI应用开发和实践朱声高：ModelArts Pro-在行业多模态AI开发的应用实践2020年十佳论坛帖2020年十佳博文【基于ModelArts】带你零代码开发检测口罩是否佩戴的模型医学与AI的结合（一）：如何基于ModelArts自动机器学习完成心脏病预测模型华为云“云上先锋”·AI主题赛（垃圾分类）-Top7复盘（转发自第7名获奖选手的分享）【手摸手学ModelArts】传说中的“云毕业照“，先睹为快!用ModelArts轻松玩转Python正则表达式和魔法方法难例挖掘助力ModelArts AI开发平台完成全流程闭环和大家一起讨论一下在modelarts操作中最容易遇到哪些问题ModelArts在数据标注、数据过滤上的“奇技淫巧”：自动分组ModelArts精品FAQ汇总数据风格变换：ModelArts的数据域迁移功能ModelArts开发速成，看这里！！（快速入门、进阶学习资料、开发案例、开发者活动等）【吃螃蟹的程序猿】ModelArts-AI市场算法，断点训练(Resume Training)和迁移学习(Finetuning）【每天进步一点点】基于ModelArts AI市场算法MobileNet_v2实现花卉分类，支持CPU、GPU、Ascend推理告别夏日空调，用华为云ModelArts训练AI鬼故事生成器，0成本打造降温神器【AI实战营】第五章OCR延伸学习材料【乘风破浪的开发者】华为云云享专家胡琦：快快使用ModelArts，零基础也能玩转AI！手把手教你用ModelArts基于YOLO V3算法实现物体检测Demo分享 | 当自动驾驶遇到ModelArts，ModelArts AI Gallery与HiLens Kit开发业界广泛流传一句话：数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已开发教程 |基于ModelArts的视频全量目标分析和建模案例分析2020年最受欢迎活动2020年最佳版主2020华为云AI实战营运气男孩主页 | 关注人工智能全栈成长计划向云而生1024程序员节云筑2020年终盛典：云上会考AI考场AI创意案例大PKModelArts 社区 2020 全面回顾请点击查看：【ModelArts 社区】2020我们茁壮成长《攀登AI之峰》致敬每一位AI 开发者，恭祝大家牛年勇攀高峰！(点击即可播放）新年福利来啦！本帖回复你想对 ModelArts 社区想说的话（文字中需含“ModelArts社区”关键字），如：学 AI 就上 ModelArts 社区，即可参与福利活动。获奖规则：楼层的的 5%、10%、15%、20%、25%、30%......95% 即可获得ModelArts书籍盖楼数排名前20送ModelArts社区大礼包（含 ModelArts 定制版限量口罩、笔记本、卫衣、贴纸、鼠标垫、ModelArts书籍等），相同楼层按照发帖顺序，最早的获得活动规则：参与用户必须体验或访问过 ModelArts 才可参与活动：点击访问 ModelArts 成功即可，否则视为无效参与；活动时间：即日起至2月27日00:00；活动结束后5日内公布详细结果，公示期3天，公示期结束开始兑奖，一般15个工作日左右完成发放，但可能会有所延长；所有奖品都是活动结束后，统一收集并确认信息后进行发放，活动奖品颜色随机，且部分奖品数量有限发完即止；因奖品采购时间、批次产生的差异属正常情况，如奖品库存不足将进行同价位奖品调换，介意者谨慎参与活动；如发现使用他人身份恶意重复报名活动，或采取机器批量注册/虚拟手机号注册/购买账号等恶意注册行为进行违规行为，华为云AI社区有权取消相应人员的活动参与权利，并收回相关奖励；所有的获奖账号必须在领取奖品之前就完成实名认证，且实名账号必须与参与活动的账号为同一个，同一实名账号仅可参与此活动一次。本次活动所有回帖内容需满足华为云论坛发帖规范：https://bbs.huaweicloud.com/forum/thread-23077-1-1.html。ModelArts 社区祝大家新年快乐，万事如意，代码无Bug！获奖公告：（因存在有人恶意刷帖，华为云论坛自动屏蔽，导致部分楼层断层，在活动基础上新增用户排序让真实的用户也能获得奖品）楼层排序楼层比例楼层中奖楼层（四舍五入）中奖账号奖品6135%30.6531zhengguixiangModelArts书籍61310%61.361多米诺的古牌ModelArts书籍61315%91.9592#N/AModelArts书籍61320%122.6123hispchomeModelArts书籍61325%153.25153疫情快快结束ModelArts书籍61330%183.9184#N/AModelArts书籍61335%214.55215#N/AModelArts书籍61340%245.2245#N/AModelArts书籍61345%275.85276#N/AModelArts书籍61350%306.5307#N/AModelArts书籍61355%337.15337#N/AModelArts书籍61360%367.8368#N/AModelArts书籍61365%398.45398#N/AModelArts书籍61370%429.1429#N/AModelArts书籍61375%459.75460#N/AModelArts书籍61380%490.4490#N/AModelArts书籍61385%521.05521麻衣ModelArts书籍61390%551.7552精彩无限ModelArts书籍61395%582.35582精彩无限重复 顺延下一位tzywwModelArts书籍用户排序正常通过审核用户数比例楼层（四舍五入）中奖楼层中奖账号奖品775%3.854离人上千秋ModelArts书籍7710%7.78加油O幸福ModelArts书籍7715%11.5512HW-QGSModelArts书籍7720%15.415拓佑ModelArts书籍7725%19.2519胡琦ModelArts书籍7730%23.123沈云ModelArts书籍7735%26.9527zhengyong134ModelArts书籍7740%30.831zgx1636964790ModelArts书籍7745%34.6535Hello DiggerModelArts书籍7750%38.539倪平宇ModelArts书籍7755%42.3542元气满满的少女月ModelArts书籍7760%46.246多米诺的古牌ModelArts书籍7765%50.0550云宝的小hModelArts书籍7770%53.954十年树木ModelArts书籍7775%57.7558listen2youModelArts书籍7780%61.662gudengModelArts书籍7785%65.4565夏暖ModelArts书籍7790%69.369麻衣ModelArts书籍7795%73.1573wcrw129ModelArts书籍大礼包用户（盖楼用户较少，只有两名用户参与）25张辉大礼包2RabbitCloud大礼包请上面获奖用户在2021年3月11日24点前反馈问卷，邮寄时间问卷截止后一周。问卷地址：https://devcloud.huaweicloud.com/expert/open-assessment/qtn?id=03ac5527840047a3a5a03d22d18cea22

ModelArts服务工作空间使用指导1      目的此文档的目的是希望能够通过ModelArts服务工作空间功能帮助客户完成在教育行业中的部分场景。如老师(管理者)给学生(使用者)配置权限、分配独立的工作空间给学生使用、管理学生的工作空间，管理学生工作空间的配额；而学生仅能使用分配给自己的工作空间，并在此工作空间创建作业、模型、服务等；不同工作空间不会相互干扰。2      前置条件前置条件：1.       创建学生用户组student-group并创建IAM子用户（如：test1、test2）加入到此用户组2.       将主账号作为老师账号(管理账号)3.       需要开通的服务：ModelArts服务、IAM 统一认证服务、OBS 对象存储服务4.       ModelArts的工作空间目前灰度开放，可通过工单的方式提供华为云账号和使用的区域（如北京四）进行开通。3      具体步骤通过此章节达到如下目的：1.     老师管理学生工作空间2.     学生仅可使用老师分配的工作空间，无法使用其他学生的工作空间3.     学生无法管理工作空间，包括修改、删除老师分配的工作空间4.     学生在工作空间内使用的资源受配额控制，并且学生无法修改配额5.     学生仅能使用老师分配的OBS目录，无法使用其他目录（可读不可写）3.2   用老师账号（管理者）登录华为云注意后续操作均由老师账号进行操作。3.3   新增细粒度策略student-policy策略此策略的作用是禁止学生去管理工作空间和专属资源池。步骤：统一身份认证服务->权限->创建自定义策略{    "Version": "1.1",    "Statement": [        {            "Action": [                "modelarts:workspace:create",                "modelarts:workspace:delete",                "modelarts:workspace:update",                "modelarts:workspace:updateQuotas",                "modelarts:pool:create",                "modelarts:pool:delete",                "modelarts:pool:update"            ],            "Effect": "Deny"        }    ]}几个细粒度权限的作用，如还需要限制更多操作，请参考如下链接：https://support.huaweicloud.com/api-modelarts/modelarts_03_0146.html"modelarts:workspace:create",# 禁止用户创建新的工作空间使得能够使用更多资源"modelarts:workspace:delete",# 禁止删除工作空间"modelarts:workspace:update",# 禁止更新工作空间，避免去修改名称等等"modelarts:workspace: updateQuotas", # 禁止修改使用配额，避免通过修改配额使用更多资源"modelarts:pool:create", # 禁止创建专属资源池"modelarts:pool:delete", # 禁止删除专属资源池"modelarts:pool:update" # 禁止修改专属资源池3.4   新增细粒度策略modelarts-obs-policy策略此策略的作用是学生使用ModelArts服务要求的OBS的权限。步骤：统一身份认证服务->权限->创建自定义策略 具体策略内容从ModelArts官方文档获取：https://support.huaweicloud.com/engineers-modelarts/modelarts_23_0080.html3.5   给用户组student-group绑定策略统一身份认证服务->用户组->权限配置配置全局服务-modelarts-obs-policy（IAM策略需要等10-15分钟才能在OBS侧生效）配置具体Region如：北京一-cn-north-1-student-policy策略  3.6   配置ModelArts授权需要在ModelArts上配置授权，否则无法使用ModelArts功能。ModelArts首页->全局配置->访问授权。推荐通过【自动创建】创建默认委托，并给【所有IAM用户(包括自己)】配置授权。3.7   给学生test1、test2分配工作空间创建一个给test1子用户用的工作空间同理给test2创建一个ws-sutdent-test23.8   配置工作空间配额配置工作空间的配额可以限制学生在此工作空间的资源使用量，从而达到控制资源费用的目的。新创建的工作空间默认对使用配额无限制。如想限制学生只能使用1个小时的P100 GPU规格的Notebook，则可以将[开发环境GPU规格使用时长]设置成60分钟。3.9   配置OBS权限目的是让学生仅能操作自己所属的桶或者目录。比如：test1用户仅能使用obs://student-workspace/student-test1test2用户仅能使用obs://student-workspace/student-test2给test1用户配置obs://student-workspace/student-test1的所有权限配置对象策略->自定义模式->动作->选择[*](所有权限) 同理给test2配置obs://student-workspace/student-test2的所有权限在桶权限处可查看已配置的策略3.10     test1用户验证登录IAM用户-test1检查点：1.     观察界面可切换工作空间列表仅有3.5分配的工作空间sutdent-test1-ws2.     可在此工作空间内创建自动学习、开发环境等3.     无法创建、删除、修改工作空间4.     无法在其他OBS路径下创建新文件或者利用其他OBS路径创建资源或者创建出来的资源无法正常使用3.11     test2用户验证登录IAM用户-test2。检查点：1.     观察界面可切换工作空间列表仅有3.7分配的工作空间sutdent-test2-ws2.     可在此工作空间内创建自动学习、开发环境等3.     无法创建、删除、修改工作空间4.     无法在其他OBS路径下创建新文件或者利用其他OBS路径创建资源或者创建出来的资源无法正常使用4      FAQ4.1   进入创建训练作业界面提示【SMN.0001 : 没有请求资源的权限】此权限用于SMN通知用户作业状态变化，对于学生角色完全不需要此权限，故可忽略此次错误。 4.2   配置的权限没有生效权限会在服务端缓存一段时间。比如OBS服务端会缓存5分钟，ModelArts服务端会缓存30秒。配置后请耐心等待。

本文档是ModelArts AI Gallery算法TinyBert（以下简称为本算法）的详细使用方法。本算法使用GLUE任务下MRPC数据集中的train集和dev集，使用train集训练，在MRPC dev集上测试达到了0.8489的准确率。准备数据集（需根据具体算法修改）1.1 下载GLUE数据集（需根据具体算法修改）下载用于特定任务，知识蒸馏的GLUE数据集。数据下载：参考 download_glue_data.py数据增强：参考 Pretrained-Language-Model/TinyBERT at master · huawei-noah/Pretrained-Language-Model (github.com) 下的data_augmentation.py。将数据集文件从 json 格式转换为 tfrecord 格式，请参阅BERT 存储库下的run_classifier.py 处理完成后，数据的文件目录如下：MRPC/├── dev│    └── MRPC-dev.tfrecord└── train|    └── MPRC-train.tfrecord ├── schema.jsonschema.jsom样例：{     "datasetType": "TF",     "columns": {         "input_ids": {         "type": "int64",         "rank": 1,         "shape": [128]     },     "input_mask": {             "type": "int64",             "rank": 1,             "shape": [128]         },     "segment_ids": {             "type": "int64",             "rank": 1,             "shape": [128]         },     "label_ids": {             "type": "int64",             "rank": 1,             "shape": [1]         }     } }1.2 安装OBS Browser+并上传数据集ModelArts使用对象存储服务（OBS）来存储数据，实现安全、高可靠和低成本的存储需求。OBS Browser+是一款用于访问和管理对象存储服务（Object Storage Service，OBS）的图形化工具，支持完善的桶管理和对象管理操作。OBS Browser+的图形化界面可以非常方便地让用户在本地对OBS进行管理，例如：创建桶、上传下载文件、浏览文件等。具体操作步骤如下：（1）点此下载OBS Browser+，下载完成后解压缩，双击exe进行安装，安装完成后运行；（2）登录界面如下图所示，需要您填写账号名、Access Key ID（AK）和Secret Accsee Key（SK），参考此文档，获取AK和SK，华为云上的许多产品都需要用到访问密钥，请妥善保存该密钥文件，然后参考下图填写您的华为云账号名及刚获取的AK和SK，点击登录；（3）参考下图，点击“创建桶”，输入桶名称，注意：区域要选择华北-北京四、标准存储、私有、关闭多AZ，桶名需自定义，OBS桶名要全局唯一，如提示桶名已存在，则需要您修改为其他名称，比如本文设置桶名为paper-reproduction-01。您设置的桶名必须与此不同，如在下文的操作指导中看到paper-reproduction-01，请主动将桶名替换为您自己的桶名，下文将不再进行提示；（4）点击桶名称，进入到桶中，点击“新建文件夹”，输入文件夹名称，如“train_input”，点击进入文件夹，再新建“datasets”，点击“上传”->“添加文件”-> 选择本地下载好的数据集压缩包（之所以选压缩包格式是因为如果数据集比较大，上传压缩包比上传文件夹快很多） –> 确定，如下图所示；（5）点击OBS Browser+左侧的“任务管理”，可查看数据上传进度。如下图所示，点击设置，在基础设置中，设置最大并发数为最大值50，可以加快数据上传速度2. 订阅本算法点击本页面右上方的【订阅】按钮。然后点击页面下方的【下一步】按钮，再点击【确认付款】按钮，最后点击【确定】按钮进入我的订阅页面，可以看到刚刚订阅的算法。点击【应用控制台】超链接，选择华北-北京四区域，进入算法管理页面。如下图所示，点击“同步”按钮，同步算法，可以点击刷新按钮，刷新状态。当状态变成就绪时，表示同步成功。3. 创建训练作业（需根据具体算法修改）点击上图中的“创建训练作业”，按照下表填写训练作业参数：参数名参数值算法名称默认值即可，无需修改数据来源数据存储位置，选择obs://paper-reproduction-01/algorithms/train_input/MRPC/模型输出选择obs://paper-reproduction-01/algorithms/train_outputdo_traintrueevalfalsedata_urlobs://paper-reproduction-01/algorithms/train_input/MRPC/train_urlobs://paper-reproduction-01/algorithms/train_outputoutput_urlobs://paper-reproduction-01/algorithms/train_outputtd_phase1_epoch_size100td_phase2_epoch_size30lr1e-5load_weighttrained_model/model/tinyBERT_4L_MRPC_mindspore1.1.1.ckpt作业日志路径选择资源池公共资源池规格modelarts.kat1.xlarge，或者根据自己的需要进行选择计算节点个数1点击下一步，提交，训练作业的状态会经历“初始化”、“部署中”、“运行中”和“运行成功”四个状态。训练作业运行成功后，在上表中指定的“模型输出”路径下会自动生成model目录，该目录下有模型文件、ModelArts平台推理脚本（config.json、customize_service.py）和其他运行模型必备的文件。4. 模型导入准备好模型及相关的必备文件后，您可以将生成的模型导入至ModelArts模型管理。具体操作如下：（1）在ModelArts控制台的左侧导航栏点击“模型管理” -> “模型”，点击右侧页面中的“导入”。在导入模型页面填写名称，选择元模型来源，可以从OBS中选择。如果是从OBS中选择，则需要选择到model目录的上一级目录；例如，本次可选择的目录为obs://paper-reproduction-01/algorithms/train_output，如下图所示：5. 创建在线服务在ModelArts上，可以将模型部署为在线服务，然后上传图片进行预测，直接在网页端观察预测结果。部署为在线服务具体步骤如下：（1）在ModelArts左侧导航栏中选择“部署上线 -> 在线服务”，然后点击页面中的“部署”；（2）在部署页面填写参数，其中在“模型列表”选择要导入的模型及版本，计算节点规格选择Acend即可；（3）访问在线服务。虽然本模型是按照“Ascend 910 Mindspore模板”导入，并且输入输出模式设置为“未设定”模式。但是为了便于处理，post请求接口还是需要符号一定的规范。"apis": [         {             "protocol": "https",             "url": "/",             "method": "post",             "request": {                 "Content-type": "multipart/form-data",                 "data": {                     "type": "object",                     "properties": {                         "dev-tsv": {                             "type": "file"                         }                     }                 }             },             "response": {                 "Content-type": "multipart/form-data",                 "data": {                     "type": "object",                     "properties": {                         "accuracy": {                             "type": "list",                             "items": [                                 {                                     "type": "string"                                 }                             ]                         },                         "preds": {                             "type": "list",                             "items": [                                 {                                     "type": "string"                                 }                             ]                         }                     }                 }             }         }     ]request请求需要提供一个名为dev-tsv的文件（本例中即为GLUE数据集下MRPC任务的dev.tsv），response会返回预测的accuracy（正确率）、以及preds（预测的类别）。D为了访问在线服务，首先需要获取IAM用户Token、或者通过Postman获取用户Token然后就可以，访问在线服务（Token认证）、下图即为通过Postman软件，向在线服务发送post请求，并获得response的结果。用户如果熟悉命令行工具，也可使用curl命令发送post请求。（3）点击“下一步”，参数确认无误后，点击“提交”。提交后，您可以在在线服务列表中查看部署进度，当状态变为“运行中”后，点击服务名称，进入详情页面，点击“预测”，上传GLUE/MRPC/dev.tsv 进行测试。6. 模型评估参考本文第2节中的步骤，创建“训练作业”，按照下表设置训练参数：参数名参数值算法名称默认值即可，无需修改数据来源数据存储位置，选择测试集所在路径，如obs://paper-reproduction-01/algorithms/train_input/MRPC模型输出选择obs://paper-reproduction-01/algorithms/train_outputdo_trainfalseevaltrue data_urlobs://paper-reproduction-01/algorithms/train_input/MRPCtrain_urlobs://paper-reproduction-01/algorithms/train_outputload_weighttrained_model/model/tinyBERT_4L_MRPC_mindspore1.1.1.ckpt

数据分析对数据整体的统计分析，以及对单个数据进行细粒度分析诊断，才可以更加深入地了解数据，及时发现更深层次的问题并优化1，数据集特征分析和优化特征分析主要是更快速方便的了解数据集的特点，并制定后续的优化和处理方案，ModelArts特征分析模块主要支持特征，分辨率，图像亮度，图像饱和度，清晰度，图像色彩丰富等常规图像特征，面积标准度，堆叠度等选择数据集版本，在选择类型，在根据自己需要的指标进行查看选择自己需要的数据集版本选择类型清晰度图片高度比分辨率图像亮度图像彩色的丰富程度图片的饱和程度全选

在完成第一轮epoch训练之后，报错如下： 【日志信息】（可选，上传日志内容或者附件）

MDG 是 ModelArts Developer Groups 的缩写。MDG 是由 ModelArts 开发者和志愿者共同发起的公益性开发者社区组织，面向人工智能，聚焦 AI 技术开发，连接 ModelArts 众多开发者。大家可以在 MDG 学习交流、分享技术及案例，帮助大家提升价值，发掘机会，一起共建我们自己的 AI 开发者生态圈。 MDG 秉承开放、创新、多元的社区文化，目前已在北京、上海、杭州、重庆、武汉；西南交大，上海交大等多地/多所高校都建立了社区组织。自 2019 年12月起陆续开展了多次线上、线下活动。许多开发者正是参与了华为云 ModelArts 的相关活动后，申请加入MDG志愿者组织，从而更深入地了解华为云一站式AI开发平台 ModelArts。2020.12月19日，MDG联合HDZ在杭州举办人工智能与ModelArts专题技术交流会，欢迎各位开发中伙伴前来交流沟通！同时，欢迎大家加入MDG杭州站的社区行列，一起共建属于AI开发者的生态圈！时间：2020.12.19，13:00 - 16:30地址：杭州市滨江区东信大道66号东方通信科技园二号楼一楼多功能厅备注：建议参会伙伴带电脑参会！

2020年12月22日晚上七点，华为云MDG 【中国矿业大学站】成立首秀：《基于ModelArts的视频全量目标分析和建模》在中国矿业大学计算机学院A501成功举办！本次MDG矿大站AI开发者沙龙活动邀请到了来自华为的林旅强专家、许银老师、晁倩老师，来自知途的丁晓磊老师，以及计算机学院的赵佳琦副教授、杜文亮博士。吸引了来自计算机科学与技术学院70余名本科生、研究生的热情参与。在活动现场，钟昱丰学长深入浅出、形象生动地为大家讲解了他获得全国软件杯二等奖的项目，给中国矿业大学AI爱好者们带来了一场别开生面的AI讲座。活动伊始，张迪学长声情并茂地向到场同学们介绍了MDG社区，华为云ModelArts。到场同学们均被张迪学长热情洋溢的演讲所吸引，对自己能实现一个AI项目充满了期待。紧接着，MDG矿大站AI讲师钟昱丰以《基于ModelArts的视频全量目标分析和建模》代码开发案例让同学们线下实际感受华为云ModelArts的代码开发流程。耐心细致的讲解让不少同学都能参与到活动中来，实现自己的AI“处女秀”。到了实操与交流环节，大家更是积极活跃，面对讲师的提问，同学们争先恐后，发表自己的意见和想法，将活动推向了高潮。然后，张迪学长开始了MDG社区招募，在详细介绍志愿者权益和职能后，同学们纷纷加入到MDG矿大站技术交流群中，希望自己能更多的参与到社区活动中。然后是华为云AI生态开发者专家林旅强老师为矿大站成立致辞，分享了自己与华为云的故事，鼓励大家更多地参与到社区的分享中来，成就自己！活动尾声，林旅强专家将MDG旗帜授予MDG矿大站核心负责人的手中，代表了MDG矿大站的正式成立。希望今后，MDG矿大站可以做更多有益的活动，推动AI的发展。本次活动是MDG【矿大站】的成立首秀，社区的成立是为了让更多的AI开发者们有一个交流的平台，让更多的人可以感受到AI的力量。成立不是目标，我们会在以后的时间中，做更多有益的分享，欢迎扫码加入我们          

拿上电脑，让我们共同开启MDG广西大学站首秀！2020年12月26日（星期六）晚上7：30--8：30***我们在计电学院一楼活动厅等候你的到来***本次线下活动主要介绍ModelArts平台在数据处理以及预测方面的应用。我们通过分享2020年广西大学生人工智能设计大赛第五赛道AI建模比赛赛题——《沪深 20 指数预测》作为实战案例，带领大家一同学习和使用ModelArts来进行股票指数的预测问题。相信通过这次活动，同学们可以进一步切身体会到ModelArts的美妙和人工智能技术在实际生活中的强大作用。· 结识一群对人工智能技术志同道合的同学与朋友· 相识ModelArts，相遇MDG广西大学站· 亲身体验基于ModelArts平台零到入门的实践体验· 了解人工智能技术如何在金融领域深入挖掘分享嘉宾：易伟建主持人：张铭达时间：2020.12.26（星期六）  19.30-20.30地点：广西大学计电学院一楼活动厅面向人群：在校学生、人工智能开发者、IT从业者（PS：只要现在在屏幕前对此次活动心动的你，均可参加！）活动要求：凡参会者需要最好带上电脑，一起跟着讲师进行实操学习 本次活动的议程为: 1.MDG社区介绍 2.老师代表讲话 3.讲师分享案例 4.观众实操训练 5.MDG西大站成立授旗仪式 6.合影留念在本次活动中，您将获得：· 共同开启华为云MDG广西大学站首秀～；· 了解基于ModelArts对沪深 20 指数进行走势预测的AI实践案例；·  学习如何使用华为云ModelArts AI开发工具来实现实际生活中的人工智能技术；·  互动抽奖，领取有ModelArts专属活动礼品。

ModelArts控制台商超物品检测结果打卡，感觉预测结果不怎么样

数据标注现今大多数人工智能算法依旧是依赖监督学习，所以数据标注非常重要1，标注任务分类（与实际场景密切相关），比如，图像分类标注，目标检测标注，图像分割标注，点云标注ModelArts通用标注工具，矩形框，多边形，圆形，点，线等常用的文本相关标注任务如，文本分类标注，命名体识别标注，三元组标注，词法分析标注，命名体识别标注，机器翻译标注等如上百万张图像大量的图像数据标注，不仅费时而且消耗大量的人力成本及资源，为了减少标注消耗的时间同时降低标注成本，ModelArts在标注中加入了机器学习技术并为标注者提供了智能数据标注服务1，基于主动学习的智能数据标注标注者仅需少量的数据作为训练集来训练模型，再用训练好的模型对未标注的数据进行推理2，交互式智能标注（1，交换式目标检测注  2，交换式分割标注 3，交换式视频标注 4，其他交换式智能标注）