联盟全部联盟华为云大赛技术圈话题详情返回列表 上一篇 下一篇总条数：5  1 回复话题 发表话题删除主题| 升降| 置顶| 高亮| 精华| 图章| 图标| 分类| 修复| 警告| 屏蔽| 标签| 生成文章|大赛技术圈角色：成员话题：202发消息发表于2021年11月23日 08:03:24 阅读509回复4 楼主 倒序浏览只看该作者[讲座&活动公告]【打卡贴】开发者青年班ModelArts 动手实践 AI 开发实践课（图像目标检测课程＋实践）课程内容：图像目标检测课实践内容：图像目标检测(入门版、进阶版)入门实践：https://marketplace.huaweicloud.com/markets/aihub/notebook/detail/?id=5b1a8f83-9ca3-432a-80b9-0dc732ba1b53进阶实践：https://marketplace.huaweicloud.com/markets/aihub/notebook/detail/?id=95e3bd68-aa3e-4bfa-b6d2-c2ea8808b57b【打卡说明】完成任务后在此帖下方按要求回复打卡内容输入个人华为云账号课程学习进度截图两个实践完成截图以上三个内容缺一不可哦~【打卡示例】课程学习后，在评论区上传学习进度截图，截图内包含华为云账号示意图：实践完成后，在评论区上传实践截图，如下：注：图片需要截图全屏，包含华为云账号信息。实践示意图：如果点击之后，跳转的页面右上角出现连接或者登陆，请先连接或者登陆，之后需要稍等30s 此案例需要GPU运行，切换规格为GPU，优先选择免费由于实操人数过多，免费规格可能会售罄，此时需要切换到付费规格（一定要确保自己领取了代金券，可以点击此处查看代金券）切换规格完成之后，点击控制台左上角三角形符号开始运行实践代码，具体操作可以参考：JupyterLab的详细用法： 请参考《ModelAtrs JupyterLab使用指导》碰到问题的解决办法： 请参考《ModelAtrs JupyterLab常见问题解决办法》运行完成之后，点击右上角分享按钮：点击此处，可以查看自己完成的实践，并截图 进阶版实践也是一样操作，最终，将此截图提交即可注：在11月23日-11月30日期间完成打卡可算课程完成有效人数，全部完成后可获得青年班结业证书＋获得普惠抽奖资格一次哦~

作为先进的AI算力底座，昇腾AI基础软硬件平台包括Atlas系列硬件、异构计算架构CANN、全场景AI框架昇思MindSpore、昇腾应用使能MindX以及一站式开发平台ModelArts等，助力企业和开发者高效使用AI能力。用通俗的话来讲，昇腾人工智能平台可以使能人工智能计算中心生产“模型”，企业和机构借助“模型”最终生产产品；“模型”应用到手机里，就拥有图像分类等能力；应用到自动驾驶领域，车辆就拥有自动驾驶能力。当前在AI领域，“大模型+大数据+大算力”已成为迈向通用人工智能的一条可能路径。随着全球对人工智能算力需求的持续攀升，为了促进整个产业健康发展，各地政府有必要保障大量中小企业、科研机构获取充足的人工智能公共算力。从具体作用来看，建设人工智能计算中心无疑是一个一举多得的举措。满足基本算力需求后，人工智能计算中心还可以带动人工智能基础研究和共性技术的突破。通过建设新平台，能够为前沿理论研究提供强大算法、数据与算力支撑，为自适应学习、类脑智能计算、量子智能计算等跨领域基础理论提供国际顶尖的研究平台，有效推动技术发展，抢占人工智能科技创新制高点。在帮助产业智能化转型方面，人工智能计算中心可以降低AI的研发、使用门槛，将人工智能企业和优势产业有机结合，使能人工智能技术与产业深度融合，落实国务院《新一代人工智能发展规划》中“推动人工智能规模化应用，全面提升产业发展智能化水平”的要求。

自动学习功能升级为新版，如果您的项目是在旧版中创建，需升级后再使用。未升级的自动学习项目，无法进行数据标注、训练以及部署等操作。说明：预测分析”类型的项目，可以不执行升级，直接使用新版自动学习。升级到新版登录ModelArts管理控制台，在左侧菜单栏中选择“自动学习”，进入“自动学习”项目列表页面。查找您的旧版项目。在“自动学习”列表中，如果项目是旧版的，在项目名称处带有标识，针对此类项目，单击操作列的“升级”。如果您的项目是新版的，则操作列中不存在“升级”按钮。图1 查找旧版项目在弹出的对话框中，设置需保存的“数据集名称”，以及数据集“存储路径”，然后单击“确定”启动升级。图2 升级项目等待项目升级，大概几分钟之后，项目将被升级为新版，项目名称处不再有旧版标识，且操作列不再存在“升级”按钮。

近日，国际数据公司IDC发布 《IDC中国2021H1人工智能公有云服务市场研究报告》 华为云一站式AI开发平台 ModelArts 位居中国机器学习公有云服务市场份额第一 连续三次登上该市场榜首位置 报告指出，在中国机器学习公有云服务市场中，华为云受到政企客户的青睐，在AI云服务市场的竞争优势逐渐凸显。华为云一站式AI开发平台ModelArts可以提供数据处理、算法开发、模型训练、模型管理、模型部署等AI模型开发全流程技术能力；率先支持MLOps；持续构建大模型训练优化能力。同时积极打造开放的AI生态，接入生态开发工具，通过华为云AI Gallery联接AI市场的供、需、学三方，助力解决AI落地时所面临的“AI算力稀缺、AI人才短缺、AI开发难、AI行业应用难”两难两缺难题，推动AI走进千行百业的核心生产系统。面向AI开发者，持续提供硬核黑科技服务 ModelArts人工智能集群服务支持大规模分布式训练。为帮助开发者及企业客户解决训练大模型时面临的技术、成本、资源等挑战，华为云一站式AI开发平台ModelArts提供人工智能集群服务，全场景深度优化，支持大规模分布式训练。从端到端全流程角度看，相比线下开发大模型，基于ModelArts的开发效率可提升4倍以上，并且可以解决超大模型训练的资源可获得性问题。云原生模型开发工具链，助力AI开发效率提升。华为云一站式AI开发平台ModelArts支持将云上资源与开发工具链相结合。面向AI初学者，线上CodeLab支持秒级接入资源，可按需切换；面向深度开发者，支持云上远程开发与自定义开发环境。借助云原生的资源调度，开发者可进一步构筑基于ModelArts云原生的算法开发范式和能力。面向AI生态，搭建“知识”+“实训”的AI开发社区 基于一站式AI开发平台ModelArts，华为云构建了开发者生态社区AI Gallery，这是一个AI资产共享的社交平台，也是“知识”+“实训”的AI开发社区。 AI Gallery汇聚了算法、模型、数据集、工作流等10余种、50000余个AI资产，保障AI开发、应用生态链上的各个参与方都能高效地实现各自的商业价值，降低各行各业开发者在人工智能领域的学习门槛，加速AI的应用实践。面向AI行业落地，全面支持全流程MLOps开发 华为云一站式AI开发平台ModelArts全面支持MLOps，改变了原有分段开发AI模型的流程, 实现全流程自动化的协同迭代开发模式。ModelArts也成为国内首个支持MLOps的AI开发平台。 基于MLOps的理念，华为云一站式AI开发平台ModelArts的Workflow工具提供运行记录、监控、持续运行等功能。通过Workflow工具，实现AI开发、运行及运行后监测的全生命周期管理，加快AI开发到落地的迭代速度，以及效果体验的持续优化。同时，开发者可通过AI Gallery实现Workflow快速构建与能力分享。华为云一站式AI开发平台ModelArts帮助企业实现了AI应用全生命周期管理，大幅提升AI开发效率，加速了AI在千行百业的落地。制造领域，华为云和博世华域基于ModelArts Workflow开发出了刀具状态智能识别Usecase。通过刀具声音识别算法，在保证良品率的情况下，刀具使用效率提升5%以上。基于MLOps理念打造的刀具声音识别Usecase，能够轻松地针对不同刀具甚至其他生产工具进行方案扩展，将声音检测算法应用在更广泛的制造行业状态维护场景；药物研发领域，依托华为云一站式AI开发平台ModelArts与华为云一站式医疗研发平台EIHealth，中国科学院上海药物研究所联合华为云训练了华为云盘古药物分子大模型，赋能全流程的AI药物设计，大幅提升新药研发效率；交通运输领域，深圳机场基于华为云机场智能体快速构建60+调度规则，实现机位分配自动化、智能化，让机场靠桥率提升5%，每年帮助260万旅客免乘摆渡车。转自华为云公众号

基于ModelArts人工智能快速应用开发，声音分类模板开发与文本分类模板开发，自动学习三步骤1，数据准备与图像分类，目标检测相似，在ModelArts自动学习上基于，声音分类，文本分类，创建一个项目，然后将声音分类，和文本分类的数据进行标准2，自动模型分类训练ModelArts利用声音分类与文本分类算法，并根据输入的数据自动训练声音分类模型，文本分类模型，类似于图像分类，训练之前可以配置更多自己需要的参数，增加训练次数等3，应用部署和测试同样的将训练好的模型部署为一个推理服务，类似于图像分类，目标检测，对模型精准度满意后，可进行部署，和在线测试

集成式开发环境IDEhttps://www.huaweicloud.com/product/modelarts/ide.html云原生Notebook服务，快速接入分享案例内容，让AI探索&教学更简单。在ModelArts Studio中统一管理AI开发全流程，提升开发效率，并记录模型构建实验全流程。本地IDE+ModelArts插件远程开发能力，运行环境自定义，云上云下，无缝协同。关键特性ModelArts CodeLab云原生Notebook服务，案例内容秒级接入与分享Serverless化实例管理，资源自动回收免费算力 + 规格按需切换ModelArts StudioAI开发全流程统一管理提升开发效率构建AI应用工作流加速模型迭代记录模型构建实验全流程，提高模型可靠性支持机器学习，深度学习，强化学习，决策优化ModelArts Studio extension for PyCharm and VScode本地IDE+ModelArts插件远程开发能力。贴近开发人员使用习惯云上开发环境，包含AI计算资源，云上存储，预制AI引擎运行环境自定义将开发环境直接保存成为镜像，供训练、推理使用

>【摘要】 本文的主要目的是带想用ModelArts的同学过遍ModelArts的基础功能并部署属于你自己的模型在云上，并且能够本地通过python代码调API的方式在线推理【本文以tensorflow 1.13为例】。本文分享自华为云社区《[手把手教你用ModelArts模型部署上线&在线推理](https://bbs.huaweicloud.com/blogs/313145)》， 作者：苏道。 ## 前言 ModelArts是面向开发者的一站式AI开发平台，为机器学习与深度学习提供海量数据预处理及半自动化标注、大规模分布式Training、自动化模型生成，及端-边-云模型按需部署能力，帮助用户快速创建和部署模型，管理全周期AI工作流。 **本文的主要目的是带想用ModelArts的同学过遍ModelArts的基础功能并部署属于你自己的模型在云上，并且能够本地通过python代码调API的方式在线推理【本文以tensorflow 1.13为例】。** ## 模型部署阶段 ### 1、模型格式要求 因为模型部署在云上需要在AI框架[tf/pytorch/mxnet]上再套一个serving框架，本文主要利用tensorflow框架，上层的serving框架会对tensorflow的saved model形式比较亲和[推理比较快]，所以需要把模型先转成saved model格式的模型，可能的路线是**pb--->saved model / ckpt --->saved model /h5--->saved model**，具体转法同学们可以参考网上的教程~ 最终生成的saved model文件树如下：  variables目录里如下:  值得注意的是，saved model.pb文件只包含了图，不包含权重，权重全部存在了variables目录下，如果同学们转换出来variables里面是空的，pb文件很大，是有问题的，应该是转换代码的问题。 ### 2、配置文件编写 **config.json：** 如下是一个简单的config.json文件的内容，runtime 参数定义运行的ai引擎、和推理的环境，reques参数定义当通过request调用这个api时的格式，需要是form-data还是其他，传的是图片file还是string，response定义了推理完模型后返回给请求的格式，dependency是额外需要的一些依赖环境的配置。 具体的其他场景怎么编写可以参考官网文档：[模型配置文件编写说明_AI开发平台ModelArts_推理部署_推理规范说明_模型包规范_华为云 (huaweicloud.com)](https://support.huaweicloud.com/inference-modelarts/inference-modelarts-0056.html) ``` { "model_type": "TensorFlow", "model_algorithm": "test-resnet", "runtime":"tf1.13-python3.6-cpu", "apis": [{ "protocol": "http", "url": "/", "method": "post", "request": { "Content-type": "multipart/form-data", "data": { "type": "object", "properties": { "sentence": { "type": "string" } } } }, "response": { "Content-type": "applicaton/json", "data": { "type": "object", "properties": { } } } }] "dependencies": [{ "installer": "pip", "packages": [{ "restraint": "EXACT", "package_version": "1.1.5", "package_name": "pandas" }, ``` ### 2、customize_service.py编写 这部分主要是定义模型的数据前处理、后处理和推理的接口，以及返回什么内容应该怎么写，下模板是一个无需前后处理，返回QPS和推理结果、时间的例子，更详细的说明可以参考官方文档：[模型推理代码编写说明_AI开发平台ModelArts_推理部署_推理规范说明_模型包规范_华为云 (huaweicloud.com)](https://support.huaweicloud.com/inference-modelarts/inference-modelarts-0057.html) ```py import logging import threading import numpy as np import os import pandas as pd import tensorflow as tf # 导入tensorflow from PIL import Image from model_service.tfserving_model_service import TfServingBaseService from config import * import time logger = logging.getLogger() logger.setLevel(logging.INFO) class mnist_service(TfServingBaseService): def __init__(self, model_name, model_path): self.ctx = None self.use_time = 0 def _preprocess(self, data): return data def _inference(self, data): print('ready to infer') time_list = [] start_time = time.time() predict_result = self.sess.run(self.model_outputs, feed_dict=self.model_inputs) time_list.append(time.time() - start_time) use_time = np.mean(time_list) result = {} result['output'] = predict_result.tolist() result['aver_use_time'] = use_time result['QPS'] = 1 / use_time return result def _postprocess(self, data): return data ``` ### 3、打包上传OBS 将上述文件按如下图打包到一个文件夹里：  上传OBS:  ### 4、模型部署 选择ModelArts里的模型管理---模型  然后在‘’我的模型‘’里选择‘’导入‘’，然后再模型创建界面中的‘**元模型来源**’选择从**OBS**导入，如下图，除了红框需要选择外，其他配置是读取config.json文件自动配置的，然后点击创建即可完成模型部署：  然后等到模型创建成功： ## 模型上线阶段 选择部署上线---在线服务---部署  选择把模型在什么样的资源下上线[gpu/cpu]，选择刚才部署上去的模型，和版本号（如果多次部署的话），即可创建成功  等待在线服务部署完成会出现，**‘运行中’，便是成功上线了**： ## 本地调用在线服务 这一节来演示如何用本地调用在线服务。 ### 1、获取token 想要在本地远程推理，首先需要获取token，因为请求的时候会验证token，因为不能谁都乱用你的在线服务对吧。获取token的在线方法： https://apiexplorer.developer.huaweicloud.com/apiexplorer/debug?product=IAM&api=KeystoneCreateUserTokenByPassword 具体填写方法： 1、region 选择在线服务上线的区域 2、methods选择password 3、domain name、name、password从右上角个人信息那里的“我的凭证”里，domain name就是账户名, name就是IAM用户名，密码就是账号密码 4、scope 里只需要填写project name即可，如果是在北京4就填写"cn-north-4"，其他就填写其他 具体的官网教程：https://support.huaweicloud.com/api-modelarts/modelarts_03_0004.html   获取的token结果是下图箭头的部分，很长，我们把这个token值存为本地txt文件里【token有效期只有24h】： ### 2、本地代码编写 先在下一个官网代码demo包：https://obs.cn-north-1.myhuaweicloud.com/apig-sdk/ApiGateway-python-sdk.zip 来源于官方：https://support.huaweicloud.com/inference-modelarts/inference-modelarts-0024.html#inference-modelarts-0024__zh-cn_topic_0283244602_section8151659179 打开demo包，文件结构如下图，主要修改main.py文件：  将main.py修改成如下，其中，token.txt是刚才获取token后写在txt文件的那个文件，url地址从在线服务中的API接口地址来，一般是长这个样子：https://xxxxxxxxxxxxx.apig.cn-north-4.huaweicloudapis.com/v1/infers/aaaa-fccc7-dddd-eeee-xxxxx的形式，如下图，请求采用post方法： ```python # coding=utf-8 import requests from apig_sdk import signer if __name__ == '__main__': with open('token.txt', 'r') as token_file: token = token_file.readline() X_Auth_Token = token[:-1] headers = {"content-type": "application/json", 'X-Auth-Token': X_Auth_Token} url = "https://xxxxxxxxxxxxx.apig.cn-north-4.huaweicloudapis.com/v1/infers/aaaa-fccc7-dddd-eeee-xxxxx" r = requests.request("POST", url, data=json_data_dumps, headers=headers, verify=False) resp = requests.request(r.method, r.scheme + "://" + r.host + r.uri, headers=r.headers, data=r.body) print(resp.status_code, resp.reason) print(resp.content) ```  接着运行代码即可~。如果打印的status code =200那么说明请求没问题，值得注意的是，请求的数据需要是json的格式。

# 1. 服务说明 ModelArts在线服务：将训练好的模型通过modelarts在线服务平台部署为一个Web Service服务。对外提供一个标准的Restful API，可使用HTTPS协议访问。 # 2. Api对接前置说明 ## 2.1 确认服务正常 ### 2.1.1 确认服务运行状态 Ⅰ. 在华为云控制台查看已部署的在线服务，确认状态为运行中。  Ⅱ. 进入已运行的在线服务，进入预测功能，进行接口调用。 a.上传图片  b.图片预测  ### 2.1.2 获取token Ⅰ. 请求接口方式：https://support.huaweicloud.com/api-iam/iam_30_0001.html 集成华为SDK：https://sdkcenter.developer.huaweicloud.com/?product=%E7%BB%9F%E4%B8%80%E8%BA%AB%E4%BB%BD%E8%AE%A4%E8%AF%81%E6%9C%8D%E5%8A%A1&language=java Ⅱ 调试过程，可以使用API Explorer 调用统一身份认证服务 KeystoneCreateUserTokenByPassword接口获取IAM用户token： https://apiexplorer.developer.huaweicloud.com/apiexplorer/doc?product=IAM&api=KeystoneCreateUserTokenByPassword # 3. Demo适用服务说明 该服务调用demo适用于Java语言，调用华为云mdoelarts在线服务、APIG等涉及到图片上传的以及返接口返回信息为json串的接口。 # 4. Demo代码 import javax.net.ssl.HttpsURLConnection; import java.io.*; import java.net.URL; /** ** 向华为云上传图片的demo **/ public class UploadImageDemo { public static void main(String[] args) { // 服务器url String modelApi = "https://XXX"; // token String tokenStr = "XXXX"; // 图片的绝对路径 String imageUrl = "C:\\Users\\chuyunwei\\Desktop\\yully.jpg"; // 文件控件名称 String fileParamName = "images"; postData(modelApi, tokenStr, imageUrl, fileParamName); } // 发送post请求 public static void postData(String modelApi, String tokenStr, String imageUrl, String fileParamName) { String boundary = java.util.UUID.randomUUID().toString(); String prefix = "--", linend = "\r\n"; String charset = "UTF-8"; // 数据流 DataOutputStream outStream = null; // 连接 HttpsURLConnection connetion = null; // 读取图片的流 InputStream input = null; try { URL url = new URL(modelApi); connetion = (HttpsURLConnection) url.openConnection(); connetion.setReadTimeout(30 * 1000); // 缓存的最长时间 connetion.setDoInput(true);// 允许输入 connetion.setDoOutput(true);// 允许输出 connetion.setUseCaches(false); // 不允许使用缓存 connetion.setRequestMethod("POST"); connetion.setRequestProperty("connection", "keep-alive"); // 设置以二进制传输数据;multipart/form-data： 每个参数以 --boundary 开始 connetion.setRequestProperty("Content-Type", "multipart/form-data;Charsert=UTF-8;boundary=" + boundary); connetion.setRequestProperty("X-Auth-Token", tokenStr); File file = new File(imageUrl); // 设置内容参数 StringBuilder contentParam = new StringBuilder(prefix).append(boundary).append(linend) .append("Content-Disposition: form-data; name=" + fileParamName + "; filename=" + file.getName() + linend) .append("Content-Type: application/octet-stream; charset=" + charset).append(linend).append(linend); outStream = new DataOutputStream(connetion.getOutputStream()); outStream.write(contentParam.toString().getBytes()); input = new FileInputStream(file); byte[] buffer = new byte[1024]; int len = 0; while ((len = input.read(buffer)) != -1) { outStream.write(buffer, 0, len); } input.close(); outStream.write(linend.getBytes()); // 设置请求结束标志符： 以 --boundary-- 为结束符 byte[] endData = (prefix + boundary + prefix + linend).getBytes(); outStream.write(endData); outStream.flush(); // 获取响应结果流 InputStream connetionInput = connetion.getInputStream(); BufferedReader bufferedReader = new BufferedReader(new InputStreamReader(connetionInput, charset)); // 按行读取响应结果 String line = ""; // 读取响应的结果值 StringBuffer resultBuffer = new StringBuffer(); while ((line = bufferedReader.readLine()) != null) { resultBuffer.append(line); } // 向控制台打印结果 System.out.println(resultBuffer.toString()); } catch (Exception e) { // 打印错误堆栈 e.printStackTrace(); } finally { // 关闭资源 closeResources(outStream, connetion, input); } } // 关闭资源 private static void closeResources(DataOutputStream outStream, HttpsURLConnection connetion, InputStream input) { if (input != null) { try { input.close(); } catch (IOException e) { e.printStackTrace(); } } if (outStream != null) { try { outStream.close(); } catch (IOException e) { e.printStackTrace(); } } if (connetion != null) { connetion.disconnect(); } } } # 5. Demo补充说明 ## 5.1 注释说明 // 服务器url String modelApi = "https://XXX"; // token String tokenStr = "XXXX"; // 图片的绝对路径 String imageUrl = "C:\\Users\\chuyunwei\\Desktop\\yully.jpg"; // 文件控件名称 String fileParamName = "images"; Ⅰ. rl获取，控制台在线服务器调用指南TOP 页获取：  Ⅱ. token，调试过程直接调用： KeystoneCreateUserTokenByPassword接口获取IAM用户token： https://apiexplorer.developer.huaweicloud.com/apiexplorer/doc?product=IAM&api=KeystoneCreateUserTokenByPassword Ⅲ. 图片的绝对路径： 图片存放本地，直接使用本机的绝对路径进行获取。 Ⅳ. 文件控件名称，即为在线服务API输入图片的参数名称：  # 6. 实测结果 ## 6.1 修改配置  ## 6.2 代码调试  调试成功，返回结果。 # 7. 问题记录及解决办法 ## 7.1 服务未启动，运行报错 Ⅰ. 在线服务未启动，调试报错如下，重新启动服务即可正常请求。  ## 7.2 请求报401错误 Ⅰ. 查看错误码，判断401错误为鉴权问题导致，查看modelarts的认证鉴权方式帮助文档。可知请求token时，“auth.scope”的取值需要选择“project”。  Ⅱ. 我的token获取方式：  Ⅲ. Modelart token获取方式：按照如下方式获取token后，请求正常。  # 8. 问题解决渠道说明 ## 8.1 华为云开发者技术支持界面 访问链接：https://support.developer.huaweicloud.com/feedback/#/  ## 8.2 华为云开发者论坛界面 访问链接：https://bbs.huaweicloud.com/forum/forum-1175-1.html 

> 由于模型训练过程需要大量有标签的视频数据，因此在模型训练之前需对没有标签的视频添加标签。通过ModelArts您可对视频添加标签，快速完成对视频的标注操作，也可以对已标注视频修改或删除标签进行重新标注。登录ModelArts管理控制台，在左侧菜单栏中选择数据管理> 数据标注，进入数据标注管理页面。在数据集列表中，基于标注类型选择需要进行标 --- 由于模型训练过程需要大量有标签的音频数据，因此在模型训练之前需对没有标签的音频添加标签。通过ModelArts您可对音频进行一键式批量添加标签，快速完成对音频的标注操作，也可以对已标注音频修改或删除标签进行重新标注。 #### 开始标注 1. 登录ModelArts管理控制台，在左侧菜单栏中选择“数据管理> 数据标注”，进入“数据标注”管理页面。 2. 在数据集列表中，基于“标注类型”选择需要进行标注的数据集，单击标注作业名称进入标注作业标注详情页。 3. 在标注作业标注详情中，展示此标注作业下全部数据。 #### 同步新数据 ModelArts会自动将数据集中新增的数据同步至标注作业，包含数据及当前标注作业支持的标注信息。 为了快速获取数据集中最新数据，可在标注作业详情页的“未标注”页签中，单击“同步新数据”，快速将数据集中的数据添加到标注作业中。 #### 标注音频 标注作业详情页中，展示了此数据集中“未标注”和“已标注”的音频，默认显示“未标注”的音频列表。 1. 在“未标注”页签左侧音频列表中，单击目标音频文件，在右侧的区域中出现音频，单击音频下方 ，即可进行音频播放。 2. 根据播放内容，在下方“语音内容”文本框中填写音频内容。 3. 输入内容后单击下方的“确认标注”按钮完成标注。音频将被自动移动至“已标注”页签。 **图1** 语音内容音频标注  #### 查看已标注音频 在标注作业详情页，单击“已标注”页签，您可以查看已完成标注的音频列表。单击音频，可在右侧的“语音内容”文本框中了解当前音频的内容信息。 #### 修改标注 当数据完成标注后，您还可以进入“已标注”页签，对已标注的数据进行修改。 在标注作业详情页，单击“已标注”页签，然后在音频列表中选中待修改的音频。在右侧标签信息区域中修改“语音内容”文本框中的内容，单击下方的“确认标注”按钮完成修改。 #### 添加音频 除了同步新数据外，您还可以在标注详情页面中，直接添加数据，用于数据标注。 1. 在标注作业详情页面，单击“未标注”页签，然后单击左上角“添加数据”。 2. 在弹出的导入对话框中，选择数据来源、导入方式、导入路径等参数，导入数据。单击确定。 **图2** 导入数据  #### 删除音频 通过数据删除操作，可将需要丢弃的音频数据快速删除。 在“未标注”或“已标注”页面中，选中需要删除的音频，然后单击左上角“删除音频”，在弹出的对话框中，根据实际情况选择是否勾选“同时删除源文件”，确认信息无误后，单击“确定”完成音频删除操作。 说明： 如果勾选了“同时删除源文件”，删除音频操作是将删除对应OBS目录下存储的音频。此操作可能会影响已使用此源文件的其他数据集或数据集版本，有可能导致展示异常或训练/推理异常。删除后，数据将无法恢复，请谨慎操作。

--- 由于模型训练过程需要大量有标签的视频数据，因此在模型训练之前需对没有标签的视频添加标签。通过ModelArts您可对视频添加标签，快速完成对视频的标注操作，也可以对已标注视频修改或删除标签进行重新标注。 #### 开始标注 1. 登录ModelArts管理控制台，在左侧菜单栏中选择“数据管理> 数据标注”，进入“数据标注”管理页面。 2. 在数据集列表中，基于“标注类型”选择需要进行标注的数据集，单击标注作业名称进入标注作业标注详情页。 3. 在标注作业标注详情中，展示此标注作业下全部数据。 #### 同步数据源 ModelArts会自动从数据集输入位置同步数据至数据集详情页，包含数据及标注信息。 为了快速获取OBS桶中最新数据，可在数据集详情页的“全部”或“未标注”页签中，单击“同步数据源”，快速将通过OBS上传的数据添加到数据集中。 #### 视频标注 标注作业详情页中，展示了此数据集中“未标注”和“已标注”的视频。 1. 在“未标注”页签左侧视频列表中，单击目标视频文件，打开标注页面。 2. 在标注页面中，播放视频，当视频播放至待标注时间时，单击进度条中的暂停按钮，将视频暂停至某一画面。 3. 在左侧区域选择标注框，默认为矩形框。使用鼠标在视频画面中框出目标，然后在弹出的添加标签文本框中，直接输入新的标签名，在文本框前面选中标签颜色，单击“添加”完成1个物体的标注。如果已存在标签，从下拉列表中选择已有的标签，然后单击“添加”完成标注。逐步此画面中所有物体所在位置，一张画面可添加多个标签。 支持的标注框与“物体检测”类型一致 **图1** 视频标注  4. 上一个暂停画面标注完成后，在进度条处单击播放按钮继续播放，在需要标注的画面中暂停，然后重复执行步骤完成整个视频的标注。 界面右侧将呈现当前视频带标注的时间点。 **图2** 当前文件标签信息  5. 单击页面左上角“返回数据标注预览”，页面将自动返回标注作业详情页面，同时，标注好的视频将呈现在“已标注”页签下。 #### 修改标注 当数据完成标注后，您还可以进入“已标注”页签，删除标注数据。 - 单击目标编号操作列的，删除该段视频的标注。您也可以单击标注视频文件上方的叉号删除标注，然后单击“确认标注”。 在“已标注”页签下，单击目标视频文件，在标注页面右侧的“当前文件标签”下，可单击时间点右侧小三角展开详情，您可以修改或删除标签。 - 修改标签：单击标签右侧的编辑按钮，标签名称可进行修改。 - 删除标签：单击标签右侧的删除按钮，将直接删除此标签。如果单击画面时间右侧的删除按钮，将删除此画面下的所有标签。 **图3** 修改标注  #### 添加视频 除了同步新数据外，您还可以在标注详情页面中，直接添加数据，用于数据标注。 1. 在标注作业详情页面，单击“未标注”页签，然后单击左上角“添加数据”。 2. 在弹出的导入对话框中，选择数据来源、导入方式、导入路径等参数，导入数据。单击确定。 **图4** 导入数据  #### 删除视频 通过数据删除操作，可将需要丢弃的视频数据快速删除。 在“全部”、“未标注”或“已标注”页面中，依次选中需要删除的视频，或者选择“选择当前页”选中该页面所有视频，然后单击左上角“删除视频”。在弹出的对话框中，根据实际情况选择是否勾选“同时删除源文件”，确认信息无误后，单击“确定”完成视频删除操作。 其中，被选中的视频，其左上角将显示为勾选状态。如果当前页面无选中视频时，“删除视频”按钮为灰色，无法执行删除操作。 说明： 如果勾选了“同时删除源文件”，删除视频操作将删除对应OBS目录下存储的视频，此操作可能会影响已使用此源文件的其他数据集或数据集版本，有可能导致展示异常或训练/推理异常。删除后，数据将无法恢复，请谨慎操作。

数据标注任务中，一般由一个人完成，但是针对数据集较大时，需要多人协助完成。ModelArts提供了团队标注功能，可以由多人组成一个标注团队，针对同一个数据集进行标注管理。团队标注功能当前仅支持“图像分类”、“物体检测”、“文本分类”、“命名实体”、“文本三元组”、“语音分割”类型的数据集。针对启用团队标注功能的数据标注任务，支持创建团队标注任务，将标注任务指派给不同的团队，由多人完成标注任务。同时，在成员进行数据标注过程中，支持发起验收、继续验收以及查看验收报告等功能。团队标注功能是以团队为单位进行管理，数据集启用团队标注功能时，必须指定一个团队。一个团队可以添加多个成员。    一个帐号最多可添加10个团队。    如果数据集需要启用团队标注功能，当前帐号至少拥有一个团队。如果没有，请执行添加团队操作添加。

数据处理（效验，转换，清洗，选择，增强）数据处理的目的是让开发者在模型训练之前拿到质量更高的数据集，以提升精度，降低模型训练成本1，数据效验和转换数据效验（对数据可用性进行判断和验证的过程）采集的数据是否有格式的问题，图像名称，后缀不满足训练算法的要求，可能无法识别，和无法解码等情况，因此，数据的效验非常重要，数据的标注格式可能也有很多种。ModelArts数据处理模块提供数据效验功能，对于图像数据，判断标注格式是否相符合要求，图像分辨率是否符合要求，图像通道是否符合算法要求，图像解码是否正常，图像名称和后缀是否满足规范数据转换（对数据进行规范化处理）数据转换是指数据大小，格式，特征等进行变换的过程，数据转换是为了使数据更适合算法选择和模型训练，使数据充分利用如图像有JPEG,PNG等格式，为了满足算法输入要求的格式，比如算法要求图像都是PNG格式，就要将不同的图像格式转换成PNG格式，这就需要转换格式并进行必要的数据整理数据清洗（数据进行去噪，纠错或补全的过程）1，离散化（针对连续的场景特征取值） 2，无量纲化（保持特征之间的公平性，提高模型精准度） 3，缺失值补全  4，分布变换（对数变换，指数变换等） 5，变量解码（文字，字母，频率等）数据选择（特征提取，聚类排序，选择最优子集）数据增强数据增强通过缩放，裁剪，变换，合成等操作直接或者间接增强数据量，进而进一步提升模型的训练精度，结构化数据和非结构化数据都可以做数据增强数据增强可以分为，离线数据增强和在线数据增强数据增强的常见方法1，空间几何变换旋转翻转变换缩放变换平移变换尺度变换2，像素和特征变换对比度变换噪声扰动颜色变化3，样本合成SamplePairingMixUp等

产品架构ModelArts是一个一站式的开发平台，能够支撑开发者从数据到AI应用的全流程开发过程。包含数据处理、模型训练、模型管理、模型部署等操作，并且提供AI Gallery功能，能够在市场内与其他开发者分享模型。ModelArts支持应用到图像分类、物体检测、视频分析、语音识别、产品推荐、异常检测等多种AI应用场景基础知识了解通过基础知识章节的内容，了解ModelArts相关的基础知识，包含AI开发的基础流程、AI开发的基础概念，以及ModelArts服务的特有概念和功能的详细介绍。入门使用针对不同角色的用户，您可以参考《快速入门》学习并上手使用ModelArts。《快速入门》提供了样例的详细操作指导，您可以基于此操作指导，在ModelArts服务中，构建一个模型或服务。获取并尝试更多样例ModelArts支持多种开源引擎，基于各类引擎和功能，提供了丰富的样例指导，您可以参考《最佳实践》的样例指导，完成相关的模型构建和部署。

基于ModelArts人工智能快速应用开发，声音分类模板开发与文本分类模板开发，自动学习三步骤1，数据准备与图像分类，目标检测相似，在ModelArts自动学习上基于，声音分类，文本分类，创建一个项目，然后将声音分类，和文本分类的数据进行标准2，自动模型分类训练ModelArts利用声音分类与文本分类算法，并根据输入的数据自动训练声音分类模型，文本分类模型，类似于图像分类，训练之前可以配置更多自己需要的参数，增加训练次数等3，应用部署和测试同样的将训练好的模型部署为一个推理服务，类似于图像分类，目标检测，对模型精准度满意后，可进行部署，和在线测试

大背景人工智能作为下一阶段科学变革浪潮的新引擎，将渗透至各行各业，助力传统行业实现跨越式升级，带来广阔的发展前景与良好的市场机遇。AI领域是一个快速增长的领域，整个市场对人才的需求激增，但人才的供应还没有跟上，求职者对同一岗位的竞争不是很激烈，薪资因此也水涨船高。自2016年起，人工智能相关的岗位招聘需求逐年递增，尤其是从招聘网上的岗位数量每日以千为单位的变化来看，现在市场已经是对人工智能人才处于一种急切的需求状态。当然，这也充分现实人工智能行业进入了告诉发展期，不过同时，对高端人才的依赖性也随之攀升了人工智能是中国发展的主要推动力之一，而作为人工智能生长动力的算法、算 力及数据等都在快速发展。算法的迭代一从技术层面的创新到思维方式的转变。计算能力为技术变革奠定了基础。随着计算的成本在不断下降以及服务器变得越来越强大，人工智能技术应用普遍。数据，身处大数据时代，生活之中无不之处在产生海量数据，华为ModelArts平台，其优势在于算法、算力及在各行各业中的应用，尤其在教育领域。其中算法可以采用平台中已有的通用算法，大大缩短建立时间，同时降低了技术人员的入门门槛。算力可以根据按需方式租用GPU服 务器，降低研究的前期投入。在教学实施应用中，从介绍了人工智能应用开发全流程及其子流程，包括数据准备、算法选择和开发、模型训练、模型评估和调优、应用生成、应用评估和发布、应用维护；以及人工智能应用开发场景化实践，介绍了企业级人工智能平台、面向复杂行业的自动化人工智能系统、基于端+边+云协同的人工智能平台及应用开发。在通过一整套工具链和方法传递，使得每个开发者都可以借助ModelArts平台在具体业务场景下更快、更高效、更低成本地开发出人工智能应用，从而更好地解决各行业各领域面临的实际问题，从教学实施角度上讲具有普适指导意义。人工智能应用开发流程是一个持续迭代并不断优化的过程，并生成新的人工智能应用数据流程图常用核心，数据源（主要输入），处理（每个具体环节，根据输入数据和处理逻辑得到输出数据），实体对象（处理环节之间流动的数据内容）人工智能应用开发全流程解析大致包括开发态流程（对数据不断进行处理并得到人工智能应用的过程，每一步都会基于一定的处理逻辑对输入数据进行处理，得到输出数据，并产生模型或知识），运行态流程（将人工智能应用部署起来使用的过程）根据处理操作所属范围的不同，可以将人工智能应用的开发流程分为，1，数据准备（数据采集，数据处理，数据标注等）2，算法选择和开发子流程3，模型训练子流程4，模型评估和调优子流程5，应用生成，评估和发布子流程6，应用维护子流程