> 由于模型训练过程需要大量有标签的视频数据，因此在模型训练之前需对没有标签的视频添加标签。通过ModelArts您可对视频添加标签，快速完成对视频的标注操作，也可以对已标注视频修改或删除标签进行重新标注。登录ModelArts管理控制台，在左侧菜单栏中选择数据管理> 数据标注，进入数据标注管理页面。在数据集列表中，基于标注类型选择需要进行标 --- 由于模型训练过程需要大量有标签的音频数据，因此在模型训练之前需对没有标签的音频添加标签。通过ModelArts您可对音频进行一键式批量添加标签，快速完成对音频的标注操作，也可以对已标注音频修改或删除标签进行重新标注。 #### 开始标注 1. 登录ModelArts管理控制台，在左侧菜单栏中选择“数据管理> 数据标注”，进入“数据标注”管理页面。 2. 在数据集列表中，基于“标注类型”选择需要进行标注的数据集，单击标注作业名称进入标注作业标注详情页。 3. 在标注作业标注详情中，展示此标注作业下全部数据。 #### 同步新数据 ModelArts会自动将数据集中新增的数据同步至标注作业，包含数据及当前标注作业支持的标注信息。 为了快速获取数据集中最新数据，可在标注作业详情页的“未标注”页签中，单击“同步新数据”，快速将数据集中的数据添加到标注作业中。 #### 标注音频 标注作业详情页中，展示了此数据集中“未标注”和“已标注”的音频，默认显示“未标注”的音频列表。 1. 在“未标注”页签左侧音频列表中，单击目标音频文件，在右侧的区域中出现音频，单击音频下方 ，即可进行音频播放。 2. 根据播放内容，在下方“语音内容”文本框中填写音频内容。 3. 输入内容后单击下方的“确认标注”按钮完成标注。音频将被自动移动至“已标注”页签。 **图1** 语音内容音频标注  #### 查看已标注音频 在标注作业详情页，单击“已标注”页签，您可以查看已完成标注的音频列表。单击音频，可在右侧的“语音内容”文本框中了解当前音频的内容信息。 #### 修改标注 当数据完成标注后，您还可以进入“已标注”页签，对已标注的数据进行修改。 在标注作业详情页，单击“已标注”页签，然后在音频列表中选中待修改的音频。在右侧标签信息区域中修改“语音内容”文本框中的内容，单击下方的“确认标注”按钮完成修改。 #### 添加音频 除了同步新数据外，您还可以在标注详情页面中，直接添加数据，用于数据标注。 1. 在标注作业详情页面，单击“未标注”页签，然后单击左上角“添加数据”。 2. 在弹出的导入对话框中，选择数据来源、导入方式、导入路径等参数，导入数据。单击确定。 **图2** 导入数据  #### 删除音频 通过数据删除操作，可将需要丢弃的音频数据快速删除。 在“未标注”或“已标注”页面中，选中需要删除的音频，然后单击左上角“删除音频”，在弹出的对话框中，根据实际情况选择是否勾选“同时删除源文件”，确认信息无误后，单击“确定”完成音频删除操作。 说明： 如果勾选了“同时删除源文件”，删除音频操作是将删除对应OBS目录下存储的音频。此操作可能会影响已使用此源文件的其他数据集或数据集版本，有可能导致展示异常或训练/推理异常。删除后，数据将无法恢复，请谨慎操作。

--- 由于模型训练过程需要大量有标签的视频数据，因此在模型训练之前需对没有标签的视频添加标签。通过ModelArts您可对视频添加标签，快速完成对视频的标注操作，也可以对已标注视频修改或删除标签进行重新标注。 #### 开始标注 1. 登录ModelArts管理控制台，在左侧菜单栏中选择“数据管理> 数据标注”，进入“数据标注”管理页面。 2. 在数据集列表中，基于“标注类型”选择需要进行标注的数据集，单击标注作业名称进入标注作业标注详情页。 3. 在标注作业标注详情中，展示此标注作业下全部数据。 #### 同步数据源 ModelArts会自动从数据集输入位置同步数据至数据集详情页，包含数据及标注信息。 为了快速获取OBS桶中最新数据，可在数据集详情页的“全部”或“未标注”页签中，单击“同步数据源”，快速将通过OBS上传的数据添加到数据集中。 #### 视频标注 标注作业详情页中，展示了此数据集中“未标注”和“已标注”的视频。 1. 在“未标注”页签左侧视频列表中，单击目标视频文件，打开标注页面。 2. 在标注页面中，播放视频，当视频播放至待标注时间时，单击进度条中的暂停按钮，将视频暂停至某一画面。 3. 在左侧区域选择标注框，默认为矩形框。使用鼠标在视频画面中框出目标，然后在弹出的添加标签文本框中，直接输入新的标签名，在文本框前面选中标签颜色，单击“添加”完成1个物体的标注。如果已存在标签，从下拉列表中选择已有的标签，然后单击“添加”完成标注。逐步此画面中所有物体所在位置，一张画面可添加多个标签。 支持的标注框与“物体检测”类型一致 **图1** 视频标注  4. 上一个暂停画面标注完成后，在进度条处单击播放按钮继续播放，在需要标注的画面中暂停，然后重复执行步骤完成整个视频的标注。 界面右侧将呈现当前视频带标注的时间点。 **图2** 当前文件标签信息  5. 单击页面左上角“返回数据标注预览”，页面将自动返回标注作业详情页面，同时，标注好的视频将呈现在“已标注”页签下。 #### 修改标注 当数据完成标注后，您还可以进入“已标注”页签，删除标注数据。 - 单击目标编号操作列的，删除该段视频的标注。您也可以单击标注视频文件上方的叉号删除标注，然后单击“确认标注”。 在“已标注”页签下，单击目标视频文件，在标注页面右侧的“当前文件标签”下，可单击时间点右侧小三角展开详情，您可以修改或删除标签。 - 修改标签：单击标签右侧的编辑按钮，标签名称可进行修改。 - 删除标签：单击标签右侧的删除按钮，将直接删除此标签。如果单击画面时间右侧的删除按钮，将删除此画面下的所有标签。 **图3** 修改标注  #### 添加视频 除了同步新数据外，您还可以在标注详情页面中，直接添加数据，用于数据标注。 1. 在标注作业详情页面，单击“未标注”页签，然后单击左上角“添加数据”。 2. 在弹出的导入对话框中，选择数据来源、导入方式、导入路径等参数，导入数据。单击确定。 **图4** 导入数据  #### 删除视频 通过数据删除操作，可将需要丢弃的视频数据快速删除。 在“全部”、“未标注”或“已标注”页面中，依次选中需要删除的视频，或者选择“选择当前页”选中该页面所有视频，然后单击左上角“删除视频”。在弹出的对话框中，根据实际情况选择是否勾选“同时删除源文件”，确认信息无误后，单击“确定”完成视频删除操作。 其中，被选中的视频，其左上角将显示为勾选状态。如果当前页面无选中视频时，“删除视频”按钮为灰色，无法执行删除操作。 说明： 如果勾选了“同时删除源文件”，删除视频操作将删除对应OBS目录下存储的视频，此操作可能会影响已使用此源文件的其他数据集或数据集版本，有可能导致展示异常或训练/推理异常。删除后，数据将无法恢复，请谨慎操作。

数据标注任务中，一般由一个人完成，但是针对数据集较大时，需要多人协助完成。ModelArts提供了团队标注功能，可以由多人组成一个标注团队，针对同一个数据集进行标注管理。团队标注功能当前仅支持“图像分类”、“物体检测”、“文本分类”、“命名实体”、“文本三元组”、“语音分割”类型的数据集。针对启用团队标注功能的数据标注任务，支持创建团队标注任务，将标注任务指派给不同的团队，由多人完成标注任务。同时，在成员进行数据标注过程中，支持发起验收、继续验收以及查看验收报告等功能。团队标注功能是以团队为单位进行管理，数据集启用团队标注功能时，必须指定一个团队。一个团队可以添加多个成员。    一个帐号最多可添加10个团队。    如果数据集需要启用团队标注功能，当前帐号至少拥有一个团队。如果没有，请执行添加团队操作添加。

数据处理（效验，转换，清洗，选择，增强）数据处理的目的是让开发者在模型训练之前拿到质量更高的数据集，以提升精度，降低模型训练成本1，数据效验和转换数据效验（对数据可用性进行判断和验证的过程）采集的数据是否有格式的问题，图像名称，后缀不满足训练算法的要求，可能无法识别，和无法解码等情况，因此，数据的效验非常重要，数据的标注格式可能也有很多种。ModelArts数据处理模块提供数据效验功能，对于图像数据，判断标注格式是否相符合要求，图像分辨率是否符合要求，图像通道是否符合算法要求，图像解码是否正常，图像名称和后缀是否满足规范数据转换（对数据进行规范化处理）数据转换是指数据大小，格式，特征等进行变换的过程，数据转换是为了使数据更适合算法选择和模型训练，使数据充分利用如图像有JPEG,PNG等格式，为了满足算法输入要求的格式，比如算法要求图像都是PNG格式，就要将不同的图像格式转换成PNG格式，这就需要转换格式并进行必要的数据整理数据清洗（数据进行去噪，纠错或补全的过程）1，离散化（针对连续的场景特征取值） 2，无量纲化（保持特征之间的公平性，提高模型精准度） 3，缺失值补全  4，分布变换（对数变换，指数变换等） 5，变量解码（文字，字母，频率等）数据选择（特征提取，聚类排序，选择最优子集）数据增强数据增强通过缩放，裁剪，变换，合成等操作直接或者间接增强数据量，进而进一步提升模型的训练精度，结构化数据和非结构化数据都可以做数据增强数据增强可以分为，离线数据增强和在线数据增强数据增强的常见方法1，空间几何变换旋转翻转变换缩放变换平移变换尺度变换2，像素和特征变换对比度变换噪声扰动颜色变化3，样本合成SamplePairingMixUp等

产品架构ModelArts是一个一站式的开发平台，能够支撑开发者从数据到AI应用的全流程开发过程。包含数据处理、模型训练、模型管理、模型部署等操作，并且提供AI Gallery功能，能够在市场内与其他开发者分享模型。ModelArts支持应用到图像分类、物体检测、视频分析、语音识别、产品推荐、异常检测等多种AI应用场景基础知识了解通过基础知识章节的内容，了解ModelArts相关的基础知识，包含AI开发的基础流程、AI开发的基础概念，以及ModelArts服务的特有概念和功能的详细介绍。入门使用针对不同角色的用户，您可以参考《快速入门》学习并上手使用ModelArts。《快速入门》提供了样例的详细操作指导，您可以基于此操作指导，在ModelArts服务中，构建一个模型或服务。获取并尝试更多样例ModelArts支持多种开源引擎，基于各类引擎和功能，提供了丰富的样例指导，您可以参考《最佳实践》的样例指导，完成相关的模型构建和部署。

基于ModelArts人工智能快速应用开发，声音分类模板开发与文本分类模板开发，自动学习三步骤1，数据准备与图像分类，目标检测相似，在ModelArts自动学习上基于，声音分类，文本分类，创建一个项目，然后将声音分类，和文本分类的数据进行标准2，自动模型分类训练ModelArts利用声音分类与文本分类算法，并根据输入的数据自动训练声音分类模型，文本分类模型，类似于图像分类，训练之前可以配置更多自己需要的参数，增加训练次数等3，应用部署和测试同样的将训练好的模型部署为一个推理服务，类似于图像分类，目标检测，对模型精准度满意后，可进行部署，和在线测试

大背景人工智能作为下一阶段科学变革浪潮的新引擎，将渗透至各行各业，助力传统行业实现跨越式升级，带来广阔的发展前景与良好的市场机遇。AI领域是一个快速增长的领域，整个市场对人才的需求激增，但人才的供应还没有跟上，求职者对同一岗位的竞争不是很激烈，薪资因此也水涨船高。自2016年起，人工智能相关的岗位招聘需求逐年递增，尤其是从招聘网上的岗位数量每日以千为单位的变化来看，现在市场已经是对人工智能人才处于一种急切的需求状态。当然，这也充分现实人工智能行业进入了告诉发展期，不过同时，对高端人才的依赖性也随之攀升了人工智能是中国发展的主要推动力之一，而作为人工智能生长动力的算法、算 力及数据等都在快速发展。算法的迭代一从技术层面的创新到思维方式的转变。计算能力为技术变革奠定了基础。随着计算的成本在不断下降以及服务器变得越来越强大，人工智能技术应用普遍。数据，身处大数据时代，生活之中无不之处在产生海量数据，华为ModelArts平台，其优势在于算法、算力及在各行各业中的应用，尤其在教育领域。其中算法可以采用平台中已有的通用算法，大大缩短建立时间，同时降低了技术人员的入门门槛。算力可以根据按需方式租用GPU服 务器，降低研究的前期投入。在教学实施应用中，从介绍了人工智能应用开发全流程及其子流程，包括数据准备、算法选择和开发、模型训练、模型评估和调优、应用生成、应用评估和发布、应用维护；以及人工智能应用开发场景化实践，介绍了企业级人工智能平台、面向复杂行业的自动化人工智能系统、基于端+边+云协同的人工智能平台及应用开发。在通过一整套工具链和方法传递，使得每个开发者都可以借助ModelArts平台在具体业务场景下更快、更高效、更低成本地开发出人工智能应用，从而更好地解决各行业各领域面临的实际问题，从教学实施角度上讲具有普适指导意义。人工智能应用开发流程是一个持续迭代并不断优化的过程，并生成新的人工智能应用数据流程图常用核心，数据源（主要输入），处理（每个具体环节，根据输入数据和处理逻辑得到输出数据），实体对象（处理环节之间流动的数据内容）人工智能应用开发全流程解析大致包括开发态流程（对数据不断进行处理并得到人工智能应用的过程，每一步都会基于一定的处理逻辑对输入数据进行处理，得到输出数据，并产生模型或知识），运行态流程（将人工智能应用部署起来使用的过程）根据处理操作所属范围的不同，可以将人工智能应用的开发流程分为，1，数据准备（数据采集，数据处理，数据标注等）2，算法选择和开发子流程3，模型训练子流程4，模型评估和调优子流程5，应用生成，评估和发布子流程6，应用维护子流程

notebook委托授权为实现，无法创建notebook

创建NoteBook提升错误

实验进行到  第二步训练模型 最后一步提交的时候 出现无效token问题通过清空浏览器缓存重新登录进行实验 还是进行到提交这一步  再次出现无效token

首先祝大家国庆节快乐，为了给您提供更好的服务、更优质的体验，我们特发起此次问卷调查，现在就让我们马上开始吧！活动时间：即日起-2020.10.12 （12:00）活动规则：1.邀请有礼，邀请30人填写问卷即可获取50元京东卡一张（一共100张是先到先得，活动情况及排名会在AI Gallery中公示→请点击我←）说明：被邀请人填写问卷需将邀请人的手机号 填写到邀请人信息一栏2.排位奖第一名-华为GT2手表（需满足200人）第二名-固态硬盘1TB（需满足100人）第三名-机械键盘（需满足50人）说明：邀请人数相同时，排名按照邀请达标顺序，先完成者获得。问卷链接：→请点击我←AI Gallery活动情况及排名公示：→请点击我←活动其他说明：1）请务必使用个人实名账号参与活动（IAM、企业账号等账号参与无效）；2） 为保证活动的公平公正，华为云有权对恶意刷活动资源（“恶意”是指为获取资源而异常注册账号等破坏活动公平性的行为，黑产用户不计入活动统计），利用资源从事违法违规行为的用户收回抽奖及奖励资格，本次活动一个实名认证账号只能对应一个收件人（只能参加一次），如同一账号填写多个不同收件人，不予发放奖励，请全程参与使用个人真实的姓名、手机号、华为云账号参与活动；3）本活动规则由华为云在法律规定范围内进行解释。华为云保留不时更新、修改或删除本活动规则的权利。上述更新、修改或删除于公布时即时生效，用户应当主动查阅本活动规则的最新内容。4） 所有参加本活动的用户，均视为认可并同意遵守《华为云用户协议》，包括以援引方式纳入《华为云用户协议》的《可接受的使用政策》、《法律声明》、《隐私政策声明》、相关服务等级协议（SLA），以及华为云服务网站规定的其他协议和政策（统称为“云服务协议”）的约束。如果您不同意本活动规则和云服务协议的条款，请勿参加本活动。

↑开局一张图，故事全靠编。继上篇文章在ModelArts上实现了简单的AI换脸之后，我们又萌生了将代码迁移到DevCloud，通过CloudIDE对“云毕业照”生成的小项目进行开发调试，利用CloudIDE注册http/https端口的能力实现项目的在线运行，极大地改善了开发质量并提升了开发体验。本文主要是CloudIDE的一些基本操作的讲解，是对ModelArts的一些拓展，再一次验证了“ModelArts开发模型，CloudIDE调试开发，DevCloud部署上线”全链路开发的可行性。准备本文默认您已经注册了华为云账户，并且已领取相关优惠券。当然没有领到优惠券也没关系，目前有ModelArts免费算力和CloudIDE免费使用加持，而且【2020华为云AI实战营】、【CloudIDE云上编码赚好礼】等活动已经强势来袭，这也是学习全链路AI的大好时机。DevCloud: https://www.huaweicloud.com/devcloud/DevCloud是集华为研发实践、前沿研发理念、先进研发工具为一体的研发云平台,面向开发者提供研发工具服务，让软件开发简单高效.涵盖了项目管理 ProjectMan、代码托管 CodeHub、流水线 CloudPipeline、代码检查 CodeCheck、编译构建 CloudBuild、云测 CloudTest、移动应用测试 MobileAPPTest、部署 CloudDeploy、发布 CloudRelease、CloudIDE、Classroom、开源镜像站 Mirrors等十余项功能和服务。CloudIDE: https://devcloud.cn-north-4.huaweicloud.com/cloudide/trialCloudIDE是面向云原生的轻量级WebIDE，通过浏览器访问即可实现云端开发环境获取、代码编写、编译调试、运行预览、访问代码仓库、命令行执行等能力，同时支持丰富的插件扩展。目前支持Java、Python、JS/TS等多种语言。创建免费体验的CloudIDE登录华为云账号，打开CloudIDE免费体验专题页面，目前仅华北-北京一、华北-北京四、东北-大连这三个区域支持。这里以打开华北-北京四CloudIDE免费体验(https://devcloud.cn-north-4.huaweicloud.com/cloudide/trial)为例创建一个免费的CloudIDE实例。这里鉴于opencv-python这个库的限制，我们选用x86的CPU架构，所以我这这里选择**Quantum Computing这种实例进行体验，点击免费体验**CloudIDE会自动创建一个默认的项目，接下来我们需要做些初始化的工作，如删除这个默认的项目，拉取新的项目等等操作。如免费体验需排队，请耐心等候，另外初始化项目需要稍许时间，稍安勿躁。初始化项目首先，我们要将默认的项目删掉，再拉取“云毕业照”生成小项目代码，这里我们会用到 Terminal工具，快捷键是 Ctrl + ~，或者在顶部的 Terminal选项选择 New Terminal。初始化项目的所有操作，我们都会在 Terminal工具执行。（PS：完成右侧任务可领取无门槛优惠券哦）执行删库跑路专用命令行rm -rf *,删除默认项目通过git clone https://gitee.com/hu-qi/face_swap_for_graduate拉取项目代码mv face_swap_for_graduate/* ./ && rm -rf ./face_swap_for_graduate将项目移动到工作区根路径并移除空目录安装依赖安装flaskpip install flask安装opencv-pythonpip install opencv-python opencv-python-headless opencv-contrib-python-headless安装dlibTRAVIS=true pip install cmake boost dlib -i https://pypi.tuna.tsinghua.edu.cn/simple安装imagepip install image设置端口及http/https服务并启动首先我们修改server.py文件中的app.run(host='0.0.0.0', port=8080, debug=True)将port修改为8001~9000这个区间段的任意一个，当然要与右侧的Port External Access中设置的Port一致，点击OK启动注册http/https端口。然后确定当前文件选中server.py时点击右上角的▷按钮启动项目。预览调试如果不出意外的话，我们扫码二维码或者点击Access就能打开一个新的页面，而这个页面就是我们“云毕业照”生成的首页，我们可以尝试上传一张免冠正脸照片，选择性别、学科点击提交，稍等片刻，AI合成的“云毕业照”就加载出来了。有小伙伴吐槽我们页面太丑了，没关系，我们可以通过修改template目录下的index.html文件来进行美化，比如，我修改了页面的标题，增加了“hello”，然后刷新页面，我们会发现“hello”已经同步过去了，通过这样的方式我们可以修改整个页面，只要您喜欢，想做成多美的页面都可以。总结此次实践能得以成功完成，要感谢ModelArts社区的小伙伴以及华为云CloudIDE技术团队的大力支持。虽然实践整个流程下来，不到十几分钟，而为了这十几分钟，我们花了很多时间和精力去尝试。比如，在依赖安装这块，作为Python小白，我们踩很多坑，首先是opencv-python这个依赖的平台限制，arm架构的鲲鹏显然不是我们的首先，为了避免这个坑，我们还是毅然决然地选择了x86平台；其次是dlib这个依赖，我们通过先安装cmake、boost，再通过CloudIDE团队的技术支持，最终使用"TRAVIS=true" + 指定镜像的方式解决了dlib安装过程中CloudIDE掉线的问题。关于页面不是很美观的问题，我们相信评论区会有众多的大佬跃跃欲试一起来完善。最后，期待更多大佬的指导！感谢！

1.      解压下载得到的压缩包，得到【sakura.zip】和【unzip.ipynb】两个文件; 2.      打开华为云，在【EI企业智能】中找到【ModelArts】，点击进入到ModelArts控制台；                                                3.      选择右侧工具栏中的【开发环境】下的【Notebook】，点击界面左上角的【创建】，按照默认选项创建新的notebook 4.      打开进入notebook，点击右上角的【upload】，上传1中的【sakura.zip】和【unzip.ipynb】！！！注意检查一下【sakura.zip】的格式，如果发现文件后缀是.rar，就需要把它先解压成文件夹，再重新压缩成【sakura.zip】，或者直接把【sakura.zip】中的所有文件直接上传到notebook（要放到对应的文件夹哟~） 5.      打开【unzip.ipynb】，运行该脚本，其作用是解压【sakura.zip】，此时在目录中会出现【sakura】文件夹 6.      打开进入解压得到的文件夹，点击进入【sakura.ipynb】，即完成项目在华为云ModelArts上的部署。

介绍　　ModelArts是AI开发平台集成大者1　　可以0代码开发你想要的AI模型和各种需求。2　　可以选择自己要的算法去开发AI。3　　就是不管你懂不懂代码，都可以玩AI。其实AI门槛不高的。

在使用ModelArts完成AI全流程开发时，端到端过程中，提供免费规格，让您免费体验ModelArts的全流程开发。单击此处进入ModelArts管理控制台，参考如下操作指导体验免费规格的使用。使用场景在AI全流程开发过程中，分为如下几个步骤：数据管理：ModelArts数据管理功能目前免费开放，但是由于数据需存储在OBS中，存储的数据按OBS规则进行计费。算法开发或预置算法：ModelArts提供的预置算法或者官方发布在AI市场的算法，均可免费使用。如果您自己在本地开发算法，则不涉及费用。模型训练：在创建训练作业时，可选择免费规格，完成模型训练。导入模型：ModelArts提供的模型导入及管理功能，不收费。部署上线：将导入的模型部署为在线服务时，可选择免费规格（CPU或GPU）的资源，将模型部署为服务。针对之前的ModelArts，如果您想端到端体验AI全流程开发，在“模型训练”和“部署上线”时，都需要付费体验。当前ModelArts提供免费规格后，整个AI开发过程，可端到端免费体验。