ModelArts开学季活动  大家感兴趣的快来玩啊

ModelArts开学季活动  大家感兴趣的快来玩啊

ModelArts开学季活动-好玩有有趣原帖地址：https://bbs.huaweicloud.com/forum/thread-114064-1-1.html

论坛板块：EI企业智能--ModelArts标题："蚂蚁牙黑",快用 ModelArts 自己实现一个！链接：https://bbs.huaweicloud.com/forum/forum.php?mod=viewthread&tid=109717

问题解答Q1：胡老师，我想弄个文字纠错的在线系统，想让AI自动学习错敏字的字库，但是没法教会它。胡琦老师：您可以试试seq2seq模型。Q2：我想问个问题，就是我目前是一名北京一所211的本科生，搞AI这种目前是不是该还要接着深造读研啊，还有目前很火的Python人工智能，但是Python等只是一种工具，人工智能主要还是数学和算法。胡琦老师：关于AI是否要深造，我的建议是如果您想从事算法方面的工作，高学历是好的前提，此外，Python和人工智能其实都算是解决问题的工具。胡琦老师ModelArts实现“吗咿呀嘿”案例指导https://bbs.huaweicloud.com/blogs/245794复盘帖  ModelArts让AI应用开发更简单本期活动我们邀请了广东省电信规划设计院前端开发工程师，江湖人称“copy攻城狮”的胡琦老师，来为我们分享他关于AI的认识以及使用ModelArts的应用开发实例。“大家好，我是胡琦，江湖人称“Copy攻城狮” -- **“Copy Code， Copy Wolrd！”**。目前在广东省电信规划设计院从事前端开发，工作之余对AI比较感兴趣。了解到一站式AI开发平台 -- ModelArts，就深深地爱上了她，并加入了 MDG，也就是 ModelArts 开发者社区。在 ModelArts 开发者社区，我学到了让 AI 应用开发更简单的小技巧，今天就简单和大家分享一下。”先整一段宣传花絮，然后进入正题。本次分享，一共分为四个部分一个彩蛋（文末PPT可取）AI的过去、现在及未来。AI应用开发流程。ModelArts简介。动手实践AI应用开发——以美食分类为例。AI的过去、现在及未来继1950年“计算机科学之父”艾伦·麦席森·图灵提出了“图灵测试”之后，1956年的达特茅斯会议上，约翰·麦卡锡等科学家就“用机器来模仿人类学习以及其他方面的智能”这个话题进行讨论，并最终为其命名为“人工智能”，定义为：制造智能机器的科学与工程（早期），于是这一年也被称为“人工智能元年”。从对于哈尔无所不能的幻想开始，从1950s至今，人工智能经历了起步发展、反思发展、应用发展、低迷发展、稳步发展以及到今天的蓬勃发展，我们从未停止过对于人工智能的探索。目前我们的AI已经广泛应用在智能客服、视觉识别（农作物病害虫识别、食品种类识别、肺炎辅助诊断等）、语音识别、机器翻译、文本挖掘等等领域，我们在向着我们脑内描绘的那幅巨大的幻想前进，未来有多远，会不会实现，这些都不重要，人工智能在向前走。AI应用开发流程目前AI应用开发流程可以归纳为以下顺序：ModelArts简介（图片来自PPT）知道AI应用的开发流程是远远比不上亲手实践一个AI项目，ModelArts作为一款面向AI开发者的一站式开发平台，提供海量数据预处理及半自动化标注、大规模分布式训练、自动化模型生成及端-边-云模型按需部署能力，帮助用户快速创建和部署模型，管理全周期AI工作流。从开发流程上看，包括数据处理、算法开发、模型训练、模型部署的各个环节都可以在ModelArts上完成，目的即是让AI开发更简单方便。动手实践AI应用开发——以美食分类为例这一部分的实践示范，请按照PPT内容进行手动尝试，效果会更好呦~彩蛋：你的ModelArts水平有多少，来试试吧~https://devcloud.huaweicloud.com/expert/assessment/skill 更多精彩，敬请期待扫码进微信群开始时间3月4日 20:00活动介绍云享MindTalks是由华为云DevCloud团队携手云享专家共同策划进行的系列技术交流活动。各业界大咖纷纷现身群聊，以即时对话形式，来进行最直接的技术交流和思想碰撞。不同领域的专家，各样的业界话题尽在此处，为保证极简极高效，活动稍长于20分钟。如果你不了解AI，就来听听胡琦老师的直播，从过去、现在到未来，倾情为你讲解！如果你想了解AI应用开发流程，更不要错过胡琦老师的直播讲解！如果你想学习交流ModelArts，这里不仅有介绍，还有案例开发实践，满足你的所有需求！专家介绍Copy Code， Copy World！江湖人称“Copy攻城狮”胡琦因为AI与ModelArts坠入爱河的程序猿广东省电信规划设计院前端开发活动规则1.扫码加小助手入群聊，先扫先进，先到先得。2.对未能及时回复的问题，由助手收集集中回答。3.更多资源和活动请进入云享MindTalks VIP群。4.抽奖奖品为限定HE2E知识卡牌和双肩背包。

ModelArts 社区开发者成长路线ModelArts 快速上手ModelArts 系列课程ModelArts开发资源ModelArts：一站式AI开发平台AI 全栈计划基础篇ModelArts 官方开发文档AI 全栈计划进阶篇ModelArts 精品FAQ汇总ModelArts 快速入门文档AI 全栈计划应用篇 ModelArts 新特性及配套案例华为云 AI 实战营ModelArts-Lab GiteeModelArts 社区优质活动推荐MDG 及AI 创新沙龙《基ModelArts   OCR文字识别SQLite数据库管理》暨华为云MDG重庆站首秀 AI 创新开发者沙龙—在武大樱花下写防疫课观后感基于ModelArts的交通标志识别及其在无人车系统中的应用“如何转型搞AI”圆桌论坛高精地图3D目标检测DevRun 开发者沙龙下一代 AI：自监督 VS 有监督，谁更胜一筹？基于ModelArts与HiLens的智能塔台监控防护系统解决方案基于ModelArts与HiLens端云协同开发行人检测与跟踪方案北京老炮儿旭哥说AI：谈谈企业级AI开发平台普惠AI风口之下传统企业的转型之路AI Gallery-开发者学习·交流·实践HDC.Cloud 2020基于华为云AI平台开发口罩智能识别方案强化学习的落地实践华为诺亚方舟实验室在AutoML的技术成果分享基于ModelArts的AI应用开发调参及模型优化实践ModelArts平台上使用MindSpore实现ResNet50训练速度翻倍2020 AI 实战营2020年华为云AI实战营课程2020年华为云AI实战营活动汇总【直播回放】第1章-图像分类【直播回放】第2章-物体检测  【直播回放】第3章-图像分割  【直播回放】第5章-OCR  【直播回放】第6章-视频分析 【直播回放】第7章-NLP 【直播回放】第8章-语音识别 2020 AI 全栈计划2020年AI全栈成长计划活动汇总AI全栈成长计划-AI基础篇课程AI全栈成长计划-AI进阶篇课程AI全栈成长计划-AI应用篇课程【直播回放】零基础入门AI 零代码开发模型【直播回放】BUFF加持，ModelArts助你进阶炼丹师！【直播回放】ModelArts+HiLens   端云协同应用开发实战【直播回放】乘风破浪，一名合格AI打工人的学习之路2020 Qcon 上海王俊：MindSpore-端边云统一训练和推理的AI计算框架白小龙：ModelArts-全流程加快AI应用开发和部署夏飞：HiLens-端云协同多模态AI应用开发和实践朱声高：ModelArts Pro-在行业多模态AI开发的应用实践2020年十佳论坛帖2020年十佳博文【基于ModelArts】带你零代码开发检测口罩是否佩戴的模型医学与AI的结合（一）：如何基于ModelArts自动机器学习完成心脏病预测模型华为云“云上先锋”·AI主题赛（垃圾分类）-Top7复盘（转发自第7名获奖选手的分享）【手摸手学ModelArts】传说中的“云毕业照“，先睹为快!用ModelArts轻松玩转Python正则表达式和魔法方法难例挖掘助力ModelArts AI开发平台完成全流程闭环和大家一起讨论一下在modelarts操作中最容易遇到哪些问题ModelArts在数据标注、数据过滤上的“奇技淫巧”：自动分组ModelArts精品FAQ汇总数据风格变换：ModelArts的数据域迁移功能ModelArts开发速成，看这里！！（快速入门、进阶学习资料、开发案例、开发者活动等）【吃螃蟹的程序猿】ModelArts-AI市场算法，断点训练(Resume Training)和迁移学习(Finetuning）【每天进步一点点】基于ModelArts AI市场算法MobileNet_v2实现花卉分类，支持CPU、GPU、Ascend推理告别夏日空调，用华为云ModelArts训练AI鬼故事生成器，0成本打造降温神器【AI实战营】第五章OCR延伸学习材料【乘风破浪的开发者】华为云云享专家胡琦：快快使用ModelArts，零基础也能玩转AI！手把手教你用ModelArts基于YOLO V3算法实现物体检测Demo分享 | 当自动驾驶遇到ModelArts，ModelArts AI Gallery与HiLens Kit开发业界广泛流传一句话：数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已开发教程 |基于ModelArts的视频全量目标分析和建模案例分析2020年最受欢迎活动2020年最佳版主2020华为云AI实战营运气男孩主页 | 关注人工智能全栈成长计划向云而生1024程序员节云筑2020年终盛典：云上会考AI考场AI创意案例大PKModelArts 社区 2020 全面回顾请点击查看：【ModelArts 社区】2020我们茁壮成长《攀登AI之峰》致敬每一位AI 开发者，恭祝大家牛年勇攀高峰！(点击即可播放）新年福利来啦！本帖回复你想对 ModelArts 社区想说的话（文字中需含“ModelArts社区”关键字），如：学 AI 就上 ModelArts 社区，即可参与福利活动。获奖规则：楼层的的 5%、10%、15%、20%、25%、30%......95% 即可获得ModelArts书籍盖楼数排名前20送ModelArts社区大礼包（含 ModelArts 定制版限量口罩、笔记本、卫衣、贴纸、鼠标垫、ModelArts书籍等），相同楼层按照发帖顺序，最早的获得活动规则：参与用户必须体验或访问过 ModelArts 才可参与活动：点击访问 ModelArts 成功即可，否则视为无效参与；活动时间：即日起至2月27日00:00；活动结束后5日内公布详细结果，公示期3天，公示期结束开始兑奖，一般15个工作日左右完成发放，但可能会有所延长；所有奖品都是活动结束后，统一收集并确认信息后进行发放，活动奖品颜色随机，且部分奖品数量有限发完即止；因奖品采购时间、批次产生的差异属正常情况，如奖品库存不足将进行同价位奖品调换，介意者谨慎参与活动；如发现使用他人身份恶意重复报名活动，或采取机器批量注册/虚拟手机号注册/购买账号等恶意注册行为进行违规行为，华为云AI社区有权取消相应人员的活动参与权利，并收回相关奖励；所有的获奖账号必须在领取奖品之前就完成实名认证，且实名账号必须与参与活动的账号为同一个，同一实名账号仅可参与此活动一次。本次活动所有回帖内容需满足华为云论坛发帖规范：https://bbs.huaweicloud.com/forum/thread-23077-1-1.html。ModelArts 社区祝大家新年快乐，万事如意，代码无Bug！获奖公告：（因存在有人恶意刷帖，华为云论坛自动屏蔽，导致部分楼层断层，在活动基础上新增用户排序让真实的用户也能获得奖品）楼层排序楼层比例楼层中奖楼层（四舍五入）中奖账号奖品6135%30.6531zhengguixiangModelArts书籍61310%61.361多米诺的古牌ModelArts书籍61315%91.9592#N/AModelArts书籍61320%122.6123hispchomeModelArts书籍61325%153.25153疫情快快结束ModelArts书籍61330%183.9184#N/AModelArts书籍61335%214.55215#N/AModelArts书籍61340%245.2245#N/AModelArts书籍61345%275.85276#N/AModelArts书籍61350%306.5307#N/AModelArts书籍61355%337.15337#N/AModelArts书籍61360%367.8368#N/AModelArts书籍61365%398.45398#N/AModelArts书籍61370%429.1429#N/AModelArts书籍61375%459.75460#N/AModelArts书籍61380%490.4490#N/AModelArts书籍61385%521.05521麻衣ModelArts书籍61390%551.7552精彩无限ModelArts书籍61395%582.35582精彩无限重复 顺延下一位tzywwModelArts书籍用户排序正常通过审核用户数比例楼层（四舍五入）中奖楼层中奖账号奖品775%3.854离人上千秋ModelArts书籍7710%7.78加油O幸福ModelArts书籍7715%11.5512HW-QGSModelArts书籍7720%15.415拓佑ModelArts书籍7725%19.2519胡琦ModelArts书籍7730%23.123沈云ModelArts书籍7735%26.9527zhengyong134ModelArts书籍7740%30.831zgx1636964790ModelArts书籍7745%34.6535Hello DiggerModelArts书籍7750%38.539倪平宇ModelArts书籍7755%42.3542元气满满的少女月ModelArts书籍7760%46.246多米诺的古牌ModelArts书籍7765%50.0550云宝的小hModelArts书籍7770%53.954十年树木ModelArts书籍7775%57.7558listen2youModelArts书籍7780%61.662gudengModelArts书籍7785%65.4565夏暖ModelArts书籍7790%69.369麻衣ModelArts书籍7795%73.1573wcrw129ModelArts书籍大礼包用户（盖楼用户较少，只有两名用户参与）25张辉大礼包2RabbitCloud大礼包请上面获奖用户在2021年3月11日24点前反馈问卷，邮寄时间问卷截止后一周。问卷地址：https://devcloud.huaweicloud.com/expert/open-assessment/qtn?id=03ac5527840047a3a5a03d22d18cea22

数据分析对数据整体的统计分析，以及对单个数据进行细粒度分析诊断，才可以更加深入地了解数据，及时发现更深层次的问题并优化1，数据集特征分析和优化特征分析主要是更快速方便的了解数据集的特点，并制定后续的优化和处理方案，ModelArts特征分析模块主要支持特征，分辨率，图像亮度，图像饱和度，清晰度，图像色彩丰富等常规图像特征，面积标准度，堆叠度等选择数据集版本，在选择类型，在根据自己需要的指标进行查看选择自己需要的数据集版本选择类型清晰度图片高度比分辨率图像亮度图像彩色的丰富程度图片的饱和程度全选

 摘要：华为云AI开发平台ModelArts黑科技加持AI研发，让模型开发更高效、更简单，降低AI在行业的落地门槛。全面的可视化评估以及智能诊断功能，使得开发者可以直观了解模型各方面性能，从而进行针对性的调优。今年，全新发布的华为云ModelArts备受关注，创新黑科技成为AI界团宠。模型构建一直是AI落地行业遇到的挑战之一，尤其是如何对即将部署上线的模型进行评估和诊断，以确保研发是否满足业务需求，保证AI产品的质量水平，让评测结果优秀的模型直接投入生产环境，对差强人意的模型进行调优。华为云AI开发平台ModelArts黑科技加持AI研发，让模型开发更高效、更简单，降低AI在行业的落地门槛。全面的可视化评估以及智能诊断功能，使得开发者可以直观了解模型各方面性能，从而进行针对性的调优。全方位为AI模型体检，降低AI研发门槛长期以来，模型调优通常过于依赖数据科学家或算法工程师的个人经验，这就导致开发一个最优AI模型门槛高、代价大。另一方面，除了模型精度等常用指标之外，要将模型部署在生产环境，就必须考虑其性能、可解释性、鲁棒性、抗攻击性等其他指标。对于大多数数据科学家或算法工程师而言，这些指标的分析和优化并不是非常直观。这就导致AI模型进入生产环境困难重重。为了解决上述两方面的问题，华为云ModelArts通过平台内置的工具帮助用户自动分析和评估出模型的各项指标，相当于生成模型的“体检报告”，并给出优化建议，用户可根据优化建议进一步提升模型效果或者决定是否将其部署到生产环境。模型评估诊断更智能，调优更具针对性ModelArts可提供精度、敏感度、计算性能、对抗性等指标的分析和诊断，并辅助热力图、抽象特征分布等手段便于理解模型和数据分布情况。1.可视化呈现样本预测值和真实值，数据分析更直观在精度方面，ModelArts提供了混淆矩阵、ROC等常用指标，将每个样本的预测值和真实值可视化呈现，便于用户基于原始数据进行深入分析。例如花卉识别场景，由于花卉种类繁多，同一类别下花卉差异性小，对AI模型的精度要求就会更高。ModelArts对图像识别模型精度进行精确评估，保证花卉识别的准确性。基于ModelArts的图像分类模型预测结果展示2.切分数据集细化模型敏感度分析，优化建议更聚焦在敏感度分析方面，ModelArts根据数据集的一些基础特性（例如图像的亮度、清晰度等特征，或者文本的长度等特征）将原始数据集切分为不同的子集，然后在不同的子集上评估模型的精度指标，即可分析出该模型对于不同特征的敏感度，进而为模型优化提供方向。当图像亮度对模型精度影响波动比较大时，需要再重训练时对亮度进行增强。基于ModelArts的抽象特征敏感度分析及其诊断建议3.深入AI底层系统算子优化，具象化模型计算性能分析在计算性能方面，ModelArts可针对常用框架训练的模型进行细粒度性能分析，可以分析出算子的推理时长和参数量分布，为算子优化和模型压缩提供方向。基于ModelArts的模型计算性能分析4.内置多种攻击算法，多维度评估模型对抗性在对抗性评估方面，ModelArts内置了多种攻击算法，针对模型进行攻击并输出攻击成功率以及被攻击后的模型的精度指标，如图4所示。根据诊断建议，可以发现模型在某些类别上更容易受到攻击，可以通过进一步的数据增强来优化。对于模型中潜在的容易受到攻击的算子，ModelArts也可以自动做出相应的提示。从图5中，可以看出，被攻击后ROC曲线明显不如被攻击之前。因此，不建议该模型直接部署到生产环境，而需要先根据ModelArts诊断建议进行进一步优化。图4. 基于ModelArts的模型对抗性攻击评估和诊断（a）（b）图5. 模型被攻击前（a）和被攻击后（b）的ROC曲线三大场景智能评估和诊断，模型调优有的放矢目前，模型智能评估与诊断支持三种类型的模型和数据集，“图像分类”、“物体检测”和“语义分割”，让用户全面了解模型对不同数据特征的适应性，使得模型调优可以做到有的放矢。假如要对五类食品的图像进行分类，使用ModelArts市场订阅的ResNet_V1_50算法训练，第一次训练得到的模型在测试集上进行评估，精度为54.8%，在敏感度分析中，可以发现模型对图像亮度的敏感度非常大，不同亮度区间里模型精度的方差达到0.249，建议进行亮度方面的数据扩增。扩增数据后重新训练模型，使用相同测试集进行模型评估，精度上升到63.4%，不同亮度区间里模型精度的方差下降到0.217。在对安全帽的检测任务中，使用ModelArts市场订阅的物体检测-EfficientDet算法训练，在验证集上获得74.8%mAP。根据建议进行数据扩增，点击二次训练按钮，推荐的训练参数会自动加载到新的训练任务中。训练结束后，查看评估结果，验证集mAP有显著提升。华为云ModelArts的黑科技功能不止于自动化模型评估与诊断功能。运用ModelArts，机器狗可以实现工业巡检，自动识别火情、规划路径、关闭火情按钮；雨林保护组织里的护林员可以更好地保护蜘蛛猴等濒危动物；同济大学的学生们基于ModelArts平台建立了一套湿地数字孪生系统帮助杭州湾的候鸟得到更好的保护和科研……后续将为大家带来更多ModelArts创新技术揭秘。华为云ModelArts通过持续创新，打造最强AI黑科技，使AI可以更好地进入生产生活，加速AI在产业的落地和深入，扩大AI应用的覆盖面，进一步释放AI技术红利，让更多企业可以借力AI进行转型升级。

12月18日，2020 ICT影响力峰会·中国软件大会在北京举办，华为云一站式AI开发平台ModelArts凭借领先的技术创新和产品竞争力荣获2020中国软件和信息服务业“人工智能领域最佳产品”。中国软件大会作为我国软件和信息技术服务产业一年一度最高规格的精英盛会，以“筑强软件之基，拥抱数字蝶变”为主，全面系统总结行业年度成就，展现行业领导地位和技术权威观点言论的最佳舞台。

数据反映了真实世界的状况，没有高质量的数据，最好的算法也无济于事。创建一个更好的数据集对AI开发有至关重要的意义，但是一个高质量的数据集需要开发者投入巨大的时间与精力。还在为散乱无章的数据发愁吗？还在为训练没有更多数据发愁吗？还在为处理数据投入大量时间发愁吗？ModelArts数据预处理功能集成了大量数据处理算法，为您提供一个更好的数据集。初识ModelArts数据预处理当数据采集和接入之后，数据一般是不能直接满足训练要求的。ModelArts平台提供的数据预处理功能帮助您从海量的数据中抽取或者生成有价值、有意义的数据，为您后续的数据标注、模型训练保驾护航。ModelArts为您提供以下四种类型的数据预处理：     数据清洗数据清洗是指对数据进行去燥、纠错或补全的过程。数据清洗是在数据校验的基础上，对数据进行一致性检查，处理一些无效值。例如在深度学习领域，可以根据用户输入的正样本和负样本，对数据进行清洗，保留用户想要的类别，去除用户不想要的类别。图中，花朵数据集经过数据清理后去除了样本中非花朵的图片。数据选择数据选择一般是指从全量数据中选择数据子集的过程，可以通过相似度或者深度学习算法进行选择。数据选择可以避免人工采集图片过程中引入的重复图片、相似图片等问题；在一批输入旧模型的推理数据中，通过内置规则的数据选择可以进一步提升旧模型精度。图中，花朵数据集经过数据选择后去除了相似和重复图片。数据校验数据校验是指对数据可用性的基本判断和验证的过程。ModelArts支持对图片和标注进行可用性校验：♦图片类数据校验异常情况处理方案图片本身损坏无法解码过滤掉不能解码的图片图片通道可能是1通道、2通道，不是常用的3通道转换图片成RGB三通道  图片格式不在ModelArts支持的格式范围内转换图片格式至jpg格式图片后缀与实际格式不符，但格式在MA支持的格式内后缀转换成与实际格式一致图片后缀与实际格式不符，且格式不在MA支持的格式内转换图片格式至jpg格式图片分辨率过大宽、高按指定大小同比例进行裁剪♦标注类文件数据校验异常情况处理方案xml结构残缺，无法解析过滤xml文件xml中没有标注“object”过滤xml文件xml中没有矩形框“bndbox”过滤xml文件某些标注“object”中没有矩形框“bndbox”过滤标注“object”图片经过裁剪后，xml文件中宽高不符修改错误宽高参数为图片真实宽高xml中没有“width”、“height”字段根据图片真实宽高补全xml中的“width”、“height”字段和值图片经过裁剪后，xml中矩形框“bndbox”大小不符按图片裁剪比例缩放xml文件中“bnxbox”值xml中矩形框“bndbox”宽或高值过小，显示为一条线矩形框宽或高差值小于2，移除当前“object”xml中矩形框“bndbox”最小值大于最大值移除当前“object”矩形框“bndbox”超出图片边界，且超出部分占框面积50%以上移除当前“object”矩形框“bndbox”超出图片边界，但超出部分小于框面积50%矩形框“bndbox”拉回到图片边界 数据增强数据增强用于训练数据集不足或需要仿真的场景。他通过数据扩增、数据生成方式对已有的数据集完成指定的变换操作，实现增加数据量的目的。ModelArts提供以下算子扩增您的数据集：算子算子说明Rotate旋转Blur模糊化处理LightArithmetic亮度增强Saturation色度饱和度增强Grayscale图片灰度化LightContrast亮度对比度增强HistogramEqual直方图均衡化Sharpen图像锐化Flip翻转MotionBlur运动模糊Resize调整图片大小Padding图片填充，在边缘添加黑色的边Crop图片裁剪，随机裁剪图片的一部分作为新的图片Weather添加天气，模拟天气效果CutOut随机擦除，用于模拟物体被障碍物遮挡Translate图片平移Scale图片缩放Shear图片错切AddNoise添加噪声 图形化界面实现数据预处理ModelArts为用户提供简单的图形化界面，您只需要动动鼠标，就能完成指定的数据预处理任务。上传您的数据集至OBS。OBS是MordelArts存储数据的仓库。上传点这里。创建数据预处理任务，您需要填写下图中的参数，详细介绍点这里。等待几分钟后任务完成，您可以查看日志和结果展示。更多ModelArts数据预处理介绍数据预处理简介数据增强：使用数据增强，解决数据不足和数据集不均衡的情况数据校验：给你的数据做个体检吧数据选择：使用数据选择，去除重复数据数据清洗：数据清洗去除您的数据集中无关类别

还在为花时间安装配置编译环境苦恼？还在为购买开发板/GPU犹豫不决？一个提供给开发者的多语言类集成开发环境HiLens Studio横空出世，为你扫清一切烦恼，打造你梦想中的AI开发平台！初识HiLens StudioHiLens Studio 是华为HiLens平台提供的云侧集成开发环境及HiLens Kit模拟器。具备纯云侧集成开发、模拟运行的能力，并可将技能部署至HiLens Kit端侧设备上。开发者也可以在HiLens Studio中发布技能到华为HiLens平台的技能市场，共享给其他用户。为什么使用HiLens Studio开发技能无需环境搭建，纯云侧开发环境支持纯云的开发及调试、无任何本地安装、搭建过程。开箱即用的AI应用开发云侧强大IDE，集成代码编辑、调试、编译、模拟、部署和发布全流程功能，端到端完整支持开发和运维。端云统一开发框架，一键部署云侧通过开发框架HiLen Framework进行数据接入、数据处理和模型推理，接口简易。完成技能开发后，一键部署到Ascend 310端侧设备上运行。内嵌模拟器，支持多模态应用开发对开发中的技能代码进行模拟输出，无时延体验真实硬件处理效果，支持处理音频、视频、图片多模态数据。无缝对接云服务，便捷调用对接华为云ModelArts AI开发平台，整合OCR、NLP等多模态服务API，并统一管理SDK及API版本，方便开发端云协同的AI应用。入门级技能模板，快速上手提供Python、C++版本的多个技能模板，包含模型与逻辑代码可供AI开发者参考，点击运行便能立即看到技能输出效果。节省硬件开发成本，方便移动办公没有端侧设备也可以完成开发，且支持多人共享同一个Ascend 310设备，节省费用。纯云侧开发，方便移动、在家办公。还等什么？点击这里，告诉你如何申请HiLens Studio公测！如何使用HiLens Studio1、创建项目创建新项目，或者直接打开已有项目。创建新项目时，您可以选择技能模板，包含了模型、逻辑代码、测试数据和使用说明，方便您快速上手。2、代码编辑及调试−  内置转换工具，便捷模型转换−  编辑逻辑代码，完成技能开发    通过调用HiLens Framework接口，大大提升开发效率。−  进行代码调试    Studio中提供了代码调试、代码错误检查、一键编译、日志查看等常用工具，让您的开发流程更便捷。3、模拟技能输出−  上传数据     上传视频、图片等测试数据，或直接使用预置测试数据。−   模拟     运行技能，在模拟器中将模拟技能的输出，模拟器与真实HiLens Kit环境几乎一致，您可以在云上完成AI技能开发全流程。4、安装/发布/管理技能−   安装到真实设备运行     完成技能开发后，一键安装技能到HiLens Kit上运行，您无需再进行适配操作。 −   技能的发布、管理和运维     在Studio中可将技能一键发布到技能市场，供其他人购买和安装。也可进行技能的管理和运维。想小试牛刀？以口罩识别技能为例，点击这里，带你快速熟悉HiLens Studio的使用方法！想大展身手？点击这里，端到端告诉你如何玩转HiLens Studio！

【重要公告】《开发者最佳实践挑战营》第八期活动已结束打卡名单及邀请名单已公示见：FAQ帖>>>注：统计截止2020年12月31日24:00前打卡数据为保证您顺利领取活动奖品，请全通关和获得邀请TOP奖的伙伴提前填写下方奖品收货信息链接。填写截止时间为1月8日，如您没有填写，视为放弃奖励填写地址请戳我>>欢迎参加华为云“开发者最佳实践挑战营”第八期这是本次挑战营的第8关，坚持闯关成功有机会获12900码豆/机械键盘/背包等精美好礼！本期活动截止12月31日。注意：参与闯关前，请确保已报名加入活动群并领取实践资源，如未入群请添加小助手微信（hwpaas01），回复“最佳实践”进入学习交流群！点击这里了解活动详情>>  | 点击这里查看活动FAQ>>为避免无法发放码豆，请从未登录过会员中心的用户需提前登陆下DevCloud会员中心本案例将详细介绍怎样用AI开发平台ModelArts自动学习基于美食数据集快速构建美食识别应用。什么是AI开发平台ModelArts？ModelArts是一站式的AI开发平台。ModelArts自动学习具有零代码、零AI背景、泛化能力强的特点，用户无需编码，无需AI背景，就可以使用自动学习快速构建自己的AI应用。（1）实践资源说明： ①   按本关实践指导文档操作，选用自动学习免费规格；②   对象存储服务 OBS：标准存储价格￥0.099/GB/月起，实践完后请及时删除存储文件。点击了解价格详情>> 实践ModelArts +OBS总费用预计：0元≤实践费用＜1元。点击这里预先领取AI开发平台新人福利100元按需代金券，可用于OBS按需使用；（2）最佳实践指南：点击查看实践指南>> （3）实践前准备：点击查看实践前准备视频演示>>（4）视频操作演示：点击查看实践视频演示>>任务一：根据实践指南完成实践操作（可查看实践视频演示）， 将完成模型训练截图、服务测试预测结果截图，并按回帖格式要求在本帖中回帖；1.【通关、参与奖励&规则】点击这里填写报名登记表，完成提交可获100码豆（已提交的可忽略）① 参与奖励：每关完成创建实例可获100码豆，共8关最高可获得800码豆；② 通关奖励：通过2关赠送：2000码豆（可选关）通过4关赠送：4000码豆（可选关）通过6关赠送：6000码豆（可选关）通过8关赠送：8000码豆（全通关）取通关最高数发放码豆，全通关可额外获得旅行本（套装）1本（限量100本取最先全通关者发放）和“开发者最佳实践挑战达人”荣誉证书；全通关用户点击填写问卷，以便证书发放；2.【邀请奖励】：每邀请1位好友并成功完成1关或多关实践并打卡，可额外获得1000码豆（最高可获得3000码豆）；3.【邀请TOP榜奖励】：邀请好友并完成1关或多关实践并打卡，邀请榜前3可获得机械键盘（雷柏）1个，邀请榜4-10名可获得华为云定制背包1个（如有并列取最先邀请完成打卡者）4.【分享奖励】：点击这里进入分享活动（最高可获1000码豆）>>>5.【邀请有礼】：点击这里进入邀请好友报名活动瓜分30万码豆，（最高可获得66666码豆）>>>活动结束后5个工作日内公示通关名单，15个工作日内发放码豆奖励； 码豆有什么用？码豆为虚拟货币可用于在华为云码豆会员中心-兑换商城中进行实物/虚拟礼品的兑换（礼品会不定期更换）兑换礼品点击查看：华为云专属码豆商城>>> 请务必按照以下格式要求进行回帖，否则无法计算奖励：1、华为云账号：xxx（即右上角的字母数字组合ID）2、邀请人华为云账号：xxx（即右上角的字母数字组合ID，如无就不填）3、实践感想：（如对课程内容、产品体验的建议或感想等）4、体验任务截图：（打卡样例图）注：华为云账号请勿填错，如填错码豆无法发放到账。实践截图：至少包含（a）完成训练模型截图（b）服务测试预测结果截图，共2张截图例1-完成模型训练截图：截图需包含右上角华为云账号例2-服务测试预测结果截图：【快速传送门】第1关任务：基于API网关的电话号码归属地查询第2关任务：使用函数工作流服务为图片打水印第3关任务：使用Redis实现排行榜功能第4关任务：使用DMS Kafka优化消费者poll第5关任务：使用CPTS进行电商网站性能测试第6关任务：基于ServiceStage的天气预报应用部署第7关任务：使用CloudIDE在云端环境开发AI交付实操第8关任务：使用ModelArts实现零代码美食分类模型开发>>点击进入：开发者最佳实践挑战营第八期活动页>>点击进入：活动FAQ帖>>点击进入：邀请有礼，瓜分30万码豆，最高可获66666码豆！>>点击进入：分享任务，获码豆换好礼！

赵筱磊，华为云MVP，有着15年的信息化软件架构设计、开发与管理经验，目前任职于天津市万贸科技有限公司，担任技术研究院副院长兼技术总监。现主要从事以AI为驱动的信息化软件研发工作。他认为AI是驱动未来科技的核心引擎，它能以我们从不敢想象的步伐完成各种快速试错，从而在我们无法预见的点产生无法预见的突破。AI开发道阻且长，许多开发者在这条路上磕磕绊绊前行，踩过坑，失败过，赵筱磊老师是其中比较特殊的存在。而之所以会特殊，是因为华为云给他们团队的AI研发打开了一扇新世界的大门。开启AI革命的隐藏钥匙赵筱磊有着15年的信息化软件架构设计、开发与管理经验，现主要从事以AI为驱动的信息化软件研发工作。他认为AI是驱动未来科技的核心引擎，它能以突破想象力的步伐完成各种快速试错，从而在我们无法预见的点产生无法预见的突破。实际上，人工智能并不是一个全新的话题，它已经经历了多次潮起潮落。技术的进步也在不断地推动它的进化，直到阿尔法狗击败李世石的那一年，AI瞬间吸引了所有人的注意力。很多人都认为一个属于人工智能的全新时代即将开启，AI很快会在全社会中普及。从技术底层来看，互联网热潮下产生的海量数据确实给一直困扰人工智能发展的难题提供了解决办法，智能问题被转换成了统计学问题，而计算机的强项正是处理统计数据。在赵筱磊看来，开启这次智能革命的三把金钥匙就是数据、算法和算力，它们的技术突破正推动AI应用的逐步落地。但是，如果要驾驭这次革命，还需要另外一把隐藏的钥匙，那就是一个“一站式”的AI平台：它能把一堆复杂的技术、对象、流程整合成一个简单的产品，把简单的体验交给用户，把复杂留给自己。“这是一种艺术，它能辅助AI在更广阔的的空间中无限的延伸，也能将复杂的AI工作转化为一次精彩的探索之旅。”赵筱磊认为华为云的ModelArts就是满足上述条件的一个“艺术品”。牵手ModelArts，找到AI开发的“解药”在接触人工智能前，赵筱磊已经在技术岗位上工作了11个年头，目前担任国内某科技公司的技术研究院副院长兼技术总监一职。从嗅到智能革命硝烟的那一刻起，他果断地将研究的目光投向了这个蓄势待发的领域，在项目中学习、成长，至今赵筱磊已经成功主导完成了多项涉及AI技术的项目。不过，在早期的研发过程中，赵筱磊遇到了不少棘手的难题，比如从数据收集、处理，模型训练、管理到发布，AI开发基本都处于一种“乡间作坊”工作模式。这种工作方式不仅效率低下，而且不利于新人的培养，让人才培训成本居高不下。同时，上线后模型的工作性能受物理硬件的限制，横向扩展耗时耗力，资源利用率也无法有效保障。鉴于上述这些问题，团队急需找到改善这种情况的解药，此时，华为云ModelArts恰好走入赵筱磊的视野中。在2018年的华为全联接大会上，赵筱磊开始接触华为云，那时的他觉得以华为的技术力和影响力，必将在云计算的领域掀起一股新的浪潮。也正是在这一年，华为发布了AI开发平台ModelArts以及视觉AI应用开发平台HiLens。一年后，赵筱磊正式上手ModelArts，ModelArts的定位是面向不同层次AI开发者的整合型AI平台，它可以让AI开发变得更简单、方便，打通AI开发的各个环节。从技术上看，ModelArts的底层支持各种异构计算资源，开发者可以根据需要灵活选择使用，并不需要关心底层的技术。同时，ModelArts支持Tensorflow、MXNet等主流开源的AI开发框架，也支持开发者使用自研的算法框架，可以更好的匹配研发人员的使用习惯。更为关键的是，ModelArts还提供海量数据预处理、半自动化标注、大规模分布式训练、等AI应用开发服务，支持端-边-云模型按需部署能力。ModelArts的这些特性正好可以解决 “乡间作坊”式的AI开发弊端，成为赵筱磊一直寻找的解药。随后在新项目的建设过程中，赵筱磊和他的团队全面地应用了ModelArts，完成了某大型国企的《XXXX巡检图像隐患缺陷智能解译应用》重点项目，同期还应用了华为云OCR、软开云、CCE等产品，打造了《XXXX疫情防控人员车辆核查系统》等应用。在这些项目的建设过程中，研发团队深深地感受到了华为云产品的魅力，也为后期在圈内推广华为云奠定了良好的经验基础。如今的ModelArts，在经过去三个版本的迭代之后，已经进化成可以0代码完成模型训练、一键部署。今年，华为云发布了面向企业级AI应用开发的ModelArts Pro，并在刚刚过去的全联接大会上，推出了ModelArts 3.0，将普惠AI进行到底。端云协同，开启新的AI之旅ModelArts之外，视觉AI应用开发平台HiLens也是赵筱磊非常中意的一个产品。众所周知，在智能巡检应用领域，网络的带宽和稳定性一直是制约应用表现的主要因素，端云协同是该领域架构选型的大势所趋。其中，端侧对采集的数据进行本地分析，可以大大减少上云数据流量，节约存储成本。同时，端侧设备可协同云侧在线更新模型，快速提升端侧精度。赵筱磊提到，“在智能巡检应用的后续产品升级过程中，华为云HiLens是非常理想的技术选型。”他们已经在巡检机器人和巡检无人机上搭载了HiLens。实践案例证明，HiLens能很好的实现端云协同，降低系统的整体研发难度，提供跨平台的设计，并针对端侧芯片提供模型转换和算法优化。同时，HiLens提供了丰富的技能市场，并在其中预置多种技能，用户可以省去开发步骤，直接从技能市场中选取所需技能，快速部署在端侧。值得注意的是，技能市场的多种模型，还特地针对端侧设备内存小、精度低等不足做了大量算法优化。当前，赵筱磊和团队攻关的科技重大专项与工程《智能化目标识别跟踪系统及在电力巡线中的示范应用》已经接近收尾，在项目的研发过程中，华为云EI的人工智能产品扮演了重要的角色。也正是有了像ModelArts和HiLens这样的AI开发平台，赵筱磊和团队才可以将精力全部聚焦于算法研究上，把大部分的“体力活”交给华为云，而且在此过程中，华为云的技术大咖也就一些问题给予了专业的支持。赵筱磊最后感慨道：“有了华为云，我们的团队如虎添翼，无坚不摧，华为云EI堪称艺术的产品”。

历天一，华为云·云享专家，天津大学2020级电子信息专业研究生，认证方向ModelArts与Atlas 200 DK、HiLens端云协同开发，HERO高校联盟——天津大学华为云联盟盟主。参加2020第二届华为云人工智能大赛 · 无人车挑战杯，获优胜奖。繁多的AI工具安装配置、数据准备、模型训练慢是困扰许多AI工程师的难题，也让一些想要转型AI开发的初学者望而却步。不过，华为云云享专家历天一认为这些难题在ModelArts面前都是小菜一碟。历天一是天津大学电子信息专业的研究生，目前他已经借助ModelArts和HiLens部署开发了一系列AI应用。作为一个从零开始接触AI的“初学开发者”，历天一是如何凭借易用的工具平台走上AI开发的康庄大道呢？ 和ModelArts的初次遇见人工智能自1956年被首次提出以来，走过了半个多世纪的风雨历程，时至今日，已经发展到前所未有的新高度。AI像所有科学或技术发展那样，落地应用到各行各业的实际生产生活中，才能产生价值。然而AI应用落地除去鲁棒性强的算法以外，还需要海量标注好的数据、强大的算力平台以及具体的应用场景。这背后是无数精英和强大算力的支撑，一般是由财力雄厚的大公司来做，对于个人开发者来说，显得有些遥不可及。历天一转而说道，“直到她的出现，仿佛黑暗中的一道光，照亮了前行的路，她就是ModelArts。ModelArts直译过来是模型艺术，在历天一看来，这个英文翻译完美贴合了ModelArts，因为这个AI平台不仅是模型，更是艺术。“初次相见是在我选修的一门课上，实验环节需要基于已有的交通标志数据集，构建模型，完成标志检测的模型训练验证，我们当时使用的就是ModelArts的开发环境NoteBook。” 第一次使用ModelArts给历天一的印象极为深刻，他也感触颇多，“当时Tesla V100的强大硬件算力和自动配置好的开发环境可以做到“开箱即用”，让我专注于模型的构建，大大加快开发速度。而且ModelArts简洁清晰的操作界面也很具有设计美感，如艺术般优雅。”这次愉快的实践体验，也为历天一之后更多地了解和使用ModelArts埋下了伏笔。 ModelArts+HiLens，端云协同开发如果和ModelArts的相遇已经很美好了，那么HiLens无疑给历天一带来了新的惊喜。当时历天一需要做一个从数据集、训练，再到部署的全流程开发，他从华为云官网进入ModelArts界面时，偶然看到全新发布的HiLens，抱着好奇的心理，点进去看了看。“端云协同、开箱即用、16TOPS的强大算力……一个个映入我的眼帘，这不就是我想要找的部署设备吗？”就这样，在天时地利人和下，历天一开始了基于华为云ModelArts和HiLens的端云协同开发之路。至于ModelArts和HiLens到底有多便捷好用，并能完美解决AI开发过程的难题，且听他慢慢道来。第一个问题是数据标注使用。要找到标注好的开源数据集并不难，但如何充分利用数据集是需要思考的问题。针对部署的应用场景来说，数据集的分布、特性对训练效果有较大影响。对此，历天一表示，“使用ModelArts的数据集管理功能，不仅能可视化所有数据，还可以分析数据集的一些特性，自己也能进行标注的修改，更贴心的是数据集发布与后面的训练部署打通，实现一站式AI全流程开发。”第二个问题是调参，也可以称为“炼丹”。在训练中，最主要的工作就是进行参数调整，由于不同的调参对最终模型的精度影响很大，需要不断重复地测试微调，工作量较大。同样，如果使用ModelArts AI市场中的算法，这个问题就简单多了。AI市场中有许多预训练模型，可以实现关键参数的一键式填写，从而让训练调参变得简单好懂，即使小白也能轻松掌握。第三个问题是硬件算力支撑。模型训练一般需要使用昂贵的GPU进行训练加速，而且时间较长、费用不低。“虽然我使用的数据集较小，但也是一个问题。”不过，华为云的学生开发者扶持计划解决了他的后顾之忧：18元即可购买为期一年的25小时优惠套餐，包含32GB Tesla V100的算力。最后是模型部署问题（当时还没有HiLens Stuido）。由于HiLens使用的是Ascend 310处理器，它需要运行专门的om模型，所以要进行模型转换。“ModelArts这方面做的很周到，提供了专门的转换模板，简单设置即可完成模型转换，并保存到OBS中。后期部署到HiLens时，可以直接从OBS导入，真的是云端训练与部署无缝衔接。”至此，得益于ModelArts自身平台提供的完善AI开发流程和与HiLens良好的端云协同，历天一的小项目从零开始已经接近完成了。复杂交给平台，开发者只需专注代码的编写总结这次使用ModelArts和HiLens的端云协同开发，历天一也有很多收获和惊喜。“比如使用OpenCV做图像处理的时候，最终处理后的图像输出显示要求是NV12/NV21格式，但OpenCV原生并未提供RGB/BGR到NV12/NV21的转换。HiLens Framework十分贴心的提供了转换接口，让我们简单调用一下就能完成自己想要的功能，真的是很人性化。”目前，HiLens Framework已经开源了，有兴趣的小伙伴可以一探究竟。另外，HiLens对于底层硬件的调用做了很好的封装。如果想使用HiLens自带的摄像头，或者需要将输出处理后的图像传到HDMI，只需简单一句话即可完成。“让开发者只需专注代码的编写，复杂的、与底层硬件的交互全部由HiLens Framework做好。”历天一强调，“如果不是借助ModelArts和HiLens，恐怕很难这么快完成训练部署。”相信有很多和历天一一样希望自己训练部署的小伙伴，会在开发过程中遇到各种各样的问题和挑战，而且很可能因此与AI应用开发失之交臂。不妨也来试试华为云的ModelArts和HiLens，说不定所有难题都能在这里迎刃而解。在今年的华为全联接大会上，历天一向众多开发者总结了他一路以来使用华为云AI平台的感受：“我是幸运的，认识了ModelArts和HiLens，很感谢这两个平台，希望以后能与更多开发者一起携手ModelArts发展成长。”