-
摘要:华为云AI开发平台ModelArts黑科技加持AI研发,让模型开发更高效、更简单,降低AI在行业的落地门槛。全面的可视化评估以及智能诊断功能,使得开发者可以直观了解模型各方面性能,从而进行针对性的调优。今年,全新发布的华为云ModelArts备受关注,创新黑科技成为AI界团宠。模型构建一直是AI落地行业遇到的挑战之一,尤其是如何对即将部署上线的模型进行评估和诊断,以确保研发是否满足业务需求,保证AI产品的质量水平,让评测结果优秀的模型直接投入生产环境,对差强人意的模型进行调优。华为云AI开发平台ModelArts黑科技加持AI研发,让模型开发更高效、更简单,降低AI在行业的落地门槛。全面的可视化评估以及智能诊断功能,使得开发者可以直观了解模型各方面性能,从而进行针对性的调优。全方位为AI模型体检,降低AI研发门槛长期以来,模型调优通常过于依赖数据科学家或算法工程师的个人经验,这就导致开发一个最优AI模型门槛高、代价大。另一方面,除了模型精度等常用指标之外,要将模型部署在生产环境,就必须考虑其性能、可解释性、鲁棒性、抗攻击性等其他指标。对于大多数数据科学家或算法工程师而言,这些指标的分析和优化并不是非常直观。这就导致AI模型进入生产环境困难重重。为了解决上述两方面的问题,华为云ModelArts通过平台内置的工具帮助用户自动分析和评估出模型的各项指标,相当于生成模型的“体检报告”,并给出优化建议,用户可根据优化建议进一步提升模型效果或者决定是否将其部署到生产环境。模型评估诊断更智能,调优更具针对性ModelArts可提供精度、敏感度、计算性能、对抗性等指标的分析和诊断,并辅助热力图、抽象特征分布等手段便于理解模型和数据分布情况。1.可视化呈现样本预测值和真实值,数据分析更直观在精度方面,ModelArts提供了混淆矩阵、ROC等常用指标,将每个样本的预测值和真实值可视化呈现,便于用户基于原始数据进行深入分析。例如花卉识别场景,由于花卉种类繁多,同一类别下花卉差异性小,对AI模型的精度要求就会更高。ModelArts对图像识别模型精度进行精确评估,保证花卉识别的准确性。基于ModelArts的图像分类模型预测结果展示2.切分数据集细化模型敏感度分析,优化建议更聚焦在敏感度分析方面,ModelArts根据数据集的一些基础特性(例如图像的亮度、清晰度等特征,或者文本的长度等特征)将原始数据集切分为不同的子集,然后在不同的子集上评估模型的精度指标,即可分析出该模型对于不同特征的敏感度,进而为模型优化提供方向。当图像亮度对模型精度影响波动比较大时,需要再重训练时对亮度进行增强。基于ModelArts的抽象特征敏感度分析及其诊断建议3.深入AI底层系统算子优化,具象化模型计算性能分析在计算性能方面,ModelArts可针对常用框架训练的模型进行细粒度性能分析,可以分析出算子的推理时长和参数量分布,为算子优化和模型压缩提供方向。基于ModelArts的模型计算性能分析4.内置多种攻击算法,多维度评估模型对抗性在对抗性评估方面,ModelArts内置了多种攻击算法,针对模型进行攻击并输出攻击成功率以及被攻击后的模型的精度指标,如图4所示。根据诊断建议,可以发现模型在某些类别上更容易受到攻击,可以通过进一步的数据增强来优化。对于模型中潜在的容易受到攻击的算子,ModelArts也可以自动做出相应的提示。从图5中,可以看出,被攻击后ROC曲线明显不如被攻击之前。因此,不建议该模型直接部署到生产环境,而需要先根据ModelArts诊断建议进行进一步优化。图4. 基于ModelArts的模型对抗性攻击评估和诊断(a)(b)图5. 模型被攻击前(a)和被攻击后(b)的ROC曲线三大场景智能评估和诊断,模型调优有的放矢目前,模型智能评估与诊断支持三种类型的模型和数据集,“图像分类”、“物体检测”和“语义分割”,让用户全面了解模型对不同数据特征的适应性,使得模型调优可以做到有的放矢。假如要对五类食品的图像进行分类,使用ModelArts市场订阅的ResNet_V1_50算法训练,第一次训练得到的模型在测试集上进行评估,精度为54.8%,在敏感度分析中,可以发现模型对图像亮度的敏感度非常大,不同亮度区间里模型精度的方差达到0.249,建议进行亮度方面的数据扩增。扩增数据后重新训练模型,使用相同测试集进行模型评估,精度上升到63.4%,不同亮度区间里模型精度的方差下降到0.217。在对安全帽的检测任务中,使用ModelArts市场订阅的物体检测-EfficientDet算法训练,在验证集上获得74.8%mAP。根据建议进行数据扩增,点击二次训练按钮,推荐的训练参数会自动加载到新的训练任务中。训练结束后,查看评估结果,验证集mAP有显著提升。华为云ModelArts的黑科技功能不止于自动化模型评估与诊断功能。运用ModelArts,机器狗可以实现工业巡检,自动识别火情、规划路径、关闭火情按钮;雨林保护组织里的护林员可以更好地保护蜘蛛猴等濒危动物;同济大学的学生们基于ModelArts平台建立了一套湿地数字孪生系统帮助杭州湾的候鸟得到更好的保护和科研……后续将为大家带来更多ModelArts创新技术揭秘。华为云ModelArts通过持续创新,打造最强AI黑科技,使AI可以更好地进入生产生活,加速AI在产业的落地和深入,扩大AI应用的覆盖面,进一步释放AI技术红利,让更多企业可以借力AI进行转型升级。
-
12月18日,2020 ICT影响力峰会·中国软件大会在北京举办,华为云一站式AI开发平台ModelArts凭借领先的技术创新和产品竞争力荣获2020中国软件和信息服务业“人工智能领域最佳产品”。中国软件大会作为我国软件和信息技术服务产业一年一度最高规格的精英盛会,以“筑强软件之基,拥抱数字蝶变”为主,全面系统总结行业年度成就,展现行业领导地位和技术权威观点言论的最佳舞台。
-
数据反映了真实世界的状况,没有高质量的数据,最好的算法也无济于事。创建一个更好的数据集对AI开发有至关重要的意义,但是一个高质量的数据集需要开发者投入巨大的时间与精力。还在为散乱无章的数据发愁吗?还在为训练没有更多数据发愁吗?还在为处理数据投入大量时间发愁吗?ModelArts数据预处理功能集成了大量数据处理算法,为您提供一个更好的数据集。初识ModelArts数据预处理当数据采集和接入之后,数据一般是不能直接满足训练要求的。ModelArts平台提供的数据预处理功能帮助您从海量的数据中抽取或者生成有价值、有意义的数据,为您后续的数据标注、模型训练保驾护航。ModelArts为您提供以下四种类型的数据预处理: 数据清洗数据清洗是指对数据进行去燥、纠错或补全的过程。数据清洗是在数据校验的基础上,对数据进行一致性检查,处理一些无效值。例如在深度学习领域,可以根据用户输入的正样本和负样本,对数据进行清洗,保留用户想要的类别,去除用户不想要的类别。图中,花朵数据集经过数据清理后去除了样本中非花朵的图片。数据选择数据选择一般是指从全量数据中选择数据子集的过程,可以通过相似度或者深度学习算法进行选择。数据选择可以避免人工采集图片过程中引入的重复图片、相似图片等问题;在一批输入旧模型的推理数据中,通过内置规则的数据选择可以进一步提升旧模型精度。图中,花朵数据集经过数据选择后去除了相似和重复图片。数据校验数据校验是指对数据可用性的基本判断和验证的过程。ModelArts支持对图片和标注进行可用性校验:♦图片类数据校验异常情况处理方案图片本身损坏无法解码过滤掉不能解码的图片图片通道可能是1通道、2通道,不是常用的3通道转换图片成RGB三通道 图片格式不在ModelArts支持的格式范围内转换图片格式至jpg格式图片后缀与实际格式不符,但格式在MA支持的格式内后缀转换成与实际格式一致图片后缀与实际格式不符,且格式不在MA支持的格式内转换图片格式至jpg格式图片分辨率过大宽、高按指定大小同比例进行裁剪♦标注类文件数据校验异常情况处理方案xml结构残缺,无法解析过滤xml文件xml中没有标注“object”过滤xml文件xml中没有矩形框“bndbox”过滤xml文件某些标注“object”中没有矩形框“bndbox”过滤标注“object”图片经过裁剪后,xml文件中宽高不符修改错误宽高参数为图片真实宽高xml中没有“width”、“height”字段根据图片真实宽高补全xml中的“width”、“height”字段和值图片经过裁剪后,xml中矩形框“bndbox”大小不符按图片裁剪比例缩放xml文件中“bnxbox”值xml中矩形框“bndbox”宽或高值过小,显示为一条线矩形框宽或高差值小于2,移除当前“object”xml中矩形框“bndbox”最小值大于最大值移除当前“object”矩形框“bndbox”超出图片边界,且超出部分占框面积50%以上移除当前“object”矩形框“bndbox”超出图片边界,但超出部分小于框面积50%矩形框“bndbox”拉回到图片边界 数据增强数据增强用于训练数据集不足或需要仿真的场景。他通过数据扩增、数据生成方式对已有的数据集完成指定的变换操作,实现增加数据量的目的。ModelArts提供以下算子扩增您的数据集:算子算子说明Rotate旋转Blur模糊化处理LightArithmetic亮度增强Saturation色度饱和度增强Grayscale图片灰度化LightContrast亮度对比度增强HistogramEqual直方图均衡化Sharpen图像锐化Flip翻转MotionBlur运动模糊Resize调整图片大小Padding图片填充,在边缘添加黑色的边Crop图片裁剪,随机裁剪图片的一部分作为新的图片Weather添加天气,模拟天气效果CutOut随机擦除,用于模拟物体被障碍物遮挡Translate图片平移Scale图片缩放Shear图片错切AddNoise添加噪声 图形化界面实现数据预处理ModelArts为用户提供简单的图形化界面,您只需要动动鼠标,就能完成指定的数据预处理任务。上传您的数据集至OBS。OBS是MordelArts存储数据的仓库。上传点这里。创建数据预处理任务,您需要填写下图中的参数,详细介绍点这里。等待几分钟后任务完成,您可以查看日志和结果展示。更多ModelArts数据预处理介绍数据预处理简介数据增强:使用数据增强,解决数据不足和数据集不均衡的情况数据校验:给你的数据做个体检吧数据选择:使用数据选择,去除重复数据数据清洗:数据清洗去除您的数据集中无关类别
-
还在为花时间安装配置编译环境苦恼?还在为购买开发板/GPU犹豫不决?一个提供给开发者的多语言类集成开发环境HiLens Studio横空出世,为你扫清一切烦恼,打造你梦想中的AI开发平台!初识HiLens StudioHiLens Studio 是华为HiLens平台提供的云侧集成开发环境及HiLens Kit模拟器。具备纯云侧集成开发、模拟运行的能力,并可将技能部署至HiLens Kit端侧设备上。开发者也可以在HiLens Studio中发布技能到华为HiLens平台的技能市场,共享给其他用户。为什么使用HiLens Studio开发技能无需环境搭建,纯云侧开发环境支持纯云的开发及调试、无任何本地安装、搭建过程。开箱即用的AI应用开发云侧强大IDE,集成代码编辑、调试、编译、模拟、部署和发布全流程功能,端到端完整支持开发和运维。端云统一开发框架,一键部署云侧通过开发框架HiLen Framework进行数据接入、数据处理和模型推理,接口简易。完成技能开发后,一键部署到Ascend 310端侧设备上运行。内嵌模拟器,支持多模态应用开发对开发中的技能代码进行模拟输出,无时延体验真实硬件处理效果,支持处理音频、视频、图片多模态数据。无缝对接云服务,便捷调用对接华为云ModelArts AI开发平台,整合OCR、NLP等多模态服务API,并统一管理SDK及API版本,方便开发端云协同的AI应用。入门级技能模板,快速上手提供Python、C++版本的多个技能模板,包含模型与逻辑代码可供AI开发者参考,点击运行便能立即看到技能输出效果。节省硬件开发成本,方便移动办公没有端侧设备也可以完成开发,且支持多人共享同一个Ascend 310设备,节省费用。纯云侧开发,方便移动、在家办公。还等什么?点击这里,告诉你如何申请HiLens Studio公测!如何使用HiLens Studio1、创建项目创建新项目,或者直接打开已有项目。创建新项目时,您可以选择技能模板,包含了模型、逻辑代码、测试数据和使用说明,方便您快速上手。2、代码编辑及调试− 内置转换工具,便捷模型转换− 编辑逻辑代码,完成技能开发 通过调用HiLens Framework接口,大大提升开发效率。− 进行代码调试 Studio中提供了代码调试、代码错误检查、一键编译、日志查看等常用工具,让您的开发流程更便捷。3、模拟技能输出− 上传数据 上传视频、图片等测试数据,或直接使用预置测试数据。− 模拟 运行技能,在模拟器中将模拟技能的输出,模拟器与真实HiLens Kit环境几乎一致,您可以在云上完成AI技能开发全流程。4、安装/发布/管理技能− 安装到真实设备运行 完成技能开发后,一键安装技能到HiLens Kit上运行,您无需再进行适配操作。 − 技能的发布、管理和运维 在Studio中可将技能一键发布到技能市场,供其他人购买和安装。也可进行技能的管理和运维。想小试牛刀?以口罩识别技能为例,点击这里,带你快速熟悉HiLens Studio的使用方法!想大展身手?点击这里,端到端告诉你如何玩转HiLens Studio!
-
-
【重要公告】《开发者最佳实践挑战营》第八期活动已结束打卡名单及邀请名单已公示见:FAQ帖>>>注:统计截止2020年12月31日24:00前打卡数据为保证您顺利领取活动奖品,请全通关和获得邀请TOP奖的伙伴提前填写下方奖品收货信息链接。填写截止时间为1月8日,如您没有填写,视为放弃奖励填写地址请戳我>>欢迎参加华为云“开发者最佳实践挑战营”第八期这是本次挑战营的第8关,坚持闯关成功有机会获12900码豆/机械键盘/背包等精美好礼!本期活动截止12月31日。注意:参与闯关前,请确保已报名加入活动群并领取实践资源,如未入群请添加小助手微信(hwpaas01),回复“最佳实践”进入学习交流群!点击这里了解活动详情>> | 点击这里查看活动FAQ>>为避免无法发放码豆,请从未登录过会员中心的用户需提前登陆下DevCloud会员中心本案例将详细介绍怎样用AI开发平台ModelArts自动学习基于美食数据集快速构建美食识别应用。什么是AI开发平台ModelArts?ModelArts是一站式的AI开发平台。ModelArts自动学习具有零代码、零AI背景、泛化能力强的特点,用户无需编码,无需AI背景,就可以使用自动学习快速构建自己的AI应用。(1)实践资源说明: ① 按本关实践指导文档操作,选用自动学习免费规格;② 对象存储服务 OBS:标准存储价格¥0.099/GB/月起,实践完后请及时删除存储文件。点击了解价格详情>> 实践ModelArts +OBS总费用预计:0元≤实践费用<1元。点击这里预先领取AI开发平台新人福利100元按需代金券,可用于OBS按需使用;(2)最佳实践指南:点击查看实践指南>> (3)实践前准备:点击查看实践前准备视频演示>>(4)视频操作演示:点击查看实践视频演示>>任务一:根据实践指南完成实践操作(可查看实践视频演示), 将完成模型训练截图、服务测试预测结果截图,并按回帖格式要求在本帖中回帖;1.【通关、参与奖励&规则】点击这里填写报名登记表,完成提交可获100码豆(已提交的可忽略)① 参与奖励:每关完成创建实例可获100码豆,共8关最高可获得800码豆;② 通关奖励:通过2关赠送:2000码豆(可选关)通过4关赠送:4000码豆(可选关)通过6关赠送:6000码豆(可选关)通过8关赠送:8000码豆(全通关)取通关最高数发放码豆,全通关可额外获得旅行本(套装)1本(限量100本取最先全通关者发放)和“开发者最佳实践挑战达人”荣誉证书;全通关用户点击填写问卷,以便证书发放;2.【邀请奖励】:每邀请1位好友并成功完成1关或多关实践并打卡,可额外获得1000码豆(最高可获得3000码豆);3.【邀请TOP榜奖励】:邀请好友并完成1关或多关实践并打卡,邀请榜前3可获得机械键盘(雷柏)1个,邀请榜4-10名可获得华为云定制背包1个(如有并列取最先邀请完成打卡者)4.【分享奖励】:点击这里进入分享活动(最高可获1000码豆)>>>5.【邀请有礼】:点击这里进入邀请好友报名活动瓜分30万码豆,(最高可获得66666码豆)>>>活动结束后5个工作日内公示通关名单,15个工作日内发放码豆奖励; 码豆有什么用?码豆为虚拟货币可用于在华为云码豆会员中心-兑换商城中进行实物/虚拟礼品的兑换(礼品会不定期更换)兑换礼品点击查看:华为云专属码豆商城>>> 请务必按照以下格式要求进行回帖,否则无法计算奖励:1、华为云账号:xxx(即右上角的字母数字组合ID)2、邀请人华为云账号:xxx(即右上角的字母数字组合ID,如无就不填)3、实践感想:(如对课程内容、产品体验的建议或感想等)4、体验任务截图:(打卡样例图)注:华为云账号请勿填错,如填错码豆无法发放到账。实践截图:至少包含(a)完成训练模型截图(b)服务测试预测结果截图,共2张截图例1-完成模型训练截图:截图需包含右上角华为云账号例2-服务测试预测结果截图:【快速传送门】第1关任务:基于API网关的电话号码归属地查询第2关任务:使用函数工作流服务为图片打水印第3关任务:使用Redis实现排行榜功能第4关任务:使用DMS Kafka优化消费者poll第5关任务:使用CPTS进行电商网站性能测试第6关任务:基于ServiceStage的天气预报应用部署第7关任务:使用CloudIDE在云端环境开发AI交付实操第8关任务:使用ModelArts实现零代码美食分类模型开发>>点击进入:开发者最佳实践挑战营第八期活动页>>点击进入:活动FAQ帖>>点击进入:邀请有礼,瓜分30万码豆,最高可获66666码豆!>>点击进入:分享任务,获码豆换好礼!
-
赵筱磊,华为云MVP,有着15年的信息化软件架构设计、开发与管理经验,目前任职于天津市万贸科技有限公司,担任技术研究院副院长兼技术总监。现主要从事以AI为驱动的信息化软件研发工作。他认为AI是驱动未来科技的核心引擎,它能以我们从不敢想象的步伐完成各种快速试错,从而在我们无法预见的点产生无法预见的突破。AI开发道阻且长,许多开发者在这条路上磕磕绊绊前行,踩过坑,失败过,赵筱磊老师是其中比较特殊的存在。而之所以会特殊,是因为华为云给他们团队的AI研发打开了一扇新世界的大门。开启AI革命的隐藏钥匙赵筱磊有着15年的信息化软件架构设计、开发与管理经验,现主要从事以AI为驱动的信息化软件研发工作。他认为AI是驱动未来科技的核心引擎,它能以突破想象力的步伐完成各种快速试错,从而在我们无法预见的点产生无法预见的突破。实际上,人工智能并不是一个全新的话题,它已经经历了多次潮起潮落。技术的进步也在不断地推动它的进化,直到阿尔法狗击败李世石的那一年,AI瞬间吸引了所有人的注意力。很多人都认为一个属于人工智能的全新时代即将开启,AI很快会在全社会中普及。从技术底层来看,互联网热潮下产生的海量数据确实给一直困扰人工智能发展的难题提供了解决办法,智能问题被转换成了统计学问题,而计算机的强项正是处理统计数据。在赵筱磊看来,开启这次智能革命的三把金钥匙就是数据、算法和算力,它们的技术突破正推动AI应用的逐步落地。但是,如果要驾驭这次革命,还需要另外一把隐藏的钥匙,那就是一个“一站式”的AI平台:它能把一堆复杂的技术、对象、流程整合成一个简单的产品,把简单的体验交给用户,把复杂留给自己。“这是一种艺术,它能辅助AI在更广阔的的空间中无限的延伸,也能将复杂的AI工作转化为一次精彩的探索之旅。”赵筱磊认为华为云的ModelArts就是满足上述条件的一个“艺术品”。牵手ModelArts,找到AI开发的“解药”在接触人工智能前,赵筱磊已经在技术岗位上工作了11个年头,目前担任国内某科技公司的技术研究院副院长兼技术总监一职。从嗅到智能革命硝烟的那一刻起,他果断地将研究的目光投向了这个蓄势待发的领域,在项目中学习、成长,至今赵筱磊已经成功主导完成了多项涉及AI技术的项目。不过,在早期的研发过程中,赵筱磊遇到了不少棘手的难题,比如从数据收集、处理,模型训练、管理到发布,AI开发基本都处于一种“乡间作坊”工作模式。这种工作方式不仅效率低下,而且不利于新人的培养,让人才培训成本居高不下。同时,上线后模型的工作性能受物理硬件的限制,横向扩展耗时耗力,资源利用率也无法有效保障。鉴于上述这些问题,团队急需找到改善这种情况的解药,此时,华为云ModelArts恰好走入赵筱磊的视野中。在2018年的华为全联接大会上,赵筱磊开始接触华为云,那时的他觉得以华为的技术力和影响力,必将在云计算的领域掀起一股新的浪潮。也正是在这一年,华为发布了AI开发平台ModelArts以及视觉AI应用开发平台HiLens。一年后,赵筱磊正式上手ModelArts,ModelArts的定位是面向不同层次AI开发者的整合型AI平台,它可以让AI开发变得更简单、方便,打通AI开发的各个环节。从技术上看,ModelArts的底层支持各种异构计算资源,开发者可以根据需要灵活选择使用,并不需要关心底层的技术。同时,ModelArts支持Tensorflow、MXNet等主流开源的AI开发框架,也支持开发者使用自研的算法框架,可以更好的匹配研发人员的使用习惯。更为关键的是,ModelArts还提供海量数据预处理、半自动化标注、大规模分布式训练、等AI应用开发服务,支持端-边-云模型按需部署能力。ModelArts的这些特性正好可以解决 “乡间作坊”式的AI开发弊端,成为赵筱磊一直寻找的解药。随后在新项目的建设过程中,赵筱磊和他的团队全面地应用了ModelArts,完成了某大型国企的《XXXX巡检图像隐患缺陷智能解译应用》重点项目,同期还应用了华为云OCR、软开云、CCE等产品,打造了《XXXX疫情防控人员车辆核查系统》等应用。在这些项目的建设过程中,研发团队深深地感受到了华为云产品的魅力,也为后期在圈内推广华为云奠定了良好的经验基础。如今的ModelArts,在经过去三个版本的迭代之后,已经进化成可以0代码完成模型训练、一键部署。今年,华为云发布了面向企业级AI应用开发的ModelArts Pro,并在刚刚过去的全联接大会上,推出了ModelArts 3.0,将普惠AI进行到底。端云协同,开启新的AI之旅ModelArts之外,视觉AI应用开发平台HiLens也是赵筱磊非常中意的一个产品。众所周知,在智能巡检应用领域,网络的带宽和稳定性一直是制约应用表现的主要因素,端云协同是该领域架构选型的大势所趋。其中,端侧对采集的数据进行本地分析,可以大大减少上云数据流量,节约存储成本。同时,端侧设备可协同云侧在线更新模型,快速提升端侧精度。赵筱磊提到,“在智能巡检应用的后续产品升级过程中,华为云HiLens是非常理想的技术选型。”他们已经在巡检机器人和巡检无人机上搭载了HiLens。实践案例证明,HiLens能很好的实现端云协同,降低系统的整体研发难度,提供跨平台的设计,并针对端侧芯片提供模型转换和算法优化。同时,HiLens提供了丰富的技能市场,并在其中预置多种技能,用户可以省去开发步骤,直接从技能市场中选取所需技能,快速部署在端侧。值得注意的是,技能市场的多种模型,还特地针对端侧设备内存小、精度低等不足做了大量算法优化。当前,赵筱磊和团队攻关的科技重大专项与工程《智能化目标识别跟踪系统及在电力巡线中的示范应用》已经接近收尾,在项目的研发过程中,华为云EI的人工智能产品扮演了重要的角色。也正是有了像ModelArts和HiLens这样的AI开发平台,赵筱磊和团队才可以将精力全部聚焦于算法研究上,把大部分的“体力活”交给华为云,而且在此过程中,华为云的技术大咖也就一些问题给予了专业的支持。赵筱磊最后感慨道:“有了华为云,我们的团队如虎添翼,无坚不摧,华为云EI堪称艺术的产品”。
-
历天一,华为云·云享专家,天津大学2020级电子信息专业研究生,认证方向ModelArts与Atlas 200 DK、HiLens端云协同开发,HERO高校联盟——天津大学华为云联盟盟主。参加2020第二届华为云人工智能大赛 · 无人车挑战杯,获优胜奖。繁多的AI工具安装配置、数据准备、模型训练慢是困扰许多AI工程师的难题,也让一些想要转型AI开发的初学者望而却步。不过,华为云云享专家历天一认为这些难题在ModelArts面前都是小菜一碟。历天一是天津大学电子信息专业的研究生,目前他已经借助ModelArts和HiLens部署开发了一系列AI应用。作为一个从零开始接触AI的“初学开发者”,历天一是如何凭借易用的工具平台走上AI开发的康庄大道呢? 和ModelArts的初次遇见人工智能自1956年被首次提出以来,走过了半个多世纪的风雨历程,时至今日,已经发展到前所未有的新高度。AI像所有科学或技术发展那样,落地应用到各行各业的实际生产生活中,才能产生价值。然而AI应用落地除去鲁棒性强的算法以外,还需要海量标注好的数据、强大的算力平台以及具体的应用场景。这背后是无数精英和强大算力的支撑,一般是由财力雄厚的大公司来做,对于个人开发者来说,显得有些遥不可及。历天一转而说道,“直到她的出现,仿佛黑暗中的一道光,照亮了前行的路,她就是ModelArts。ModelArts直译过来是模型艺术,在历天一看来,这个英文翻译完美贴合了ModelArts,因为这个AI平台不仅是模型,更是艺术。“初次相见是在我选修的一门课上,实验环节需要基于已有的交通标志数据集,构建模型,完成标志检测的模型训练验证,我们当时使用的就是ModelArts的开发环境NoteBook。” 第一次使用ModelArts给历天一的印象极为深刻,他也感触颇多,“当时Tesla V100的强大硬件算力和自动配置好的开发环境可以做到“开箱即用”,让我专注于模型的构建,大大加快开发速度。而且ModelArts简洁清晰的操作界面也很具有设计美感,如艺术般优雅。”这次愉快的实践体验,也为历天一之后更多地了解和使用ModelArts埋下了伏笔。 ModelArts+HiLens,端云协同开发如果和ModelArts的相遇已经很美好了,那么HiLens无疑给历天一带来了新的惊喜。当时历天一需要做一个从数据集、训练,再到部署的全流程开发,他从华为云官网进入ModelArts界面时,偶然看到全新发布的HiLens,抱着好奇的心理,点进去看了看。“端云协同、开箱即用、16TOPS的强大算力……一个个映入我的眼帘,这不就是我想要找的部署设备吗?”就这样,在天时地利人和下,历天一开始了基于华为云ModelArts和HiLens的端云协同开发之路。至于ModelArts和HiLens到底有多便捷好用,并能完美解决AI开发过程的难题,且听他慢慢道来。第一个问题是数据标注使用。要找到标注好的开源数据集并不难,但如何充分利用数据集是需要思考的问题。针对部署的应用场景来说,数据集的分布、特性对训练效果有较大影响。对此,历天一表示,“使用ModelArts的数据集管理功能,不仅能可视化所有数据,还可以分析数据集的一些特性,自己也能进行标注的修改,更贴心的是数据集发布与后面的训练部署打通,实现一站式AI全流程开发。”第二个问题是调参,也可以称为“炼丹”。在训练中,最主要的工作就是进行参数调整,由于不同的调参对最终模型的精度影响很大,需要不断重复地测试微调,工作量较大。同样,如果使用ModelArts AI市场中的算法,这个问题就简单多了。AI市场中有许多预训练模型,可以实现关键参数的一键式填写,从而让训练调参变得简单好懂,即使小白也能轻松掌握。第三个问题是硬件算力支撑。模型训练一般需要使用昂贵的GPU进行训练加速,而且时间较长、费用不低。“虽然我使用的数据集较小,但也是一个问题。”不过,华为云的学生开发者扶持计划解决了他的后顾之忧:18元即可购买为期一年的25小时优惠套餐,包含32GB Tesla V100的算力。最后是模型部署问题(当时还没有HiLens Stuido)。由于HiLens使用的是Ascend 310处理器,它需要运行专门的om模型,所以要进行模型转换。“ModelArts这方面做的很周到,提供了专门的转换模板,简单设置即可完成模型转换,并保存到OBS中。后期部署到HiLens时,可以直接从OBS导入,真的是云端训练与部署无缝衔接。”至此,得益于ModelArts自身平台提供的完善AI开发流程和与HiLens良好的端云协同,历天一的小项目从零开始已经接近完成了。复杂交给平台,开发者只需专注代码的编写总结这次使用ModelArts和HiLens的端云协同开发,历天一也有很多收获和惊喜。“比如使用OpenCV做图像处理的时候,最终处理后的图像输出显示要求是NV12/NV21格式,但OpenCV原生并未提供RGB/BGR到NV12/NV21的转换。HiLens Framework十分贴心的提供了转换接口,让我们简单调用一下就能完成自己想要的功能,真的是很人性化。”目前,HiLens Framework已经开源了,有兴趣的小伙伴可以一探究竟。另外,HiLens对于底层硬件的调用做了很好的封装。如果想使用HiLens自带的摄像头,或者需要将输出处理后的图像传到HDMI,只需简单一句话即可完成。“让开发者只需专注代码的编写,复杂的、与底层硬件的交互全部由HiLens Framework做好。”历天一强调,“如果不是借助ModelArts和HiLens,恐怕很难这么快完成训练部署。”相信有很多和历天一一样希望自己训练部署的小伙伴,会在开发过程中遇到各种各样的问题和挑战,而且很可能因此与AI应用开发失之交臂。不妨也来试试华为云的ModelArts和HiLens,说不定所有难题都能在这里迎刃而解。在今年的华为全联接大会上,历天一向众多开发者总结了他一路以来使用华为云AI平台的感受:“我是幸运的,认识了ModelArts和HiLens,很感谢这两个平台,希望以后能与更多开发者一起携手ModelArts发展成长。”
-
人傻话不多,直接上图吧。 同理,efficientnet 等等图像分类算法都可以用。 如有侵扰,请联系作者本人删除谢谢。 370477370478370480370481370482370483370484370486370487370488370489370491
-
活动信息11月14日,DevRun 开发者沙龙,华为云 EI 即将登陆上海!华为云技术大咖将围绕华为云 ModelArts 和 AIoT 开发领域进行相关技术解析与分享,展现 ModelArts 开发 “神器” 的高效便捷, 带领 AI 开发者向高手进阶,并解读华为云 IoT 服务与 AI 如何实现互通。现场还设置基于 ModelArts 自动学习实现垃圾分类应用、智慧烟感快速接入华为云 IoT 平台两项主题实操,在技术分享与实操演练中为上海当地开发者搭建起一个与华为云技术专家面对面沟通的交流平台。时间:2020年11月14日(周六)13:00-17:00地点:上海市闵行区莲花路1733号 华纳国际会议中心请携带个人电脑, 完成实操可获得精美礼品哦~ 报名点这里:https://developer.huaweicloud.com/signup/d4f439f6f3224174aa6edc4768a47580
-
10月31日14:00,武汉HCDG联合MDG在武汉市宏图大道武汉客厅F座2楼慕金文案,举办了武汉HCDG授旗仪式暨鲲鹏与ModelArts专题技术交流会。主持人为HCDG 核心组成员王新。王新在开场时介绍了本次活动的主题和目的,接着HCDG全国运营代表高欣为大家介绍了HCDG,并鼓励大家积极加入到HCDG当中。接下来,精彩的技术分享便拉开序幕。 首先,本次专题交流会,邀请到了华为云云享专家ModelArts开发者、武汉大学信息管理与信息系统专业的朱永春为大家带来了《基于ModelArts实现的手语识别项目》。别看我们的小讲师才是大四学生,但是早已经名声在外。之前自己制作的武大樱花视频还上过央视新闻和微博的热搜。可想而知,老师的实力真的是不容小觑。通过现场的授课情况,也证明了朱老师确实具备非常强的专业能力。在场的学生小伙伴们在朱老师的指导下,都实现了手语的判别。 第二场技术分享,邀请到了华为鲲鹏认证讲师、北京软通动力教育科技有限公司首席架构师夏德旺带来了《基于DevCloud及鲲鹏云容器的项目迁移与持续集成》。与之前的朱老师不同,夏老师是企业家,扎根在公司的运营管理中。他授课的方向更偏向于实操。由于本次活动参与的人员普遍为学生,为了保证学生们能够跟上自己的授课节奏和步伐,夏老师几乎是手把手地教授知识,遇到同学们不明白的地方就立即停下来耐心讲解。通过夏老师一步骤一步骤的讲解,同学们也都在最后完成了自己的实操。 这两个干货满满的技术分享,相信在场的观众们也都是收获满满,对于ModelArts和鲲鹏都有了更加全面的认识,以后在用起来相信也会更加的得心应手。本次活动与以往城市活动相比,最大的亮点莫过于开展了AI模型开发和鲲鹏项目迁移的上机实践。参与的小伙伴需要自备电脑,在听完技术分享讲座之后,就可以立即开启电脑进行现场的实操演练。这种形式,最大程度上检验了大家是否真正理解和吸收了讲座当中所提到的精华和重点。我们的讲师也会针对在实操中参与小伙伴们所面临和提出的各种问题进行及时的答疑,增加了互动性和实效性。 在活动的最后,武汉HCDG举行了授旗仪式。落地授旗仪式,对于武汉HCDG来说是一个重要里程碑时刻,再次感谢武汉HCDG核心组成员们对于本次活动的辛勤付出和认真负责,相信武汉HCDG会在以后举办出更多有价值有意义的精彩活动来,赋能越来越多的开发者。迄今为止,越来越多的社区和组织开始广泛的与HCDG进行密切的合作与往来,相信在今后的日子里,HCDG会以更加崭新的面貌出现在开发者视野中,我们期待越来越多优秀的开发者、创业者、老师、学生、运营人等加入到HCDG,让HCDG茁壮成长、遍地开花、节节高!(HDZ已正式更名为HCDG,Huawei Cloud Developer Group(华为云开发者社区组织)是华为云开发者生态面向全球开发者建立的开放、创新、多元的社区组织。)HCDG社区—携手全球开发者 共建开放、创新、多元的开发者社区组织 HCDG是Huawei Cloud Developer Group的英文缩写,是华为云开发者生态面向全球开发者建立开放、创新、多元的开发者社区组织。 致力于帮助开发者学习提升、互动交流、挖掘机会,推动ICT、互联网等产业生态的建立和发展。 对云计算、IoT、人工智能、5G、区块链、鲲鹏、昇腾、软件开发与运维、开源等各技术领域感兴趣的开发者、软件工程师、创业者、运营人、产品人、大学生、老师等都可以参与到HCDG。 HCDG秉承开放、创新、多元的社区文化,完全由各地HCDG组织者、志愿者自发组建和领导。华为公司不直接参与HCDG组织建设和领导,只按需对HCDG社区活动提供必要的方向指导、资源支持、活动支撑等,并为各地HCDG组织者提供与全国组织者互动交流的机会。》期待您加入HCDG社区组织,点击申请报名《
-
摘要:利用ModelArts平台云端协同进行强化学习AI能力部署,导航机器狗绕开火焰关闭可燃气体开关灭火。在刚刚结束的HC Keynote中,为大家演示了基于华为ModelArts和Atlas 200DK的机器狗构建起“感知+认知+决策”的能力。其中,机器狗是如何运用ModelArts平台进行云端协同利用强化学习算法进行路径切换的呢,以下慢慢道来。第一条路径中有火焰,是一条危险路径机器狗自主决策后生成第二条路径,绕开火焰行动首先,机器狗将感知火焰位置,建立强化学习训练环境,自动上传至obs中。利用ModelArts SDK启动云端强化学习训练,训练机器狗如何找到最优路径灭火。训练结束后将在ModelArts平台导入模型、部署在线推理服务。此时只需要自动获取服务token和API就可以调用在线服务进行推理,获取安全路径,最终控制机器狗绕开火焰灭火。具体示例如下:1. 利用ModelArts SDK启动强化学习训练;2. 在ModelArts平台导入模型;3. 在ModelArts平台部署在线服务。最后在机器狗端侧获取路径,通过机器狗导航功能控制机器狗进行灭火!
-
【AI全栈计划】第二阶段-AI进阶篇阶段考核及打卡说明(活动已结束)又是收获知识的一个月时间,AI 全栈成长计划第二阶段课程内容已经全部更新完毕。大家积极的学习态度,遇到问题及时在学习群内提出,让AI全栈第二阶段的课程可以顺利完成再次感谢大家:◎积极完成每章的随堂测验打卡,做到了课后的知识强化与巩固;◎认真完成每周读书笔记打卡,将自己的学习心得总结下来;现在,大家迎来了第二阶段考核,让我们来看一下考核的具体内容▶考核打卡时间:2020.10.29 - 2020.11.08 23:59▶考核途径:点击下方操作链接,按照指导流程,结合零一老师的直播,完成ModelArts预置算法美食分类模型调优ModelArts预置算法美食分类模型调优▶考核要求:使用ModelArts自动学习功能,完成数据标注、模型训练、模型部署,可以在线调用进行结果预测,通过考核可获得20积分▶打卡要求:在本帖下方回复您的华为云ID,同时截图ModelArts在线服务的预测结果,截图中需清晰显示您的华为云ID,同时与您回复的华为云ID保持一致,且模型准确率大于0.9,如下图所示:只有在按照要求进行打卡才会得到第二阶段考核证书!只有在按照要求进行打卡才会得到第二阶段考核证书!只有在按照要求进行打卡才会得到第二阶段考核证书!
-
博客标题: 【乘风破浪的开发者】华为云云享专家胡琦:快快使用ModelArts,零基础也能玩转AI!链接:https://bbs.huaweicloud.com/blogs/198475 如审核不通烦请及时告知,感谢!
-
EI企业智能-ModelArts版块标题:快快使用ModelArts,零基础也能玩转AI!链接:https://bbs.huaweicloud.com/forum/thread-81482-1-1.html如需整改,请及时告知,感谢!
上滑加载中
推荐直播
-
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家;李炎-华为云码道产品专家;彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战,从0到1打通消息通道;码道鸿蒙端云一体化实战,快速搭建员工签到系统。
回顾中 -
华为云开发者AI素养直播课·第三期2026/08/21 周五 16:00-18:00
林华鼎-华为云AI开发者运营负责人;念擎-华为云AI开发者运营案例开发专家
本期直播内容:AI六层能力首次详细解读 + 新一代华为云开发者空间亮相 + 校园案例直播带练
回顾中
热门标签