-
本案例先用目标检测检测图片中汤圆的位置,然后将每个汤圆的图片和其他图片(比如云宝)进行融合,最后将图片中所有汤圆都变成了云宝!案例链接:https://developer.huaweicloud.com/develop/aigallery/notebook/detail?id=94d4f398-853f-4f71-8ff8-fcb1e1e655d5ModelArts 是面向开发者的一站式 AI 平台,为机器学习与深度学习提供海量数据预处理及交互式智能标注、大规模分布式训练、自动化模型生成,及端-边-云模型按需部署能力,帮助用户快速创建和部署模型,管理全周期 AI 工作流。地址:https://www.huaweicloud.com/product/modelarts.html活动时间:2月16日-2月28日活动流程:1.扫码进群,交流讨论案例2.体验云宝表情包特效案例,或自行开发相关案例,截图案例结果,回贴到本贴评论区。(每个账号仅限回帖一次)3.观看直播,特邀广大网友们线上交流,互助学习,还有云宝公仔赠送。直播时间:2月24日19:00-20:00直播地址:http://live.bilibili.com/221365944.邀请朋友体验案例,并截图盖楼5.公布获奖名单如下(剔除了无效楼层),请获奖者3月30日前联系小助手领取奖品,逾期视为放弃 活动奖项:1.最佳创意奖项:用本案例所涉及到的技术,开发出不一样的体验案例,并将代码分享到AIGallery :https://developer.huaweicloud.com/develop/aigallery/notebook/list案例结果截图到本贴评论区,活动结束后由直播老师评选出最有创意的案例,送华为GT2手表、EI定制大礼包。2.盖楼回帖福利奖:活动盖楼奖品中奖楼层>100层10本ModelArts书9%、19%、29%、39%、49%、59%、69%、79%、89%、99%>200层在上层基础上增加:10本ModelArts书2%、12%、22%、32%、42%、52%、62%、72%、82%、92%>300层在上层基础上增加:10件ModelArts卫衣7%、17%、27%、37%、47%、57%、67%、77%、87%、97%>400层在上层基础上增加:10件ModelArts卫衣4%、14%、24%、34%、44%、54%、64%、74%、84%、94%>500层在上层基础上增加:10个华为蓝牙音箱5%、15%、25%、35%、45%、55%、65%、75%、85%、95%>600层在上层基础上增加:10个华为蓝牙音箱6%、16%、26%、36%、46%、56%、66%、76%、86%、96%>700层在上层基础上增加:10个华为三脚架自拍杆3%、13%、23%、33%、43%、53%、63%、73%、83%、93%>800层在上层基础上增加:10个华为路由器8%、18%、28%、38%、48%、58%、68%、78%、88%、98%>900层在上层基础上增加:10个华为路由器1%、11%、21%、31%、41%、51%、61%、71%、81%、91%活动说明:当活动盖楼为350,对应奖品为【10本ModelArts书+10本ModelArts书+10件ModelArts卫衣】“有效楼层”指的是回复本次活动相关内容的楼层视为有效楼层,回复其他内容均视为无效楼层,不予奖励。抽奖方式为活动结束后,主办方将从活动帖子下所有盖楼的用户中抽取各等奖励获奖楼层。获奖楼层=总楼层*中奖百分比。例如:活动结束后总楼层为1000,中奖百分比为96%,则1000*96%=960,即第960楼获奖,其他获奖楼层同理可得。如出现小数点则四舍五入,例如:活动结束后总楼层为530,中奖百分比为96%,则530*96%=508.8,则第509楼获奖。无效楼层不参与中奖,奖励楼层向下一楼层顺延。例如:抽取获奖楼层为第5楼,但5楼为无效楼层,即顺延至第6楼获奖,若依然为无效楼层,则继续顺延,以此类推。请务必使用个人实名账号参与活动(IAM、企业账号等账号参与无效)。为保证活动的公平公正,华为云有权对恶意刷活动资源(“恶意”是指为获取资源而异常注册账号等**活动公平性的行为,黑产用户不计入活动统计),利用资源从事违法违规行为的用户收回奖励资格,本次活动一个实名认证账号只能对应一个收件人(只能参加一次),如同一账号填写多个不同收件人,不予发放奖励,且每个账号只记录最早的一次回帖,多发无效本活动规则由华为云在法律规定范围内进行解释。华为云保留不时更新、修改或删除本活动规则的权利。上述更新、修改或删除于公布时即时生效,用户应当主动查阅本活动规则的最新内容。所有参加本活动的用户,均视为认可并同意遵守《华为云用户协议》,包括以援引方式纳入《华为云用户协议》的《可接受的使用政策》、《法律声明》、《隐私政策声明》、相关服务等级协议(SLA),以及华为云服务网站规定的其他协议和政策(统称为“云服务协议”)的约束。如果您不同意本活动规则和云服务协议的条款,请勿参加本活动。
-
【功能模块】【ModelArts】【训练作业】报错[detect]ascend-check error【操作步骤&问题现象】基于ModelArts和本地WSL2-GPU复现lenet5模型训练丨【华为云AI贺新年】-云社区-华为云 (huaweicloud.com)按照上面博客创建OBS,创建训练作业然后开始训练,一直失败,显示如下截图的报错信息在代码中已设置context.set_context(mode=context.GRAPH_MODE, device_target='Ascend') # Ascend, CPU, GPU创建训练作业时选择了ascend,不知道哪里错了。【截图信息】[2022-02-12T16:30:57+08:00][ModelArts Service Log][task]Detect Npu[2022-02-12T16:30:57+08:00][ModelArts Service Log][ERROR][detect] ascend-check error, exiting...[2022-02-12T16:30:57+08:00][ModelArts Service Log][ERROR][detect] code: 31, message: ---------【日志信息】(可选,上传日志内容或者附件)[2022-02-12T16:30:50+08:00][ModelArts Service Log][init] toolkit_obs_upload_job_pid = 55 [2022-02-12T16:30:50+08:00][ModelArts Service Log][init] toolkit_obs_upload_pid = 56 [2022-02-12T16:30:50+08:00][ModelArts Service Log][init] running at 2022-02-12-16:30:50 [2022-02-12T16:30:50+08:00][ModelArts Service Log][init] ip of the pod: 172.16.0.156 [2022-02-12T16:30:51+08:00][ModelArts Service Log][task]Detect item: disk-size shm [2022-02-12T16:30:51+08:00][ModelArts Service Log][INFO][detect] code: 0, message: ok, item: disk-size shm [2022-02-12T16:30:51+08:00][ModelArts Service Log][task]Detect item: dns [2022-02-12T16:30:51+08:00][ModelArts Service Log][INFO][detect] code: 0, message: ok, item: dns [2022-02-12T16:30:51+08:00][ModelArts Service Log][task]Detect item: disk-size root [2022-02-12T16:30:51+08:00][ModelArts Service Log][INFO][detect] code: 0, message: ok, item: disk-size root [2022-02-12T16:30:51+08:00][ModelArts Service Log][task]Detect item: disk-size cache [2022-02-12T16:30:51+08:00][ModelArts Service Log][INFO][detect] code: 0, message: ok, item: disk-size cache [2022-02-12T16:30:51+08:00][ModelArts Service Log][init] autosearch_path is empty, skip the autosearch download [2022-02-12T16:30:51+08:00][ModelArts Service Log][init] start to download the code [2022-02-12T16:30:51+08:00][ModelArts Service Log][init] code_url: s3://lenet555/lenet5/ [2022-02-12T16:30:51+08:00][ModelArts Service Log][init] modelarts_downloader_job_pid = 258 [ModelArts Service Log]2022-02-12 16:30:52,346 - modelarts-downloader.py[line:264] - INFO: Main: modelarts-downloader starting with Namespace(dst='./', recursive=True, skip_creating_dir=False, src='s3://lenet555/lenet5/', trace=False, type='common', verbose=False) [ModelArts Service Log]2022-02-12 16:30:52,493 - consumer.py[line:107] - INFO: MoXing Local Track Mode. [2022-02-12T16:30:53+08:00][ModelArts Service Log][init] code is now in /home/ma-user/modelarts/user-job-dir [ModelArts Service Log][init]engine type is: ascend-powered-engine [ModelArts Service Log][init]python version: 3 [2022-02-12T16:30:53+08:00][ModelArts Service Log][init] inputs_handler_job_pid = 346 [ModelArts Service Log][INFO][2022/02/12 16:30:53]: caching the content of [data_url] inputs [ModelArts Service Log]2022-02-12 16:30:54,001 - modelarts-downloader.py[line:264] - INFO: Main: modelarts-downloader starting with Namespace(dst='./', recursive=True, skip_creating_dir=True, src='s3://lenet555/lenet5/lenet5/MNIST/', trace=False, type='common', verbose=False) [ModelArts Service Log]2022-02-12 16:30:54,080 - consumer.py[line:107] - INFO: MoXing Local Track Mode. [ModelArts Service Log][INFO][2022/02/12 16:30:54]: cache the content of [data_url] inputs successfully [ModelArts Service Log][INFO][2022/02/12 16:30:54]: it can be accessed at local dir [/home/ma-user/modelarts/inputs/data_url_0] [ModelArts Service Log][INFO][2022/02/12 16:30:55,167]: mkdir for local output dir [ModelArts Service Log][INFO][2022/02/12 16:30:55,167]: output-handler finalized [2022-02-12T16:30:55+08:00][ModelArts Service Log][init] exiting at 2022-02-12-16:30:55 [2022-02-12T16:30:55+08:00][ModelArts Service Log][init] upload_metrics_pid = 569 [2022-02-12T16:30:55+08:00][ModelArts Service Log][init] stop toolkit_obs_upload_pid = 56 by signal SIGTERM [2022-02-12T16:30:55+08:00][ModelArts Service Log][sidecar] toolkit_obs_upload 56 ret_code is 0 [2022-02-12T16:30:55+08:00][ModelArts Service Log][init] exit with 0 [2022-02-12T16:30:57+08:00][ModelArts Service Log][task]Detect Npu [2022-02-12T16:30:57+08:00][ModelArts Service Log][ERROR][detect] ascend-check error, exiting... [2022-02-12T16:30:57+08:00][ModelArts Service Log][ERROR][detect] code: 31, message: ---------driver_health_state: 0, device_health_state: 1, net_health_state: 0 --------, item: ascend-check [2022-02-12T16:30:57+08:00][ModelArts Service Log]exit with 31 [2022-02-12T16:30:58+08:00][ModelArts Service Log][sidecar] running at 2022-02-12-16:30:58 [2022-02-12T16:30:58+08:00][ModelArts Service Log][sidecar] toolkit_obs_upload_by_channels_job_pid = 38 [2022-02-12T16:30:58+08:00][ModelArts Service Log][sidecar] toolkit_obs_upload_by_channels_pid = 39 [2022-02-12T16:30:58+08:00][ModelArts Service Log][sidecar] waiting for training complete [2022-02-12T16:30:58+08:00][ModelArts Service Log][sidecar] training is completed [2022-02-12T16:30:58+08:00][ModelArts Service Log][sidecar] stop toolkit_obs_upload_by_channels_pid = 39 by signal SIGTERM time="2022-02-12T16:30:58+08:00" level=info msg="local dir = /home/ma-user/modelarts/outputs/train_url_0/" file="upload.go:191" Command=obs/upload_by_channels Component=ma-training-toolkit Platform=ModelArts-Service Task=train_url time="2022-02-12T16:30:58+08:00" level=info msg="obs dir = s3://lenet555/lenet5/lenet5/output/" file="upload.go:194" Command=obs/upload_by_channels Component=ma-training-toolkit Platform=ModelArts-Service Task=train_url time="2022-02-12T16:30:58+08:00" level=info msg="start the periodic upload task, upload Period = 30 seconds " file="upload.go:204" Command=obs/upload_by_channels Component=ma-training-toolkit Platform=ModelArts-Service Task=train_url time="2022-02-12T16:30:58+08:00" level=info msg="the periodic upload task exiting..." file="upload.go:214" Command=obs/upload_by_channels Component=ma-training-toolkit Platform=ModelArts-Service Task=train_url time="2022-02-12T16:30:58+08:00" level=info msg="local dir = /home/ma-user/modelarts/log/" file="upload.go:191" Command=obs/upload_by_channels Component=ma-training-toolkit Platform=ModelArts-Service Task=srt_log_collection time="2022-02-12T16:30:58+08:00" level=info msg="obs dir = s3://modelarts-training-log-cn-north-4/2c83617e-3ed7-4e8d-82a0-d6fd4b044eef/worker-0" file="upload.go:194" Command=obs/upload_by_channels Component=ma-training-toolkit Platform=ModelArts-Service Task=srt_log_collection time="2022-02-12T16:30:58+08:00" level=info msg="enable append upload mode" file="upload.go:197" Command=obs/upload_by_channels Component=ma-training-toolkit Platform=ModelArts-Service Task=srt_log_collection time="2022-02-12T16:30:58+08:00" level=info msg="start the periodic upload task, upload Period = 5 seconds " file="upload.go:204" Command=obs/upload_by_channels Component=ma-training-toolkit Platform=ModelArts-Service Task=srt_log_collection time="2022-02-12T16:30:58+08:00" level=info msg="the periodic upload task exiting..." file="upload.go:214" Command=obs/upload_by_channels Component=ma-training-toolkit Platform=ModelArts-Service Task=srt_log_collection
-
ModelArts是面向AI开发者的一站式开发平台,提供海量数据预处理及半自动化标注、大规模分布式训练、自动化模型生成及端-边-云模型按需部署能力,帮助用户快速创建和部署模型,管理全周期AI工作流。https://www.huaweicloud.com/product/modelarts.html“一站式”是指AI开发的各个环节,包括数据处理、算法开发、模型训练、模型部署都可以在ModelArts上完成。从技术上看,ModelArts底层支持各种异构计算资源,开发者可以根据需要灵活选择使用,而不需要关心底层的技术。同时,ModelArts支持Tensorflow、PyTorch、MXNet等主流开源的AI开发框架,也支持开发者使用自研的算法框架,匹配您的使用习惯。ModelArts的理念就是让AI开发变得更简单、更方便。面向不同经验的AI开发者,提供便捷易用的使用流程。例如,面向业务开发者,不需关注模型或编码,可使用自动学习流程快速构建AI应用;面向AI初学者,不需关注模型开发,使用预置算法构建AI应用;面向AI工程师,提供多种开发环境,多种操作流程和模式,方便开发者编码扩展,快速构建模型及应用。产品架构ModelArts是一个一站式的开发平台,能够支撑开发者从数据到AI应用的全流程开发过程。包含数据处理、模型训练、模型管理、模型部署等操作,并且提供AI Gallery功能,能够在市场内与其他开发者分享模型。ModelArts支持应用到图像分类、物体检测、视频分析、语音识别、产品推荐、异常检测等多种AI应用场景。ModelArts架构产品优势一站式易上手高性能灵活
-
尊敬的微认证客户:您好!为帮助您深入了解华为云产品,探索新的技术场景,我们非常高兴地与您分享一个好消息:由华为资深研发团队精心打磨,潜心研发的新微认证《基于ModelArts的安全帽检测全流程开发》将于2022年1月20日正式上线!届时请进入华为云开发者学堂-微认证-人工智能查看产品详情,体验使用,我们非常期待您的宝贵建议。以下为该微认证详情,您可提前了解:产品名称: 《基于ModelArts的安全帽检测全流程开发》适合人群: 对人工智能进阶技术感兴趣的人员,社会大众和高校师生;培训方案: 基于华为云ModelArts的自动学习进行目标检测及全流程web端应用开发;技术能力: 了解ModelArts自动学习,掌握华为云ModelArts的使用;认证价值: 了解ModelArts相关知识,体验ModelArts为企业应用带来的极大便利性。届时我们还将开展相关微认证上新活动,详情请关注华为云培训中心论坛-热门活动 相关通知。发布日期:2022年1月18日
-
描述背景昆虫害虫是影响农产品产量的主要因素之一。 准确识别虫害有助于及时采取预防措施,避免经济损失。模型简介这个模型可以预测102种常见的昆虫,包含rice leaf roller,rice leaf caterpillar, paddy stem maggot, asiatic rice borer, yellow rice borer等。输入一个图像,这个模型会预测该图像中昆虫分别属于每个类别的置信度,置信度的取值范围为0到1。使用方法目前该模型支持使用ModelArts平台进行交付,订阅该模型后,你可以将该模型发送到一个指定的Region的ModelArts平台。在ModelArts平台,你可以一键式地将该模型部署成在线API服务。你也可以收集、标注并上传自己真实业务场景中的数据,对该模型进行二次调优(Fine-tune)。在线服务使用ModelArts的资源把该模型部署成在线服务后,你可以在线服务的图形界面,上传图像,测试在线服务使用Curl命令发送预测请求使用Postman等图像界面,发送API调用请求使用Python脚本命令,构造API调用请求,如下所示import requests import json url = 'YOUR-API-URL-CREATED-IN-MODELARTS' headers = {'x-auth-token': 'YOUR-CLOUD-TOKEN'} filename = '/path/to/local/character_line_image.jpg' files = {'images': (filename, open(filename, 'rb'), "image/jpeg")} r = requests.post(url, files=files, headers=headers, verify=False) outputs = json.loads(r.content) print(outputs)交付交付方式华为云ModelArts交付区域华北-北京一、华北-北京四、华东-上海一、华东-上海二、华南-广州、亚太-**
-
描述背景物种的自动识别能够为生态环境监测、生物多样性保护、害虫防治等领域提供技术支持,减少对专家人工鉴定的依赖。模型简介这个模型可以预测10种常见的猴子亚类的品种。输入一个图像,这个模型会返回十种亚类的预测置信度,置信度得分的取值范围是0到1,分数越高,则越可能属于该类别。这个模型使用10 **ey Species数据集训练。数据集地址:https://www.kaggle.com/slothkong/10-**ey-speciesLabelLatin NameCommon Name中文名n0alouatta palliatamantled howler鬃毛吼猴n1erythrocebus pataspatas **ey赤猴n2cacajao calvusbald uakari白禿猴n3macaca fuscatajapanese macaque日本獼猴n4cebuella pygmeapygmy marmoset倭狨n5cebus capucinuswhite headed_capuchin卷尾猴n6mico argentatussilvery marmoset银色小猿n7saimiri sciureuscommon squirrel_**ey松鼠猴n8aotus nigricepsblack_headed night_**ey黑夜猴n9trachypithecus johniinilgiri langur印度乌叶猴使用方法目前该模型支持使用ModelArts平台进行交付,订阅该模型后,你可以将该模型发送到一个指定的Region的ModelArts平台。在ModelArts平台,你可以一键式地将该模型部署成在线API服务。你也可以收集、标注并上传自己真实业务场景中的数据,对该模型进行二次调优(Fine-tune)。在线服务使用ModelArts的资源把该模型部署成在线服务后,你可以在线服务的图形界面,上传图像,测试在线服务使用Curl命令发送预测请求使用Postman等图像界面,发送API调用请求使用Python脚本命令,构造API调用请求,如下所示import requests import json url = 'YOUR-API-URL-CREATED-IN-MODELARTS' headers = {'x-auth-token': 'YOUR-CLOUD-TOKEN'} filename = '/path/to/local/character_line_image.jpg' files = {'images': (filename, open(filename, 'rb'), "image/jpeg")} r = requests.post(url, files=files, headers=headers, verify=False) outputs = json.loads(r.content) print(outputs)二次调优在ModelArts平台,你可以将你的数据集上传OBS,然后使用ModelArts的计算资源,基于该模型和你的数据进行二次调优(Fine-tune),可调参数eg.save_interval_secs = 2000000batch_size = 32save_summaries_steps = 5num_gpus = 4learning_rate_strategy = 0.002evaluate_every_n_epochs = 1max_epoches = 100log_every_n_steps = 10split_spec = train:0.8,eval:0.2eval_batch_size = 200数据格式用于训练的数据集需存储在OBS桶中,数据集对应的OBS文件夹及文件路径结构如下所示:|-- data_url |--a.jpg |--a.txt |--b.jpg |--b.txt ...– “data_url”表示文件夹名称,您可以自定义此文件夹名称。图片和标签文件不能直接存储在OBS桶的根目录下。– 图片和标签文档需统一名称,“.txt”为图像分类标签文档,图片的文件格式支持JPG、JPEG、PNG、BMP。– 除以上文件及文件夹外,“data_url”文件夹下不允许存任何其他文件或文件夹。交付交付方式华为云ModelArts交付区域华北-北京一、华北-北京四、华东-上海一、华东-上海二、华南-广州、亚太-**
-
2020年8月28日,华为云AI院长峰会在杭州千岛湖举行,来自中国科学院、中国工程院的多位院士,以及清华大学、北京大学、浙江大学、上海交通大学、复旦大学、中国科技大、哈尔滨工业大学、南京大学、西安交通大学等国内40余家顶尖高校的人工智能学院与计算机学院院长、教授、专家出席了大会,峰会阵容堪称国内高校的“顶尖配置”。峰会上华为云发布了五大AI人才培养规划,其中“华为云AI十百千学术计划”之百篇经典论文复现截至目前已取得重大进展:华为云官方累计发布50余篇AI经典论文供参与者复现,涵盖了计算机视觉、迁移学习、自然语言处理多个领域,吸引了数十所知名高校学子报名参加论文复现,不仅覆盖了C9院校,也不乏博士后参与;共计百余篇经典论文算法上线华为云AI Gallery,供开发者学习和使用。百余篇AI经典论文算法已上线AI Gallery针对当前AI经典论文算法在开源社区上的代码质量参差不齐,很多代码不好用、难用、甚至用不了,以及一些论文作者不共享源代码,无法指导AI开发者可以更好的参考与探索的现状,华为云官方将一些经典而又常用的论文算法上线华为云一站式AI开发平台ModelArts,供广大AI开发者免费使用,降低开发者学习门槛;同时发起华为云AI经典论文复现活动,鼓励参与者基于ModelArts复现AI经典论文,并将复现的论文算法开放共享到ModelArts AI Gallery, 打造AI开发者学习社区,从而达到赋能AI开发者,让更多人来低门槛使用经典的算法目标。目前,已经有百余篇AI经典论文算法上线华为云AI Gallery,开发者可以了解算法介绍、查看代码,以及一键订阅算法,在ModelArts平台进行训练和推理。华为云ModelArts产品团队表示,将这些百余篇AI经典论文算法与现有教程结合,构建一整套由浅入深的“AI学习天梯”,帮助各行各业的开发者在人工智能领域“渐入佳境”。全方位支持AI经典论文复现为了让开发者更好地学习AI,华为云举办的AI经典论文复现活动,设置了百万级别奖金池,成功复现并通过验收即可获得奖金激励。每篇论文一支队伍复现,论文一经发布即引来各大知名高校学生参与,基于自身研究领域选择熟悉的论文。此外,为了帮助学生能顺利完成复现,活动中给报名学生们提供了全方位支持,包含ModelArts赋能和论文复现活动宣讲、提供充足的ModelArts算力、全周期指导和问题解答,整个活动受到了学生们的一致好评。代表性AI经典论文算法:图像分割-Fast-SCNN随着自动驾驶汽车的兴起,迫切需要一种能够实时处理输入的模型。目前已有一些先进的离线语义分割模型,但这些模型体积大,内存大,计算量大,Fast-SCNN: Fast Semantic Segmentation Network可以解决这些问题。它是一种针对高分辨率图像数据的实时语义分割模型,适用于低内存嵌入式设备上的高效计算。代表性AI经典论文算法:目标检测-TSD目前很多研究表明目标检测中的分类分支和定位分支存在较大的偏差,论文从sibling head改造入手,跳出常规的优化方向,提出TSD:Revisiting the Sibling Head in Object Detector方法解决混合任务带来的内在冲突,该方法可以灵活插入大多检测器中,帮助通用的检测器大幅度提升性能3%-5%,在COCO上,基于ResNet-101可以达到49.4的map,在SENet154上可以达到51.2。
-
作者:历天一【摘要】 基于HiLens Kit已经基本开发完成,可部署到HiLens Kit,模型的选择为基于DarkNet53的YOLOv3模型,权重为基于COCO2014训练的数据集,而车道线的检测是基于OpenCV的传统方法实现的,可通过ModelArts AI Gallery与HiLens Kit全流程端云协同开发部署。先来看看最终视频效果吧(PS:请忽略背景音乐)! 主体流程介绍:(可选,忽略亦可,取决于摄像头质量,对于相机畸变较大的需要先计算相机的畸变矩阵和失真系数,对图片进行校正)图片校正;截取感兴趣区域,仅对包含车道线信息的图像区域进行处理;对感兴趣区域使用透视变换;针对不同颜色的车道线,不同光照条件下的车道线,不同清晰度的车道线,根据不同的颜色空间使用不同的梯度阈值,颜色阈值进行不同的处理。并将每一种处理方式进行融合,得到车道线的二进制图;提取二进制图中属于车道线的像素;对二进制图片的像素进行直方图统计,统计左右两侧的峰值点作为左右车道线的起始点坐标进行曲线拟合;使用二次多项式分别拟合左右车道线的像素点(对于噪声较大的像素点,可以进行滤波处理,或者使用随机采样一致性算法进行曲线拟合);计算车道曲率及车辆相对车道中央的偏离位置;效果显示(可行域显示,曲率和位置显示)。检测驾驶过程中道路中其他车辆状态,显示车辆类别、置信度,并通过YOLOv3进行检测车辆,然后返回的车辆检测框的坐标与当前坐标进行透视变换获取大约的距离作为车辆之间的距离dis。说明:本Demo的主体框架基于HiLens Kit已经基本开发完成,模型的选择为基于DarkNet53的YOLOv3模型,权重为基于COCO2014训练的数据集,而车道线的检测是基于OpenCV的传统方法实现的,所以计算量较大,导致整体速度较慢。关于部署和训练——基于ModelArts 和HiLens Kit的端云协同:考虑到部署,已经测试过部署到HiLens Kit了,对了,也支持在HiLens Stuido运行模拟测试,更推荐在HiLens Studio哦,比较方便,而且不需要硬件支持,只需要在HiLens Kit或HiLens Studio上安装pillow库就行了,关于如何在HiLens Kit和HiLens Studio上安装第三方库,非常简单的哦,可参考:在HiLens Kit上:https://bbs.huaweicloud.com/forum/thread-94316-1-1.html在HiLens Studio上:https://bbs.huaweicloud.com/forum/thread-94317-1-1.html如果想训练或优化,由没有硬件(比如GPU),那么很推荐使用ModelArts了,一站式开发,无缝衔接到HiLens Kit哦,关于ModelArts的介绍可参考:https://www.huaweicloud.com/product/modelarts.html同时也许还能提升下运行速度,这里介绍三种算法,亲测都可以部署到HiLens Kit推理使用哦,就在最新的AI Gallery(原AI市场)中哦,这里除了有算法,还有模型、数据集等等,很丰富,大家可以自己探索一下,同时还可以分享自己的算法给其他开发者,开发者订阅即可创建训练使用,很方便,相比于GitHub,不仅提供了源代码,还提供了用于训练的硬件资源,强大的Tesla V100 32GB版本哦。 (1)YOLOv3_Darknet53,没错,就是著名的YOLOv3,经典的目标检测网络,后续又推出了YOLOv4、YOLOv5(暂称此名吧),AI Gallery也推出了YOLOv5的,不过由于PyTorch框架暂不支持模 型转换,所以暂时放弃了。 关于YOLOv3_Darknet53的使用方法,算法界面介绍很详细,这里就不赘述了,可以参考使用,注意模型转换部分请参考这篇博文中模型转换部分哦:https://bbs.huaweicloud.com/blogs/199870 算法备用链接为:https://marketplace.huaweicloud.com/markets/aihub/modelhub/detail/?id=2d52a07e-ccbd-420f-8999-2ea7b4bdd691 (2)YOLOv3_Resnet18(GPU),如果我们只想做车辆的检测或者为了简化模型,提高速度,可以选用主干网络为Resnet18的YOLOv3,网络更轻量,速度会快一些哦。 同样给上链接:https://marketplace.huaweicloud.com/markets/aihub/modelhub/detail/?id=948196c8-3e7a-4729-850b-069101d6e95c (3)YOLOv3_Resnet18(Ascend 910),和上面(2)版本差异不大,主要改为由GPU换为Ascend 910训练的,大家可自由选择哦。 链接为:https://marketplace.huaweicloud.com/markets/aihub/modelhub/detail/?id=7087008a-7eec-4977-8b66-3a7703e9fd22好了,算法部分解决了,数据怎么办呢?ModelArts的AI Gallery同样想到了,提供了数据集哦,免费订阅,下载到自己的OBS导入就能用了(注意OBS需要一定花费),这里我也提供了开源数据集的5164张人车图片,供大家使用哦,上链接:https://marketplace.huaweicloud.com/markets/aihub/datasets/detail/?content_id=a337272b-6918-4282-83d6-2b15e2a4c716那么数据集和算法都有了,该训练了吧,在ModelArts上可以很好完成,凭借强大的Tesla V100 32GB或Ascend 910可以很快完成哦。上述整体操作流程部分可参考下述博文完成:https://bbs.huaweicloud.com/blogs/199870运行效果:完成执行如视频中所示处理的一帧需要约300ms,也就是FPS约为3,不较慢,需要优化。我觉得还有很大优化空间,比如:(1)预处理和后处理很费时间,真正推理很快,可以从这方面加速,不知道开启多线程是否有提升,应该有吧;(2)应该可以更好发挥专用硬件,记得好像有DVPP和AIPP吧,可以用来做色域转换的操作; (3) YOLOv3的后处理解析比较麻烦,这里用的是COCO的80类,但可以只用person、car两类,或者再加一点,同时nms也比较费时间,如果能用算子实现,融合到om模型中,会提速很多;(4)这里使用的是Python,如果用C++应该会提升一些,执行效率会高很多吧。(5)优化提速要根据硬件性能,对费时的部分做分析,以最大压榨硬件性能,需要做针对性、定制化地优化,我个人理解很浅,希望有熟悉的同学指教。备注:本Demo所用模型、代码均来自开源代码,好像是吴恩达老师的一个课程涉及的项目,但找不到出处了,如果知道的同学,还请在在下方回复指教,谢谢了。本Demo的模型精度以及运行速度不做保证,仅供学习交流使用。其他未尽事宜,还请多多指教。代码会开源的,敬请期待哦,谢谢。来源:华为云社区 https://bbs.huaweicloud.com/blogs/226039
-
【DevRun开发者沙龙直播】11月17日晚20:00-21:00,来自华为云人工智能大赛金奖得主“上海麦图科技有限公司”的多位专家——CTO王宏锋、华为云MVP、智能塔台技术总监徐擎阳、首席AI架构师李鑫和AI算法专家孔维国一同进行华为云DevRun官方直播,全面剖析获奖项目《基于ModelArts与HiLens的智能塔台监控防护系统解决方案》直播回看:https://vhall.huawei.com/fe/watch/6671
-
国以民为本,民以食为天,对有着14亿人口的中国来说,粮食安全,一直都是关系国计民生的头等大事。2010年以来,我国人均粮食占有量持续高于世界平均水平,然而,中国也是世界粮食进口第一大国。新冠疫情全球蔓延,纷纷将粮食紧握手中,粮食危机被认为是“危机中的危机”。同时,粮食受气候、温度、湿度等自然环境影响,粮食安全问题越发引起人们的注意。#听他们自己说在粮食储存过程中,虫害、霉变和管理漏洞问题让我国粮食安全面临着严峻的挑战。每年粮食产后损失的数量在3500万吨,相当于吉林省一年的粮食产量。这份“餐桌外的浪费”,能不能借助信息化、智能化手段来改善?北京邮电大学的科研团队决定从最根源上减少虫害和霉变的发生。他们是控制科学与工程专业、物流工程专业的博士生和研究生,历经整整六年,研发了我国首套粮堆害虫自动检测设备及智能管理系统,建立了国内首个储粮害虫图像、红外光电序列数据集及粮温粮湿CT图库。这个肩负着“储粮安全智能监控引领者”使命的模型,有个硬核的名字叫“粮盾”,该项目进入了第六届中国国际“互联网+”大学生创新创业大赛的决赛,并取得全国总决赛银奖的成绩,他们正用尖端的科技,为减少粮食浪费筑起最为坚实的后盾。#用尖端科技守护粮食安全让害虫、霉变无处遁形据联合国粮农组织和国家粮食局数据显示,中国每年生产的粮食中有35%被浪费,其中,在粮食生产、流通、加工、消费等环节造成的浪费高达700亿斤,接近我国粮食总产量的6%。在储粮虫害和霉变的检测上,大多粮库都使用测温电缆,根据温度变化进行人工采样检查,然而这种传统检测方式并不精准,往往人们发现问题时,虫害已大量爆发,粮食也随之被吃空。为了减少虫害,粮仓的保管人员只能借助长时间通风降温或大量使用有毒化学熏蒸药剂的方式,不但造成环境污染,对工作人员的人身安全,也存在着种种风险。“粮盾”项目负责人李江涛博士,从本科的毕业设计开始,就接触储粮的相关科研项目。广泛阅读文献、论文,参与课题调研,对粮食行业接触得越深,团队越发感受到点滴粮食的珍贵。能否从储粮的虫害和霉变问题着手,尝试通过智能化手段减少粮食损失?从想法的萌芽到拓宽研究思路、不断迭代直至研发出完备的产品,“粮盾”团队花了将近6、7年时间。在“粮盾”团队的成员眼里,这是一种实验室研究方向的传承,学弟学妹们在学长、学姐的研究基础上接棒,不断完善优化。除了博士生、硕士生,项目还带动了60多位本科生参与项目子课题或子模块的研发。项目核心技术“粮盾云”结合软件和硬件开发,软件算法研发阶段依靠华为云ModelArts等深度学习工具,完成算法框架的搭建,借助华为云ModelArts平台算力算法数字模型导出,结合端侧设备华为云HiLens开发板,形成目前覆盖云边端协同数据采集和处理能力的系统。在感知端,收集粮库安装配备的测温电缆粮堆温度数据,以及团队国内首创的四款虫情采集设备,通过数传终端、边缘计算,汇聚到云端,完成数据汇总和智能分析,实现虫害霉变的早期预测、预警。最后,将信号发送到执行端,也就是粮库配备的机械通风降温系统,以及环流熏蒸杀虫系统,形成闭环,实现储粮安全监控的目的。对储粮安全进行智能监控,感知粮食储存状态,这是传统的监测方式所做不到的。粮堆中最大的储粮害虫,也只有约3毫米长,哪怕高清摄像头,也难以识别图像。一个粮仓有三个篮球场那么大,而粮堆又深达6、7米,在当中找虫子检查霉变情况,无异于大海捞针,加上南北方储粮粮仓仓型不同,比如东莞的粮库用的就是筒仓,粮堆高20多米,要检测到粮仓底部的虫子,单纯依靠人工,无疑难上加难。而通过“粮盾”设备,就能直观地观察到害虫滋生的状况,“粮盾云”数据集囊括了我国16种主要储粮害虫,识别出粮堆内部的每种害虫的种类和数量,算法准确率超过95%。“粮盾”系统结合害虫监测设备获得的数据、粮堆的温度、湿度,以及粮食的品质参数,构建出虫情评估模型和预警数学模型,可自动判断虫害危险等级,并提前一周预警虫害风险。要建立储粮害虫数据库,与害虫接触无可避免。然而,对昆虫,团队里有些成员有着莫名的恐惧。为了完成项目,他们必须克服这道心理障碍。在取害虫样本时,同学们要把害虫从培养罐里拿出来,再放入“粮盾”设备,以此采集图像数据和完成相应标注。回想起第一次拍害虫图像,李江涛后怕到:“我晚上做噩梦,梦见身上带着虫子回来。后来慢慢习惯了这些小东西,就好了。”淡淡的一句“习惯了”背后,凝聚着他们一次次为克服恐惧而付出的勇气。“粮盾”项目将尖端AI技术与民生问题相结合,为传统行业未来发展指引了方向。手握前沿科学技术,却愿意沉下心来,不断接力,在传统而古老的行业里踏实耕耘,团队要面对的艰苦可想而知,但正因如此“粮盾”团队才散发着独特的魅力。研制出第一代测量粮堆内部害虫的探管后,“粮盾”团队便将其拿到粮库里试验,只有真正走进粮仓实践,他们才能发现在实验室中觉察不到的问题。探管插进粮堆一段时间后,很多杂质会通过侧壁掉进探管里,堆积时间长了,探管里的害虫、杂质就很难清理。针对这个问题,历经几个月的迭代,“粮盾”团队首创出第一款粮内害虫检测装置自动清理系统,不用取出探管,就能将其内部的杂质自动清理,不但省时省力,还大大节约了人力成本。#华为提供强有力支持每个粮库减损600吨华为一直致力于人才的培养,北邮作为通信领域“双一流”高校,与华为校企联合成立了华为学院,共同在科学研究上为社会提供更多的发展方向,同时华为也为师生提供更多的帮助与优惠政策。从粮温粮湿CT图到预警早期发热,再到虫情评估及预警数学模型,团队将华为技术应用在机器学习中。在信息井喷的时代,数据既是宝贵的财富同时也造成大量的存储压力,项目研究过程中产生的数据集花费整个实验室十几个人3年的时间整理,既耗时又耗人力,同时数据作为私有财产,需要严格控制其私密性和安全性。团队将百亿级、千亿级的数据托管到华为云的OBS系统里面,再基于ModelArts平台完成模拟训练及算法的更新迭代,使系统的运作效率得到显著提升。在项目研发过程中,华为派出技术人员和管理人员亲力亲为辅助项目落地,确保数据托管的私密性,让团队放心的进行技术研究。面对数据私密性的挑战,华为给了“粮盾”团队一颗定心丸。正如团队蔡阔学弟所说:“我们数据是百亿级、千亿级的,华为给了我们非常大的存储空间,让我们可以放心地将庞大的数据存储、托管到华为的AI平台。再者,华为的技术老师不但给我们发来详尽的技术文档,还非常耐心地讲解,让我们放心地把技术和服务托管到华为云AI平台,给我们的数据私密性带来重要保障。”“粮盾”团队成员在两三个月时间里,奔赴全国各地走访了安徽国储库、重庆铜梁库、河北清苑库、北京顺义库、东莞库等粮库,对行业内部进行商业调研,了解整个粮食行业的软硬件需求及整套系统的商业模式。在“粮盾”系统研发过程中,身处粮食行业多年的指导老师,在行业需求上更进一步地给团队指明了产品的痛点和技术迭代的方向。在市场规划上,更有顶级专家顾问从粮食行业的渠道、运作模式和市场资源渠道等方面给同学们提供新的思路和启发。北京邮电大学的特聘专家——曼尼托巴大学的副校长和国家粮食和物资储备局科学研究院的专家们,在粮食行业需求的认识上,给予“粮盾”项目深度指导。来自各方的力量帮助项目组成员对行业需求和痛点有了更为清晰的了解。目前,“粮盾”系统已在国内13个省市的示范粮库进行了示范应用,获得粮库主任的一致认可,并受到前任国家粮食和物资储备局副局长吴子丹教授的高度好评。示范库使用“粮盾”系统后,每年每个粮库粮食减损量可达600吨,减少有毒化学药剂使用15%以上,节省人力成本2250人时。如果全国1.3万个粮库都用上“粮盾”系统,与现在的人工筛虫方式相比,“粮盾”每年可减损780万吨粮食和50%的储粮损耗、人力成本,直接经济效益可达795亿元。“粮盾”团队还和国家粮食与物资储备局科学研究院开展紧密合作,将“粮盾”融入其建设的“粮情早知道”平台0的4个核心模块,为至少100个国储库进行储粮安全的一体化监控,并合作优化多项粮堆安全评判标准,制定新的测虫行业标准。通过应用推广,使粮盾成为我国粮库监管标配。#未来可期,少年强则国强“粮盾”团队的成员,性格迥异,有人比较急躁、有人爱钻牛角尖、有人在技术上不断追求完美的、有人做事非常冷静,在相互磨合中,他们一步步将项目带上更大的舞台,交出了一张张闪亮的成绩单。在学术领域,“粮盾”项目团队共申请和获得专利9篇,发表了高水平论文8篇。他们还带着“粮盾”项目多次参与各种学科竞赛,在第六届中国国际“互联网+”大学生创新创业大赛中,他们更是一路闯进总决赛,与全球顶尖名校学生同台竞技,夺得了创意组高教主赛道银奖。“粮盾”团队的脚步并未就此停下,未来计划借助华为云平台的AI市场,端云协同多模态AI开发应用平台Hilens等开展全方位的服务。大学生是推动社会飞速发展的主力,为培养更多数字时代的优秀人才,华为联手教育部,在有关高校建设“智能基座”产教融合协同育人基地,现已在北京大学、清华大学、上海复旦大学、上海交通大学、西安交通大学、哈尔滨工业大学等72所高校,把鲲鹏、昇腾系列课程融入计算机专业、软件工程专业、人工智能专业、电子信息专业进行首批试点。为此,华为还联合出版社、各高校学科带头人,面向高校师生及开发者陆续推出鲲鹏、昇腾系列学习教材和教辅资料。未来,“智能基座”项目将全面推广,覆盖更多高校,真正实现产、学、研的全面协同。相信在华为的加持下,优秀的尖端人才,在面对社会问题时,更能像“粮盾”一样,一如既往地坚守初心。“我们亲眼见到粮食从储备、运输到真正让大家吃上饭,这个过程是多么艰难,需要投入多少人力物力财力。袁隆平爷爷这么大年纪,仍为‘一粒粮食可以拯救一个国家’的使命而努力工作,未来,我们同样会继续在粮食行业深耕,从粮食储藏和运输的环节,帮助中国提升粮食安全的保障能力,为粮食行业的智能化转型贡献一份力量,为我国的节粮减损建设无形的良田!”本文转自:华为 公众号
-
【课程简介】华为云开发者青年班,是面向开发者的精品实战系列课程,目前已开展第八期,均由华为云高级技术专家亲自带队指导!本期活动以ModelArts 动手实践 AI 开发为主题。让大家在开发者青年班中体验 学、练、赛一站式课程内容,轻松掌握AI开发技能。最近几年深度学习算法在自然语言处理、语音识别、图像处理等领域的突破应用和广泛接受。这也标志着深度学习已经彻底迈出实验室大门,走向实践,推动着人工智能向更高阶段发展。本课程就是对深度学习感兴趣的学员准备的,将深度学习理论和实践结合,更注重于深度学习算法该如何应用到图像处理等相关领域,干货满满本次开发者青年班课程与华为云“云上先锋”2021年度学习赛—EI&DevCloud相结合,通过系统性的课程学习,让零基础的开发者也可以完成赛事,并以“技术赋能、创新引领”为理念,通过线上学习+实践操作+丰厚奖品为形式,开发者可以了解华为前沿研发理念和先进技术,体验用华为云EI&DevCloud产品进行场景应用的开发,加深对华为云技术的了解,并提升自身的技能与能力。【参与对象】对AI感兴趣的开发者及个人,均可报名学习并参赛。【课程报名方式】点击立即报名即可报名成功 “立即报名” 报名成功后可参与活动分享,获得丰厚的分享奖励。【课程安排】课程时间安排课程安排实践安排课程学习入口(开课当日发放)11月12日-11月16日python基础课程Python编程知识开始学习11月17日15:00-17:00专家直播课,在线学习指导直播互动直播回顾11月18日-11月22日图像分类课程图像分类(入门版、进阶版)开始学习11月23日-11月30日图像目标检测课程目标检测(入门版、进阶版)开始学习【课程打卡要求】在课程时间安排内,在课程学习入口处点击链接领取课程内容学习后按照指定要求在帖子下方回帖形式完成打卡即可,完成全部课程打卡的用户可直接获得普惠奖抽奖机会一次(中奖概率80%)、及开发者青年班结业证书【活动奖励】【课程交流及答疑】1、参加开发者青年班课程学习扫描下方二维码加入活动QQ群内,每日课程公告,获奖名单信息等重要内容会第一时间在群内通知。2、如有技术相关问题可在此贴下方评论区内进行提问,专家会在24小时内为大家统一进行答疑处理。注意事项:1、大赛邀请专属链接禁止在本期开发者青年班活动群内露出,如发现群内露出将取消活动邀请资格。2、统一宣传推广图文可在活动QQ群公告处或此贴附件中查看领取3、 活动邀请中需完成实名认证,非实名认证用户或发现机器账号(同一用户多次报名、虚拟手机号注册、同一时间段连续注册)等非有效账号将不计入有效邀请人数,并取消该用户活动邀请资格 >>实名认证操作指导
-
为了帮助各位选手更快得掌握、更好地使用华为云ModelArts开发平台,我们为大家准备了《深圳开放数据应用创新大赛—ModelArts平台使用指导》手册,以供大家查阅、学习。指导手册主要内容如下;大家可在下方下载按钮点击下载附件《使用指导》手册,以及手册内baseline files压缩包文件。
-
作者 张倩近日,国际权威研究机构 IDC(国际数据公司)最新发布的《中国 AI 云服务市场(2020 上半年)跟踪》报告显示,华为云一站式 AI 开发平台 ModelArts 位居机器学习公有云服务中国市场份额第一位,高达 29%。报告指出:华为在国内市场具有先天的认知优势,开发者对于华为的技术、产品、品牌有着天然的认知和信赖。其中,华为云一站式 AI 开发平台 ModelArts 在行业用户中的主动提及率非常高。可以见得,在 ModelArts 平台学习 AI 技术已经成为越来越多开发者的偏爱,ModelArts 也正逐渐成为行业 AI 落地的首选。数据来源:IDC《中国 AI 云服务市场半年度研究报告,2020H1》众所周知,市场份额是产品是否好用的一个忠实反应。对于用户来说,「好用」的标准非常简单,即你的产品到底有没有解决我的问题?比如能否实现降本增效,产品是否安全可控等等。 作为一站式 AI 开发平台,华为云 ModelArts 的用户所关注的问题也在这一范畴之内。具体来说,他们会关心:这个平台上手门槛高不高?成本、效率高不高?我的数据隐私能得到保护吗?我的模型我自己能把关吗? 接下来,我们就从这些问题入手,看看市场份额第一的华为云 ModelArts 有没有解决这些问题。 开发者和企业所看中的,华为云 ModelArts 都满足了吗? 1. 门槛、成本和效率 一位从传统 IT 转向 AI 软件研发的技术总监曾表示,在早期的研发阶段,他们遇到了不少棘手的问题,比如从数据收集、处理,模型训练、管理到发布,AI 开发基本都处于一种「乡间作坊」的工作模式。这种工作方式不仅效率低下,而且不利于新人的培养,让人才培训成本居高不下。同时,模型上线后的工作性能受物理硬件的限制,横向扩展耗时耗力,资源利用率也无法有效保障。 这位技术总监提到的问题主要体现在门槛、成本和效率几个方面。在门槛方面,推动 AI 发展的核心四要素——算法、算力、数据和知识,每一个都存在门槛。在成本方面,传统的「乡间作坊」工作模式开发流程冗长,涉及的人员较多,人力、物力成本居高不下;在效率方面,这种工作模式容易重复造轮子,资源复用率低。 在种种困境下,华为云 ModelArts 走进了这些开发团队的视野。 为什么是 ModelArts? 在自然语言处理领域,BERT 的问世是一个里程碑事件。它让整个社区尝到了「预训练」的甜头:只需要简单的迁移策略,就能让模型在下游任务中获得良好的性能,使该领域由原来的手工调参、依靠机器学习专家的阶段,进入到大规模、可复制的大工业生产的阶段。这一经验同样可以复制到其他领域,华为云 ModelArts 的通用预训练模型架构——EI-Backbone 就是这一路径的开拓者之一。 EI-Backbone 通过整合算法模型、算力、数据和知识,可以进行模型选择自动设计、参数配置自动调优,在分钟级内完成模型训练,无需依仗专家经验就能大幅提升模型精度,显著降低 AI 使用门槛,缩短开发流程,提升开发性能。该架构提供了一种「预训练模型 + 小样本微调」的高效训练模式,能够让开发者基于行业小样本数据训练高精度模型。这在医疗等优质数据稀缺的场景中尤其有用。以医疗影像分割为例,过去需要成百上千例标注数据才能进行的训练,在 EI-Backbone 的加持下,只需要几十例甚至十几例标注数据即可完成,节省标注成本高达 90% 以上。 效率的提升和成本的节约还体现在算力方面。华为全联接大会 2020 发布的最新版华为云 ModelArts 3.0 在集群规模、任务数量以及分布式训练各个环节做了针对性优化,并支持弹性训练。弹性训练指的是华为云 ModelArts 提供的两种模式:一是 Turbo 模式,可以充分利用空闲资源加速已有训练作业,训练速度可提升 10 倍以上,并且不影响模型的收敛精度;二是经济模式,可以通过最大化资源利用率给开发者提供极致的性价比,在大多数典型场景下可以提升性价比 30% 以上。这种降本增效的成果在实际的业务场景中是非常可观的,无论是对 AI 开发者的低成本快速上手的需求,还是对行业 AI 智能转型升级来说,无疑都是最合适的选择。 2. 对数据的掌控 AI 模型性能的提升离不开大量的多源数据。如果企业只用自己有限、单一来源的数据进行训练,得到的模型可能不够准确,或泛化性较差。在此背景下,各个数据拥有方不可避免地要进行合作。 但与之矛盾的是,很多行业的数据涉及用户隐私、行业机密等问题,数据拥有者不愿或不能将数据上传至一个数据中心进行模型训练,从而形成了一个个的「烟囱」或「孤岛」。 华为云 ModelArts 的用户大多是这种类型,他们身处医疗、政务、金融等安全、隐私性要求极高的领域,因此必须对自己数据的流向进行严格把控,做到数据不出库。 数据不能出库,但模型的参数可以,这就是华为云 ModelArts 提供的联邦学习解决思路。在华为云 ModelArts 3.0 下,用户可以各自利用本地数据训练模型,不交换数据本身,只用加密方式交换更新的模型参数,实现云边协同训练。此外,华为云 ModelArts 3.0 不仅支持横向联邦学习,处理对齐的数据,还支持纵向联邦学习,可以轻松处理训练样本 ID 重叠多的数据。 对于使用华为云 ModelArts 实现行业 AI 落地的用户来说,引入联邦学习不仅解决了数据隐私问题,还节约了数据方面的成本。众所周知,医疗、制药等领域的数据标注难度非常大,需要领域专家的介入,因此成本非常高。通过联邦学习,各个数据拥有方都可以在这一技术的保护下实现数据价值的交换,显著降低成本。 3. 对模型的掌控 模型从实验室走向生产环境是一个令人揪心的过程。开发者和企业会担心这个模型精度不够高、性能不够好、可解释性差、可信度低等问题。在这些都没弄清楚之前,没有人敢大规模部署这款模型。 华为云 ModelArts 的成功之处在于,它在一定程度上缓解了这种「不透明」所带来的顾虑,将自动评估、诊断之后得到的模型精度、性能、可解释性、可信度等信息展示在一块「面板」上,让用户直观地看到自己模型的基本情况。 而且,这种评估是非常精细的,仅精度方面就有准确率、精确率、召回率、F1 值、混淆矩阵、ROC 曲线、数据敏感度分析等多项指标。这些指标可以帮助用户进行有针对性的调优,让用户做到「心中有数」,放心部署。 哪些行业已经用上了华为云 ModelArts? 当前,华为云 ModelArts 已经在金融、医疗、药物研发、自动驾驶等多个领域得到了广泛应用。 在金融领域,华为云 ModelArts 已经用于金融票据 OCR 识别。由于金融票据格式多样,差别细微,需要 AI 专家进行长时间的票据 AI 训练,因此业界识别准确率普遍不够精准。针对票据模型开发训练数据标注、模型训练、调优和部署上的诸多难点,华为云 ModelArts 通过数据集分类、自动学习、迁移学习等方法,让初级 AI 开发者无需调参等操作,轻松操作数据标注工具,完成部署。 在医疗领域,去年 11 月份,放射学领域国际顶级期刊《Radiology》发表了华为云 EI 创新孵化 lab、华中科技大学电信学院、华中科技大学同济医学院附属协和医院放射科联合团队的最新研究成果:运用华为云 ModelArts 开发的一套基于 CTA 影像的脑动脉瘤检测算法。该算法灵敏度高达 97.5%,帮助医生临床诊断灵敏度提升约 10 个百分点,漏诊率降低了 5 个百分点,同时有效缩短了医生的诊断时间。在药物研发领域,2020 年,华为云 EI 与中国科学院上海药物研究所签署联合创新合作协议,将华为自研的 FedAMP 算法和 AutoGenome 算法应用到药物研发的 AI 任务中,精准预测药物水溶解性、心脏毒性和激酶活性。中国科学院院士、中国科学院上海药物研究所研究员蒋华良联合华为云发布基于 ModelArts 平台的药物联邦学习服务,以解决研发数据高壁垒、高成本以及高机密的问题。实践证明,通过华为云 EI 联邦学习训练后的模型,准确度远超传统的联邦学习和深度学习算法。回顾过去的一年,华为云 ModelArts 在抗击疫情方面也发挥了重要作用,其参与的联合科研团队在 2020 年 2 月份就筛选出了五种可能有效的新冠抗病毒药物。此外,华为云还依托 AI 昇腾集群服务和 ModelArts 推出了 AI+CT 医学影像分析服务,运用计算机视觉与医学影像分析技术对患者肺部 CT 多发磨玻璃密度影(GGO)以及肺实变进行分割以及量化评价,并结合临床信息和实验室结果,辅助医生更高效、精准地区分早期、进展期与重症期,助力疫情防控工作。 技术赋能行业离不开一个低门槛、高效率同时又安全、可靠的工具。华为云 ModelArts 这类 AI 开发新工具的出现是实现技术普惠的重要条件,让「学 AI,用 ModelArts」成为开发者群体的新风尚,亦将让行业 AI 落地开拓者们亲手触碰到未来。 参考链接: https://www.zhihu.com/question/327642286/answer/1465037757 https://bbs.huaweicloud.com/blogs/203915 https://tech.ifeng.com/c/81fISXbX0Ay 本文转自:机器之心
hellohelloya
发表于2022-01-06 09:18:46
2022-01-06 09:18:46
最后回复
hellohelloya
2022-01-06 09:18:46
1949 0 -
3月9日,由东风汽车集团有限公司、东风畅行(武汉)科技股份有限公司联合主办、华为公司承办的“东风出行杯开发者创意大赛”顺利收官,来自武汉大学的“教学实验大楼6楼”团队成功问鼎夺冠。受新冠肺炎疫情影响,比赛采用线上方式进行。“东风出行杯开发者创意大赛”是大数据分析、创意交流赛事,赛题与东风畅行实际业务相结合,为开发者提供一个交流、学习,创新挑战的平台,以达到为业务赋能、培养汽车行业大数据人才的目的。大赛参赛者基于华为云一站式人工智能开发平台ModelArts,根据组委会提供的历史出行订单、出行原始**点数据,完成了订单需求预测、出行行为分析等模型的开发。大赛由东风出行平台提供2019年9~11月的部分订单数据,数据量大于50万行。赛题包括“订单需求预测”和“出行行为分析”两部分,参赛者通过分析历史订单数据,对给定的时间和给定的地点或区域,使用算法预测订单需求数量;同时通过分析用户使用东风出行app的历史数据,分析用户出行规律和人口流动特征,生成个性化运营方案。大赛期间,华为云面向参赛开发者提供了AI开发平台ModelArts,作为一站式人工智能开发平台,ModelArts为机器学习与深度学习提供海量数据预处理及半自动化标注、大规模分布式Training、自动化模型生成,及端-边-云模型按需部署能力,帮助用户快速创建和部署模型,管理全周期AI工作流,成为本次大赛的重要技术支撑。大赛分为初赛、决赛两个阶段,吸引了东风集团内部单位、外部企业、高等院校的25支队伍参赛。在初赛截止前,各参赛队提交了代码、模型、开发过程及解题思路介绍材料、仿真环境演示结果等,经由专业评审评判,最终7支参赛队入围决赛。入围决赛的队伍,经过线上答辩,八位专家评委严格评估,评选出最终获奖者:来自武汉大学的“教学实验大楼6楼”团队荣获一等奖,上海交通大学“蒲公英”团队、东风汽车公司技术中心“珠山湖波特舰队”团队获得二等奖,东风汽车公司技术中心“哈哈的数据联盟”团队、武汉大学“WHURSGIS”团队、东风日产乘用车公司“大碗宽面”团队、武汉理工大学“Transformer”团队获得三等奖。武汉大学“教学实验大楼6楼”团队获大赛冠军自2019年5月正式上线网约车业务以来,东风畅行旗下的东风出行平台用户订单数据已经超过100万。大赛充分结合平台大数据和华为云ModelArts的AI开发能力,赋能各参赛开发者产出优秀创意,为东风出行的运营升级提供更多思路,让无形的数据资产发挥出了更大价值,赋能智慧出行,改善用户体验。东风汽车集团有限公司副总经理尤峥代表东风公司对全体参赛队伍表示感谢。他说,本次大赛历时近2个月,后期还遭遇了前所未有的疫情。各参赛队努力克服困难,全身心地投入赛事当中,展示了良好的比赛成果。此外,本次大赛也为东风汽车数字化业务的价值挖掘提供了新思路、新模式。尤峥还表示,当前我国已将智能网联汽车与新能源汽车并列作为汽车产业发展的重要战略方向,数字化转型已成为重中之重。未来,汽车产品的定义将会发生变化,新一代汽车融合云计算、大数据、物联网、移动通讯、AI、三电等创新技术,汽车产业的价值链会向“产品+数据+服务+生态”拓展,数字化与生态融合将成为价值增长带。面向未来,也期待参赛选手在内的广大青年才俊们能够携手东风、共创未来。智慧出行是东风公司战略发展方向之一,在东风公司与华为公司的深化战略合作基础上,这次赛事也为双方创造了出行业务智能化的新契机。除智慧出行外,华为云ModelArts还支持图像分类、图像检测、视频分析、语音识别、产品推荐、异常检测等多种AI应用场景,让AI的行业应用有了更多想象空间。目前,ModelArts已经拥有开发者超过4万;2019年5月,ModelArts在斯坦福大学DAWNBench榜单以2分43秒的成绩获得图像识别训练时间世界第一。
-
课程内容:python基础https://education.huaweicloud.com/courses/course-v1:HuaweiX+CBUCNXE075+Self-paced/courseware/9d693a77b3e44ed291219706b6c277c4/988f88df3c3a440794d1c0f380fe1bf5/实践内容:图像分类(入门版、进阶版)入门实践:https://marketplace.huaweicloud.com/markets/aihub/notebook/detail/?id=4cd2f612-a3ce-4503-961f-48c61bcce016进阶实践:https://marketplace.huaweicloud.com/markets/aihub/notebook/detail/?id=eccb48ab-6514-4658-bbda-08208abba471【打卡说明】完成任务后在此帖下方按要求回复打卡内容输入个人华为云账号课程学习进度截图实践完成截图以上三个内容缺一不可哦~【打卡示例】课程学习后,在评论区上传学习进度截图,截图内包含华为云账号示意图:实践完成后,在评论区上传实践截图,如下:注:图片需要截图全屏,包含华为云账号信息。实操示意图:如果点击之后,跳转的页面右上角出现连接或者登陆,请先连接或者登陆,之后需要稍等30s此案例需要GPU运行,切换规格为GPU,优先选择免费由于实操人数过多,免费规格可能会售罄,此时需要切换到付费规格(一定要确保自己领取了代金券,可以点击此处查看代金券) 切换规格完成之后,点击控制台左上角三角形符号开始运行实践代码,具体操作可以参考:JupyterLab的详细用法: 请参考《ModelAtrs JupyterLab使用指导》碰到问题的解决办法: 请参考《ModelAtrs JupyterLab常见问题解决办法》完成之后点击右上角的分享按钮点击此处,可以查看自己完成的实践,并截图提交注:在11月18日-11月22日期间完成打卡可算课程完成有效人数,全部完成后可获得青年班结业证书+获得普惠抽奖资格一次哦~
上滑加载中
推荐直播
-
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家;李炎-华为云码道产品专家;彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战,从0到1打通消息通道;码道鸿蒙端云一体化实战,快速搭建员工签到系统。
回顾中 -
华为云开发者AI素养直播课·第三期2026/08/21 周五 16:00-18:00
林华鼎-华为云AI开发者运营负责人;念擎-华为云AI开发者运营案例开发专家
本期直播内容:AI六层能力首次详细解读 + 新一代华为云开发者空间亮相 + 校园案例直播带练
回顾中
热门标签