• [技术干货] 【沙箱实验室】使用ModelArts实现花卉图像分类【玩转华为云】[转载]
    沙箱实验室简介华为云服务的操作体验,使用虚拟华为云账号,根据详细的实验手册,一步步指导操作,模拟真实场景,完善的虚拟环境配置搭建,可随时随地通过浏览器进入虚拟环境操作实验。实验室地址:https://lab.huaweicloud.com/?ticket=ST-838552-0GWxPCDy1PnMndcVTf64YBdU-sso下面进入使用ModelArts实现花卉图像分类的实验室。使用ModelArts实现花卉图像分类在线实验网址:https://lab.huaweicloud.com/testdetail_287?ticket=ST-881199-Kvqdg9ZIKRnRQgGGDAmTW2nK-sso进入之后点击开始实验。打开Chrome浏览器,自动登录并进入华为云控制台页面。实验拓扑。准备数据创建对象存储 OBS创建完成回到对象存储服务列表,点击刚刚创建的OBS桶名称进入详情页,选择左侧“对象”->“新建文件夹”(存放后续步骤的数据文件),名称任意(请记住此名称以备后续相关步骤使用),点击“确定”,如下图:创建 NoteBook 复制数据在服务列表中找到并进入人工智能服务ModelArts,然后点击ModelArts页面中左侧的【开发环境】选项一点击【notebook]进入notebook页面。点击【创建】按钮进入创建页面,并按照左边的操作提示进行参数配置进入创建页面,参数要求:① 名称:任意,如flowers-notebook② 自动停止:2小时后③ 镜像:公共镜像:在第二页选择tensorflow1.13-cuda10.0-cudnn7-ubuntu18.0.4-GPU算法开发和训练基础镜像,预置AI引擎Tensorflow1.13.1④ 资源池:公共资源池⑤ 类型:GPU⑥ 规格:8核64GB⑦ 储存配置:云硬盘(5GB)其它参数默认,点击“立即创建”->“提交”创建成功,返回NoteBook列表,等待状态变为“运行中”【约等待3分钟】,点击“打开”进入NoteBook详情页。在页面中选择“TensorFlow-1.13.1”,如下图所示:进入Python命令输入界面,输入如下命令后,点击“Run”:复制如下命令,粘贴至Python命令输入第二行(命令需修改后执行):修改说明:将代码中的“your_bucket_name”替换为创建的OBS桶名称;将代码中的“your_folder_name”替换为OBS桶中创建的文件夹名称。点击“服务列表”-> 选择“存储”的“对象存储服务”,点击桶名,点击文件夹可以查看复制的文件,即训练所需的数据集。训练模型按照实验室左侧的操作前提分别进行下面两个操作:创建训练作业回到ModelArts界面,进入左侧导航栏的【AI Gallery】在【AI Gallery】页面点击顶部【算法】进入算法页面,选择算法【图像分类-ResNet_v1_50】(也可在谷歌浏览器新建1个新页签,输入链接【https://marketplace.huaweicloud.com/markets/aihub/modelhub/detail/?id=40b66195-5bbe-463d-b8a2-03e57073538d】进入)点击“订阅”,如果显示“已订阅”则无需操作,如下图所示:点击“前往控制台”,选择“华北-北京四”区域。接下来回到在ModelArts主界面,在【训练管理】选择训练作业,点击【创建】算法管理选择。选择10.0.0 版本。数据来源选择,选择之前在 OBS 里面创建的文件夹。模型输出选择,在之前创建的 OBS 里面新建一个空文件夹作为模型输出文件夹。整体的参数选择。通过可视化作业查看模型训练信息在模型训练的过程完成后,通过创建可视化作业查看一些参数的统计信息,如loss, accuracy等。操作如下:① 在“训练作业”界面,点击“可视化作业”,再点击“创建”按钮;② 参数“名称”,可随意填写;③ 规格:默认;④ “训练输出位置”选择2.2步骤中的训练输出位置;⑤ “自动停止”不设置(关闭)。点击“下一步”确认规格无误后点击“提交”完成此步。此步骤创建时间较长【约等待5分钟】,建议直接继续下一步实验,无需等待。模型部署按照实验室左侧的操作前提分别进行下面两个操作:导入模型部署在线服务(这一步和左边操作里面的提示不太一致,可以按照下面图片里面的步骤进行部署)发起预测点击刚刚部著上线(已完成部署)的在线服务名称,进入服务详情,点击“预测”标签,在此可进行在线预测,如下图所示。操作:选择预测图片文件,点击左侧“上传”选择pic文件夹内的图片资源,点击“预测”完成操作。说明:测试图片存放于桌面pic文件夹内。尝试更多图片预测,可点击桌面sunflower.sh脚本进行快捷搜索。下面进行了五种花卉的预测并给出预测结果{ "predicted_label": "daisy", "scores": [["daisy", "0.766"], ["sunflowers", "0.232"], ["dandelion", "0.002"], ["roses", "0.000"], ["tulips", "0.000"]] }{ "predicted_label": "roses", "scores": [["roses", "0.999"], ["daisy", "0.000"], ["dandelion", "0.000"], ["sunflowers", "0.000"], ["tulips", "0.000"]] }{ "predicted_label": "tulips", "scores": [["tulips", "0.997"], ["daisy", "0.003"], ["dandelion", "0.000"], ["roses", "0.000"], ["sunflowers", "0.000"]] }{ { "predicted_label": "sunflowers", "scores": [["sunflowers", "1.000"], ["daisy", "0.000"], ["dandelion", "0.000"], ["roses", "0.000"], ["tulips", "0.000"]] }{ "predicted_label": "dandelion", "scores": [["dandelion", "1.000"], ["daisy", "0.000"], ["roses", "0.000"], ["sunflowers", "0.000"], ["tulips", "0.000"]] } }体验感受和建议实验的体验还是很好的,基本上按照步骤一直操作下去。不过60分钟的实验时间,感觉没有过瘾,希望可以延长一点时间。
  • [其他] EI论坛ModelArts技术干货FAQ合集
    AI市场原版YOLOv3实现人车检测--ModelArts与Atlas 200 DK的端云协同看图学NumPy:掌握n维数组基础知识点,看这一篇就够了【手摸手学ModelArts】一键抠图,轻松上手!【手摸手学ModelArts】Copy攻城狮信手”粘“来 AI 对对联手把手教您体验ModelArts NotebookModelArts自动学习实现北京冬奥会与残奥会吉祥物识别基于华为云智能问答机器人的AI诗歌生成保姆级视频教学-[联动]"蚂蚁牙黑"学习记录&实操练习 【基于ModelArts】带你零代码开发检测口罩是否佩戴的模型用ModelArts轻松玩转Python正则表达式和魔法方法
  • [技术干货] ModelArts 入门与案例
           为帮助用户快速上手,我们为部分常见使用场景(美食分类、垃圾分类、口罩检测、安全帽检测、长度检测等)提供了参考模型,相关模型只需要进行订阅等简单操作即可快速部署。 ModelArts 支持将模型部署为在线服务、边缘服务、批量服务 。名称简介入口【数据】Dataset-car-and-person-500已标注的街道场景中的车辆和路人数据集,目标检测,500张前往>>【数据】红绿灯、斑马线、限速、解限速数据集无人车挑战杯大赛训练集前往>>【数据】自动驾驶文本分类数据集--外卖评论外卖评论数据集,含约4000条正向评论、8000条负向评论前往>>【代码】意大利VS英格兰基于历史胜负关系等因素,对比赛进行胜负判断前往>>【代码】让照片人物动起来蒙娜丽莎,居然开口唱歌了?前往>>【代码】CNN Group InterpretationA novel deep learning model interpretation algorithm前往>>【算法】强化学习预置算法DQN, PPO, A2C, IMPALA以及APEX前往>>【算法】推荐搜索(点击率预估)-DeepFM-GPU为自研 Wide & Deep 推荐模型前往>>【算法】推荐搜索-CTR常用算法包含FM,DeepFM,DCN,Wide & Deep前往>>【算法】防疫口罩佩戴及跌倒检测基于Faster-R-CNN-resnet50的目标检测模型前往>>【算法】基于图像的花卉种类识别即便是植物学家, 分辨一种他不熟悉的花卉品种也极具挑战前往>>【算法】图像分割-Fast-SCNN提供训练代码和可用于训练的模型,用于实际场景的微调训练前往>>【算法】Aster(文字识别/PyTorch)该算法需要使用SynthText和MJSynth数据集进行训练前往>>【模型】自动驾驶理解路况、环境及对车辆运行进行决策前往>>【模型】图像分类(西安人工智能大赛冠军获奖模型)对西安景点、美食、民俗、特产、工艺品等5个大类、57个子类别图像数据进行分类前往>>【模型】声音分类基于TensorFlow, Ascend910训练, 支持CPU和GPU推理前往>>
  • [产品体验官] 【中级体验任务】ModelArts AI开发平台全流程开发体验
    体验形式:请各位体验官按照体验任务的要求操作和体验产品,最后按要求输出体验问卷。我们会从中筛选出高质量问卷,给予礼品奖励和积分奖励。产品简介:ModelArts 是面向开发者的一站式 AI 平台,为机器学习与深度学习提供海量数据预处理及交互式智能标注、大规模分布式训练、自动化模型生成,及端-边-云模型按需部署能力,帮助用户快速创建和部署模型,管理全周期 AI 工作流。  体验流程:本次体验涉及代金券,请勿直接操作,以免造成欠费。1.请先申请成为体验官:点击链接申请成为体验官2.报名体验:点击报名3.体验任务:点击开始体验4.完成体验问卷:点击填写问卷活动时间:3月18日-4月4日活动流程:1.如您已经成为产品体验官,小助手会在群内发布招募公告,直接报名即可。2.如您还未申请成为体验官,请点击链接先申请成为体验官,再参与活动哦~申请链接:https://developer.huaweicloud.com/activity/experience-officer.html  ☆奖品设置如下☆参与奖:若干名活动要求:按照要求完成任务卡奖品:文件收纳包1个+3体验官积分    优秀奖:若干名活动要求:被专家评为优秀报告奖品:雷柏V500机械键盘1个+5体验官积分    
  • [AI类] 【ModelArts】【在线服务】部署成功,预测报错
    【功能模块】用ModelArts尝试自定义算法(Tensorflow2.0)实现花卉分类,按着这个使用自定义算法构建模型(手写数字识别)_AI开发平台ModelArts_最佳实践_模型开发(自定义算法-新版训练)_华为云 (huaweicloud.com)数字识别的教程做,前面的训练、部署都没有问题,选个图片进行在线预测报“预测失败”,看日志如下。请高人指点!【日志信息】(可选,上传日志内容或者附件)2022-03-09 12:13:54 UTC [MainThread ] - /home/mind/model_service/tfserving_backend.py[line:95] - INFO: failed to check tensorflow_model_server listen port, wait next poll []2022-03-09 12:13:54 UTC [MainThread ] - /home/mind/model_service/tfserving_backend.py[line:95] - INFO: failed to check tensorflow_model_server listen port, wait next poll []2022-03-09 12:13:55 UTC [MainThread ] - /home/mind/model_service/tfserving_backend.py[line:95] - INFO: failed to check tensorflow_model_server listen port, wait next poll []2022-03-09 12:13:55 UTC [MainThread ] - /home/mind/model_service/tfserving_backend.py[line:95] - INFO: failed to check tensorflow_model_server listen port, wait next poll []2022-03-09 12:13:56 UTC [MainThread ] - /home/mind/model_service/tfserving_backend.py[line:95] - INFO: failed to check tensorflow_model_server listen port, wait next poll []2022-03-09 12:13:56 UTC [MainThread ] - /home/mind/model_service/tfserving_backend.py[line:95] - INFO: failed to check tensorflow_model_server listen port, wait next poll []2022-03-09 12:13:57 UTC [MainThread ] - /home/mind/model_service/tfserving_backend.py[line:95] - INFO: failed to check tensorflow_model_server listen port, wait next poll [][2022-03-09 12:13:57 +0000] [47] [CRITICAL] WORKER TIMEOUT (pid:188)[2022-03-09 12:13:57 +0000] [188] [INFO] Worker exiting (pid: 188)2022-03-09 12:13:57 UTC [MainThread ] - /home/mind/model_service/tfserving_model_service.py[line:62] - INFO: destroy model service serve []Exception ignored in: >Traceback (most recent call last):File "/home/mind/model_service/tfserving_model_service.py", line 63, in __del__self.tfserving_backend.unload(self.model)AttributeError: 'TFServingBackend' object has no attribute 'unload'[2022-03-09 12:13:58 +0000] [257] [INFO] Booting worker with pid: 2572022-03-09 12:14:01.881661: I tensorflow_serving/util/retrier.cc:33] Retrying of Loading servable: {name: serve version: 1} retry: 42022-03-09 12:14:01.884116: I external/org_tensorflow/tensorflow/contrib/session_bundle/bundle_shim.cc:360] Attempting to load native SavedModelBundle in bundle-shim from: /home/mind/model/12022-03-09 12:14:01.884320: I external/org_tensorflow/tensorflow/cc/saved_model/loader.cc:242] Loading SavedModel with tags: { serve }; from: /home/mind/model/12022-03-09 12:14:01.896173: I external/org_tensorflow/tensorflow/cc/saved_model/loader.cc:291] SavedModel load for tags { serve }; Status: fail. Took 11821 microseconds.2022-03-09 12:14:01.896328: E tensorflow_serving/util/retrier.cc:37] Loading servable: {name: serve version: 1} failed: Not found: Op type not registered 'StatefulPartitionedCall' in binary running on bc7f3a04-573a-4f81-9f11-14ee064a6ebf-16468276610-558bb55865dzfx. Make sure the Op and Kernel are registered in the binary running in this process.2022-03-09 12:14:02.328596: I tensorflow_serving/util/retrier.cc:33] Retrying of Loading servable: {name: serve version: 1} retry: 22022-03-09 12:14:02.332407: I external/org_tensorflow/tensorflow/cc/saved_model/loader.cc:242] Loading SavedModel with tags: { serve }; from: /home/mind/model/12022-03-09 12:14:02 UTC [MainThread ] - /home/mind/app.py[line:134] - INFO: args: Namespace(model_name='serve', model_path='/home/mind/model/1', service_file='/home/mind/model/1/customize_service.py', tf_server_name='127.0.0.1') []2022-03-09 12:14:02 UTC [Thread-1 ] - /home/mind/model_service/model_def.py[line:30] - INFO: signature name: __saved_model_init_op []2022-03-09 12:14:02 UTC [Thread-1 ] - /home/mind/model_service/model_def.py[line:30] - INFO: signature name: serving_default []2022-03-09 12:14:02 UTC [Thread-1 ] - /home/mind/model_service/model_def.py[line:37] - WARNING: signatures more than one, use serving_default signature []2022-03-09 12:14:02 UTC [Thread-1 ] - /home/mind/model_service/model_def.py[line:39] - INFO: model signature: serving_default []2022-03-09 12:14:02 UTC [Thread-1 ] - /home/mind/model_service/model_def.py[line:49] - INFO: model inputs: {'input_1': tf.float32} []2022-03-09 12:14:02 UTC [Thread-1 ] - /home/mind/model_service/model_def.py[line:59] - INFO: model outputs: {'output_1': tf.float32} []2022-03-09 12:14:02 UTC [MainThread ] - /home/mind/model_service/tfserving_backend.py[line:95] - INFO: failed to check tensorflow_model_server listen port, wait next poll []
  • [业务动态] 关于沙箱实验《使用ModelArts中开发工具学习Python(高级)》下线优化的通知
    沙箱实验《使用ModelArts中开发工具学习Python(高级)》将于2022年3月3日下线进行优化刷新,实验下线后将无法开始实验,下线前的实验操作记录可在【开发者个人中心】的【我的实验】页面中进行查看,请知悉。感谢您的关注,欢迎到沙箱实验室,体验更多精彩实验!发布日期:2022年3月3日
  • [业务动态] 关于沙箱实验《使用ModelArts中开发工具学习Python(初级)》下线优化的通知
    关于沙箱实验《使用ModelArts中开发工具学习Python(初级)》下线优化的通知沙箱实验《使用ModelArts中开发工具学习Python(初级)》即将于2022年3月3日下线进行优化刷新,实验下线后将无法开始实验,下线前的实验操作记录可在【开发者个人中心】的【我的实验】页面中进行查看,请知悉。感谢您的关注,欢迎到沙箱实验室,体验更多精彩实验!发布日期:2022年3月3日
  • [赛事资讯] 【精彩速递】官宣!2022年第八届华为软件精英挑战赛正式启动报名
    【赛事资讯】2022年2月26日-- 3月4日✨【品牌赛事】官宣!2022年第八届华为软件精英挑战赛正式启动报名摘要:3月1日,“普朗克计划”2022第八届华为软件精英挑战赛正式启动报名。大赛是华为公司面向全国乃至全球在校大学生举办的大型软件编程竞赛,从2015年至今已成功举办七届,累计超10万优秀大学生参与,展示软件设计与编程的技术能力。本届大赛由华为云承办,将围绕“普朗克计划”主题展开,华为资深专家技术团队出题,邀请全球高校精英们加入,一起探索技术编程与竞技的更高境界,寻找像普朗克一样,能改变未来智能世界的软件精英。✨【前沿快讯】医疗物联网:彻底改变医疗保健摘要:医疗物联网 (IoMT) 是物联网的一个分支。总体而言,IoMT是一个由医疗设备、软件应用程序以及医疗生系统和服务组成的互联基础设施,该基础设施旨在改善医疗保健的可及性,同时改善患者健康和对医疗保健服务的满意度。据预测,到 2022 年,IoMT 市场的价值将约为 1580 亿美元,而 2016 年仅为 240 亿美元。我们一直在密切关注医疗物联网的发展,包括许多快速发展的技术和几个潜在的专利领域。✨【热门活动】第二届华为大学生电力电子创新大赛喊你来报名啦摘要:第二届华为大学生电力电子创新大赛正式开启,创新特等奖20万!报名后转发推文至朋友圈,集赞将有机会获得豪礼。接手速和人品的时候到了,你心动了吗? ✨【技术干货】智慧园区热门动态汇总!快速找到您想要的摘要:欢迎来到智慧园区!在这里,有技术干货,有实例分享,有专家交流,有各种奖励活动~希望大家在学习、交流的同时可以有所收获(精神上和物质上都要有!!) ✨【实战演练】ModelArts自动学习实现北京冬奥会与残奥会吉祥物识别摘要:最近,随着北京冬奥会的开幕,吉祥物“冰墩墩”也一举成为“顶流”,赢得了无数海内外粉丝的喜爱,更是一”墩“难求!当然,雪容融也是相当可爱的,这里使用华为云的ModelArts下的自动学习功能进行一个AI分类识别,看看我们的AI如何鉴别两只小吉祥物!!北京冬残奥会即将开幕,快来一起参与吧!!✨【直播回顾】三本书帮你看淡元宇宙摘要:带你从元宇宙的本质出发,获得关于元宇宙的不一样的洞见,给你一些元宇宙书籍阅读选择的启发。
  • [前沿快讯] 华为云ModelArts蝉联中国机器学习公有云市场份额第一
    近日,国际数据公司IDC发布 《IDC中国2021H1人工智能公有云服务市场研究报告》 华为云一站式AI开发平台 ModelArts 位居中国机器学习公有云服务市场份额第一 连续三次登上该市场榜首位置 报告指出,在中国机器学习公有云服务市场中,华为云受到政企客户的青睐,在AI云服务市场的竞争优势逐渐凸显。华为云一站式AI开发平台ModelArts可以提供数据处理、算法开发、模型训练、模型管理、模型部署等AI模型开发全流程技术能力;率先支持MLOps;持续构建大模型训练优化能力。同时积极打造开放的AI生态,接入生态开发工具,通过华为云AI Gallery联接AI市场的供、需、学三方,助力解决AI落地时所面临的“AI算力稀缺、AI人才短缺、AI开发难、AI行业应用难”两难两缺难题,推动AI走进千行百业的核心生产系统。面向AI开发者,持续提供硬核黑科技服务 ModelArts人工智能集群服务支持大规模分布式训练。为帮助开发者及企业客户解决训练大模型时面临的技术、成本、资源等挑战,华为云一站式AI开发平台ModelArts提供人工智能集群服务,全场景深度优化,支持大规模分布式训练。从端到端全流程角度看,相比线下开发大模型,基于ModelArts的开发效率可提升4倍以上,并且可以解决超大模型训练的资源可获得性问题。云原生模型开发工具链,助力AI开发效率提升。华为云一站式AI开发平台ModelArts支持将云上资源与开发工具链相结合。面向AI初学者,线上CodeLab支持秒级接入资源,可按需切换;面向深度开发者,支持云上远程开发与自定义开发环境。借助云原生的资源调度,开发者可进一步构筑基于ModelArts云原生的算法开发范式和能力。面向AI生态,搭建“知识”+“实训”的AI开发社区 基于一站式AI开发平台ModelArts,华为云构建了开发者生态社区AI Gallery,这是一个AI资产共享的社交平台,也是“知识”+“实训”的AI开发社区。 AI Gallery汇聚了算法、模型、数据集、工作流等10余种、50000余个AI资产,保障AI开发、应用生态链上的各个参与方都能高效地实现各自的商业价值,降低各行各业开发者在人工智能领域的学习门槛,加速AI的应用实践。面向AI行业落地,全面支持全流程MLOps开发 华为云一站式AI开发平台ModelArts全面支持MLOps,改变了原有分段开发AI模型的流程, 实现全流程自动化的协同迭代开发模式。ModelArts也成为国内首个支持MLOps的AI开发平台。 基于MLOps的理念,华为云一站式AI开发平台ModelArts的Workflow工具提供运行记录、监控、持续运行等功能。通过Workflow工具,实现AI开发、运行及运行后监测的全生命周期管理,加快AI开发到落地的迭代速度,以及效果体验的持续优化。同时,开发者可通过AI Gallery实现Workflow快速构建与能力分享。华为云一站式AI开发平台ModelArts帮助企业实现了AI应用全生命周期管理,大幅提升AI开发效率,加速了AI在千行百业的落地。制造领域,华为云和博世华域基于ModelArts Workflow开发出了刀具状态智能识别Usecase。通过刀具声音识别算法,在保证良品率的情况下,刀具使用效率提升5%以上。基于MLOps理念打造的刀具声音识别Usecase,能够轻松地针对不同刀具甚至其他生产工具进行方案扩展,将声音检测算法应用在更广泛的制造行业状态维护场景;药物研发领域,依托华为云一站式AI开发平台ModelArts与华为云一站式医疗研发平台EIHealth,中国科学院上海药物研究所联合华为云训练了华为云盘古药物分子大模型,赋能全流程的AI药物设计,大幅提升新药研发效率;交通运输领域,深圳机场基于华为云机场智能体快速构建60+调度规则,实现机位分配自动化、智能化,让机场靠桥率提升5%,每年帮助260万旅客免乘摆渡车。转自华为云公众号
  • [讲座&活动公告] 复现汤圆表情包~ModelArts手把手教你,解锁其他新玩法~
    本案例先用目标检测检测图片中汤圆的位置,然后将每个汤圆的图片和其他图片(比如云宝)进行融合,最后将图片中所有汤圆都变成了云宝!案例链接:https://developer.huaweicloud.com/develop/aigallery/notebook/detail?id=94d4f398-853f-4f71-8ff8-fcb1e1e655d5ModelArts 是面向开发者的一站式 AI 平台,为机器学习与深度学习提供海量数据预处理及交互式智能标注、大规模分布式训练、自动化模型生成,及端-边-云模型按需部署能力,帮助用户快速创建和部署模型,管理全周期 AI 工作流。地址:https://www.huaweicloud.com/product/modelarts.html活动时间:2月16日-2月28日活动流程:1.扫码进群,交流讨论案例2.体验云宝表情包特效案例,或自行开发相关案例,截图案例结果,回贴到本贴评论区。(每个账号仅限回帖一次)3.观看直播,特邀广大网友们线上交流,互助学习,还有云宝公仔赠送。直播时间:2月24日19:00-20:00直播地址:http://live.bilibili.com/221365944.邀请朋友体验案例,并截图盖楼5.公布获奖名单,预计三月初公示,请参与者及时关注并填写奖品地址 活动奖项:1.最佳创意奖项:用本案例所涉及到的技术,开发出不一样的体验案例,并将代码分享到AIGallery :https://developer.huaweicloud.com/develop/aigallery/notebook/list案例结果截图到本贴评论区,活动结束后由直播老师评选出最有创意的案例,送华为GT2手表、EI定制大礼包。2.盖楼回帖福利奖:活动盖楼奖品中奖楼层>100层10本ModelArts书9%、19%、29%、39%、49%、59%、69%、79%、89%、99%>200层在上层基础上增加:10本ModelArts书2%、12%、22%、32%、42%、52%、62%、72%、82%、92%>300层在上层基础上增加:10件ModelArts卫衣7%、17%、27%、37%、47%、57%、67%、77%、87%、97%>400层在上层基础上增加:10件ModelArts卫衣4%、14%、24%、34%、44%、54%、64%、74%、84%、94%>500层在上层基础上增加:10个华为蓝牙音箱5%、15%、25%、35%、45%、55%、65%、75%、85%、95%>600层在上层基础上增加:10个华为蓝牙音箱6%、16%、26%、36%、46%、56%、66%、76%、86%、96%>700层在上层基础上增加:10个华为三脚架自拍杆3%、13%、23%、33%、43%、53%、63%、73%、83%、93%>800层在上层基础上增加:10个华为路由器8%、18%、28%、38%、48%、58%、68%、78%、88%、98%>900层在上层基础上增加:10个华为路由器1%、11%、21%、31%、41%、51%、61%、71%、81%、91%活动说明:当活动盖楼为350,对应奖品为【10本ModelArts书+10本ModelArts书+10件ModelArts卫衣】“有效楼层”指的是回复本次活动相关内容的楼层视为有效楼层,回复其他内容均视为无效楼层,不予奖励。抽奖方式为活动结束后,主办方将从活动帖子下所有盖楼的用户中抽取各等奖励获奖楼层。获奖楼层=总楼层*中奖百分比。例如:活动结束后总楼层为1000,中奖百分比为96%,则1000*96%=960,即第960楼获奖,其他获奖楼层同理可得。如出现小数点则四舍五入,例如:活动结束后总楼层为530,中奖百分比为96%,则530*96%=508.8,则第509楼获奖。无效楼层不参与中奖,奖励楼层向下一楼层顺延。例如:抽取获奖楼层为第5楼,但5楼为无效楼层,即顺延至第6楼获奖,若依然为无效楼层,则继续顺延,以此类推。请务必使用个人实名账号参与活动(IAM、企业账号等账号参与无效)。为保证活动的公平公正,华为云有权对恶意刷活动资源(“恶意”是指为获取资源而异常注册账号等**活动公平性的行为,黑产用户不计入活动统计),利用资源从事违法违规行为的用户收回奖励资格,本次活动一个实名认证账号只能对应一个收件人(只能参加一次),如同一账号填写多个不同收件人,不予发放奖励,且每个账号只记录最早的一次回帖,多发无效本活动规则由华为云在法律规定范围内进行解释。华为云保留不时更新、修改或删除本活动规则的权利。上述更新、修改或删除于公布时即时生效,用户应当主动查阅本活动规则的最新内容。所有参加本活动的用户,均视为认可并同意遵守《华为云用户协议》,包括以援引方式纳入《华为云用户协议》的《可接受的使用政策》、《法律声明》、《隐私政策声明》、相关服务等级协议(SLA),以及华为云服务网站规定的其他协议和政策(统称为“云服务协议”)的约束。如果您不同意本活动规则和云服务协议的条款,请勿参加本活动。
  • [技术干货] ModelArts自动学习实现北京冬奥会与残奥会吉祥物识别
    ModelArts自动学习实现北京冬奥会与残奥会吉祥物识别最近,随着北京冬奥会的开幕,吉祥物“冰墩墩”也一举成为“顶流”,赢得了无数海内外粉丝的喜爱,更是一”墩“难求!当然,雪容融也是相当可爱的,这里使用华为云的ModelArts下的自动学习功能进行一个AI分类识别,看看我们的AI如何鉴别两只小吉祥物!!(图片来自网络) 基础环境准备在使用 ModelArts 进行 AI 开发前,需先完成以下基础操作哦(如有已完成部分,请忽略),主要分为4步(注册–>实名认证–>服务授权–>领代金券):使用手机号注册华为云账号:点击注册点此去完成实名认证,账号类型选"个人",个人认证类型推荐使用"扫码认证"。 点此进入 ModelArts 控制台数据管理页面,上方会提示访问授权,点击【服务授权】按钮,按下图顺序操作: 进入 ModelArts 控制台首页,如下图,点击页面上的"彩蛋",领取新手福利代金券!后续步骤可能会产生资源消耗费用,请务必领取。 以上操作,也提供了详细的视频教程,点此查看:ModelArts环境配置大概流程完成了基础环境准备后,我们就可以开始基于 ModelArts 开始我们的 AI 开发之旅,此次操作主要分为以下几个流程:从AI Gallery下载数据集并上传到华为云对象存储服务(OBS)创建 ModelArts 自动学习项目并导入数据集完成数据标注并进行模型训练将模型部署成在线服务,进行服务调用并获得结果数据集准备点此下载所需吉祥物数据集:吉祥物数据集 稍带提一下AI Gallery:它是华为云 AI 知识 & 实训社区,助你从0到1成为 AI 开发达人!感兴趣的可以去了解一下,这里的数据集是我上传到AI Gallery里,方便分享。点击下载,会弹出如图页面,选择对应的区域和OBS存放路径,如果你没有OBS桶,请接着下一步进行创建建议直接下载为数据集,这样可以不用重新标注了。然后点击确认,稍等两分钟就会下载完成了,然后直接去自动学习项目创建。创建OBS桶OBS大家可以先简单的理解成一个在线网盘,因为ModelArts本身目前没有数据存储的功能,所以需要从OBS里调用我们上传的数据进行训练点击进入:华为云OBS控制台,进入后点击右上角的【创建桶】按钮(这里的桶可以理解成OBS进行存储的基本单位,所有的数据必须存储在某个桶里):  进入新建桶界面, 按照如下示例进行填写:区域:华北-北京四数据冗余存储策略:单AZ存储桶名称:自定义,需要全局唯一,即在整个华为云上的名字唯一其它选项保持默认即可 填写完成后,点击右下角的【立即创建】按钮并确认,稍等几秒钟即可完成 OBS桶 的创建。 下载训练数据至OBS将AI Gallery里的数据集下载到刚刚创建的OBS桶里然后点击【确定】按钮即开始进行图片的上传,本次数据量较少,正常网络情况下约1分钟内即可完成数据的上传。 自动学习项目创建点击访问 ModelArts自动学习 页面,选择创建图像分类项目,进入项目创建设置页,按照如下示例进行填写:名称:自定义数据集来源:已有数据集其它保持默认即可数据集名称是刚刚下载到obs自己取的名字,选择即可填写完成后点击右下角的【创建项目】按钮稍等几秒即可完成项目的创建。数据标注项目创建完成后会自动进入数据标注页面,页面左侧是标注操作区,右边是标签编辑与展示区。注:标签就是对数据集进行分类,比如本次识别中的:冰墩墩和雪容融,需我们自己根据数据集新建不同类型的标签;标注就是将数据集中的图片划归到对应的标签下,告诉模型这个图片里是什么因为从AI Gallery下载的数据集已经是我标注好了的,就不用大家自己手动标注了,直接拿来使用即可。全部标注完成后的效果如下: : 注意:目前标注不支持翻页选择,翻页后上一页选择的数据会丢失,所以请大家一页一页的选择并确认,如果觉得一页展示的图片太少,可以在页面的左下角选择一页图片展示的个数。 模型训练数据标注完成后,我们点击右上角的【开始训练】按钮,弹出模型训练的设置界面,按如下示例填写:最大训练时长(分钟) :由于数据不是很多,建议训练时间修改为10计算规格:选择自动学习免费规格(GPU),并勾选"我已阅读并同意以上内容"其它保持默认即可 填写完成后,点击【下一步】进入二次确认界面,点击界面上的【提交】按钮即可提交成功。  训练过程约耗时2分钟左右,请耐心等待哦~模型部署训练完成后,我们点击左侧的部署按钮,进行模型的部署操作,如下图示例。  点击【下一步】按钮,进入二次确认界面,点击界面上的【提交】按钮即可提交成功。 模型调用部署完成后,可以看到如下界面:  我们点击【上传】按钮,选择上传前面下载的数据集test文件夹中的任一图片,然后点击【预测】即可得到结果:《关于我在华为云用ModelArts识别冰墩墩这件事》成功执行,可以看出,我们的两大顶流吉祥物识别率还是挺高的,感兴趣的朋友可以继续扩大数据集,提高更复杂场景的识别率。 总结本实验到此完成,需要请大家注意:因为本实验主要的目的是让大家了解使用 ModelArts 进行 AI 开发的基本操作,为了减少操作的难度和时间长度,只用了少量的数据集用于训练,可能造成数据预测不是很准确的情况,请大家理解。示例中我们选择的都是免费规格,如果大家领取了新手代金券,可以尝试使用付费规格获得更好的体验,但记得及时关闭相应服务哦!Tips:实验结束后请及时停止在线服务,不然在线服务会持续收费有可能导致欠费,致使华为云账号被冻结而影响使用。 我们在在线服务管理页面单击对应服务列表后的"停止"按钮即可停止本在线服务。
  • [热门活动] 复现汤圆表情包~ModelArts手把手教你,解锁其他新玩法~
    本案例先用目标检测检测图片中汤圆的位置,然后将每个汤圆的图片和其他图片(比如云宝)进行融合,最后将图片中所有汤圆都变成了云宝!案例链接:https://developer.huaweicloud.com/develop/aigallery/notebook/detail?id=94d4f398-853f-4f71-8ff8-fcb1e1e655d5ModelArts 是面向开发者的一站式 AI 平台,为机器学习与深度学习提供海量数据预处理及交互式智能标注、大规模分布式训练、自动化模型生成,及端-边-云模型按需部署能力,帮助用户快速创建和部署模型,管理全周期 AI 工作流。地址:https://www.huaweicloud.com/product/modelarts.html活动时间:2月16日-2月28日活动流程:1.扫码进群,交流讨论案例2.体验云宝表情包特效案例,或自行开发相关案例,截图案例结果,回贴到本贴评论区。(每个账号仅限回帖一次)3.观看直播,特邀广大网友们线上交流,互助学习,还有云宝公仔赠送。直播时间:2月24日19:00-20:00直播地址:http://live.bilibili.com/221365944.邀请朋友体验案例,并截图盖楼5.公布获奖名单如下(剔除了无效楼层),请获奖者3月30日前联系小助手领取奖品,逾期视为放弃 活动奖项:1.最佳创意奖项:用本案例所涉及到的技术,开发出不一样的体验案例,并将代码分享到AIGallery :https://developer.huaweicloud.com/develop/aigallery/notebook/list案例结果截图到本贴评论区,活动结束后由直播老师评选出最有创意的案例,送华为GT2手表、EI定制大礼包。2.盖楼回帖福利奖:活动盖楼奖品中奖楼层>100层10本ModelArts书9%、19%、29%、39%、49%、59%、69%、79%、89%、99%>200层在上层基础上增加:10本ModelArts书2%、12%、22%、32%、42%、52%、62%、72%、82%、92%>300层在上层基础上增加:10件ModelArts卫衣7%、17%、27%、37%、47%、57%、67%、77%、87%、97%>400层在上层基础上增加:10件ModelArts卫衣4%、14%、24%、34%、44%、54%、64%、74%、84%、94%>500层在上层基础上增加:10个华为蓝牙音箱5%、15%、25%、35%、45%、55%、65%、75%、85%、95%>600层在上层基础上增加:10个华为蓝牙音箱6%、16%、26%、36%、46%、56%、66%、76%、86%、96%>700层在上层基础上增加:10个华为三脚架自拍杆3%、13%、23%、33%、43%、53%、63%、73%、83%、93%>800层在上层基础上增加:10个华为路由器8%、18%、28%、38%、48%、58%、68%、78%、88%、98%>900层在上层基础上增加:10个华为路由器1%、11%、21%、31%、41%、51%、61%、71%、81%、91%活动说明:当活动盖楼为350,对应奖品为【10本ModelArts书+10本ModelArts书+10件ModelArts卫衣】“有效楼层”指的是回复本次活动相关内容的楼层视为有效楼层,回复其他内容均视为无效楼层,不予奖励。抽奖方式为活动结束后,主办方将从活动帖子下所有盖楼的用户中抽取各等奖励获奖楼层。获奖楼层=总楼层*中奖百分比。例如:活动结束后总楼层为1000,中奖百分比为96%,则1000*96%=960,即第960楼获奖,其他获奖楼层同理可得。如出现小数点则四舍五入,例如:活动结束后总楼层为530,中奖百分比为96%,则530*96%=508.8,则第509楼获奖。无效楼层不参与中奖,奖励楼层向下一楼层顺延。例如:抽取获奖楼层为第5楼,但5楼为无效楼层,即顺延至第6楼获奖,若依然为无效楼层,则继续顺延,以此类推。请务必使用个人实名账号参与活动(IAM、企业账号等账号参与无效)。为保证活动的公平公正,华为云有权对恶意刷活动资源(“恶意”是指为获取资源而异常注册账号等**活动公平性的行为,黑产用户不计入活动统计),利用资源从事违法违规行为的用户收回奖励资格,本次活动一个实名认证账号只能对应一个收件人(只能参加一次),如同一账号填写多个不同收件人,不予发放奖励,且每个账号只记录最早的一次回帖,多发无效本活动规则由华为云在法律规定范围内进行解释。华为云保留不时更新、修改或删除本活动规则的权利。上述更新、修改或删除于公布时即时生效,用户应当主动查阅本活动规则的最新内容。所有参加本活动的用户,均视为认可并同意遵守《华为云用户协议》,包括以援引方式纳入《华为云用户协议》的《可接受的使用政策》、《法律声明》、《隐私政策声明》、相关服务等级协议(SLA),以及华为云服务网站规定的其他协议和政策(统称为“云服务协议”)的约束。如果您不同意本活动规则和云服务协议的条款,请勿参加本活动。
  • [问题求助] 【ModelArts】【训练作业】报错[detect]ascend-check error
    【功能模块】【ModelArts】【训练作业】报错[detect]ascend-check error【操作步骤&问题现象】基于ModelArts和本地WSL2-GPU复现lenet5模型训练丨【华为云AI贺新年】-云社区-华为云 (huaweicloud.com)按照上面博客创建OBS,创建训练作业然后开始训练,一直失败,显示如下截图的报错信息在代码中已设置context.set_context(mode=context.GRAPH_MODE, device_target='Ascend') # Ascend, CPU, GPU创建训练作业时选择了ascend,不知道哪里错了。【截图信息】[2022-02-12T16:30:57+08:00][ModelArts Service Log][task]Detect Npu[2022-02-12T16:30:57+08:00][ModelArts Service Log][ERROR][detect] ascend-check error, exiting...[2022-02-12T16:30:57+08:00][ModelArts Service Log][ERROR][detect] code: 31, message: ---------【日志信息】(可选,上传日志内容或者附件)[2022-02-12T16:30:50+08:00][ModelArts Service Log][init] toolkit_obs_upload_job_pid = 55 [2022-02-12T16:30:50+08:00][ModelArts Service Log][init] toolkit_obs_upload_pid = 56 [2022-02-12T16:30:50+08:00][ModelArts Service Log][init] running at 2022-02-12-16:30:50 [2022-02-12T16:30:50+08:00][ModelArts Service Log][init] ip of the pod: 172.16.0.156 [2022-02-12T16:30:51+08:00][ModelArts Service Log][task]Detect item: disk-size shm [2022-02-12T16:30:51+08:00][ModelArts Service Log][INFO][detect] code: 0, message: ok, item: disk-size shm [2022-02-12T16:30:51+08:00][ModelArts Service Log][task]Detect item: dns [2022-02-12T16:30:51+08:00][ModelArts Service Log][INFO][detect] code: 0, message: ok, item: dns [2022-02-12T16:30:51+08:00][ModelArts Service Log][task]Detect item: disk-size root [2022-02-12T16:30:51+08:00][ModelArts Service Log][INFO][detect] code: 0, message: ok, item: disk-size root [2022-02-12T16:30:51+08:00][ModelArts Service Log][task]Detect item: disk-size cache [2022-02-12T16:30:51+08:00][ModelArts Service Log][INFO][detect] code: 0, message: ok, item: disk-size cache [2022-02-12T16:30:51+08:00][ModelArts Service Log][init] autosearch_path is empty, skip the autosearch download [2022-02-12T16:30:51+08:00][ModelArts Service Log][init] start to download the code [2022-02-12T16:30:51+08:00][ModelArts Service Log][init] code_url: s3://lenet555/lenet5/ [2022-02-12T16:30:51+08:00][ModelArts Service Log][init] modelarts_downloader_job_pid = 258 [ModelArts Service Log]2022-02-12 16:30:52,346 - modelarts-downloader.py[line:264] - INFO: Main: modelarts-downloader starting with Namespace(dst='./', recursive=True, skip_creating_dir=False, src='s3://lenet555/lenet5/', trace=False, type='common', verbose=False) [ModelArts Service Log]2022-02-12 16:30:52,493 - consumer.py[line:107] - INFO: MoXing Local Track Mode. [2022-02-12T16:30:53+08:00][ModelArts Service Log][init] code is now in /home/ma-user/modelarts/user-job-dir [ModelArts Service Log][init]engine type is: ascend-powered-engine [ModelArts Service Log][init]python version: 3 [2022-02-12T16:30:53+08:00][ModelArts Service Log][init] inputs_handler_job_pid = 346 [ModelArts Service Log][INFO][2022/02/12 16:30:53]: caching the content of [data_url] inputs [ModelArts Service Log]2022-02-12 16:30:54,001 - modelarts-downloader.py[line:264] - INFO: Main: modelarts-downloader starting with Namespace(dst='./', recursive=True, skip_creating_dir=True, src='s3://lenet555/lenet5/lenet5/MNIST/', trace=False, type='common', verbose=False) [ModelArts Service Log]2022-02-12 16:30:54,080 - consumer.py[line:107] - INFO: MoXing Local Track Mode. [ModelArts Service Log][INFO][2022/02/12 16:30:54]: cache the content of [data_url] inputs successfully [ModelArts Service Log][INFO][2022/02/12 16:30:54]: it can be accessed at local dir [/home/ma-user/modelarts/inputs/data_url_0] [ModelArts Service Log][INFO][2022/02/12 16:30:55,167]: mkdir for local output dir [ModelArts Service Log][INFO][2022/02/12 16:30:55,167]: output-handler finalized [2022-02-12T16:30:55+08:00][ModelArts Service Log][init] exiting at 2022-02-12-16:30:55 [2022-02-12T16:30:55+08:00][ModelArts Service Log][init] upload_metrics_pid = 569 [2022-02-12T16:30:55+08:00][ModelArts Service Log][init] stop toolkit_obs_upload_pid = 56 by signal SIGTERM [2022-02-12T16:30:55+08:00][ModelArts Service Log][sidecar] toolkit_obs_upload 56 ret_code is 0 [2022-02-12T16:30:55+08:00][ModelArts Service Log][init] exit with 0 [2022-02-12T16:30:57+08:00][ModelArts Service Log][task]Detect Npu [2022-02-12T16:30:57+08:00][ModelArts Service Log][ERROR][detect] ascend-check error, exiting... [2022-02-12T16:30:57+08:00][ModelArts Service Log][ERROR][detect] code: 31, message: ---------driver_health_state: 0, device_health_state: 1, net_health_state: 0 --------, item: ascend-check [2022-02-12T16:30:57+08:00][ModelArts Service Log]exit with 31 [2022-02-12T16:30:58+08:00][ModelArts Service Log][sidecar] running at 2022-02-12-16:30:58 [2022-02-12T16:30:58+08:00][ModelArts Service Log][sidecar] toolkit_obs_upload_by_channels_job_pid = 38 [2022-02-12T16:30:58+08:00][ModelArts Service Log][sidecar] toolkit_obs_upload_by_channels_pid = 39 [2022-02-12T16:30:58+08:00][ModelArts Service Log][sidecar] waiting for training complete [2022-02-12T16:30:58+08:00][ModelArts Service Log][sidecar] training is completed [2022-02-12T16:30:58+08:00][ModelArts Service Log][sidecar] stop toolkit_obs_upload_by_channels_pid = 39 by signal SIGTERM time="2022-02-12T16:30:58+08:00" level=info msg="local dir = /home/ma-user/modelarts/outputs/train_url_0/" file="upload.go:191" Command=obs/upload_by_channels Component=ma-training-toolkit Platform=ModelArts-Service Task=train_url time="2022-02-12T16:30:58+08:00" level=info msg="obs dir = s3://lenet555/lenet5/lenet5/output/" file="upload.go:194" Command=obs/upload_by_channels Component=ma-training-toolkit Platform=ModelArts-Service Task=train_url time="2022-02-12T16:30:58+08:00" level=info msg="start the periodic upload task, upload Period = 30 seconds " file="upload.go:204" Command=obs/upload_by_channels Component=ma-training-toolkit Platform=ModelArts-Service Task=train_url time="2022-02-12T16:30:58+08:00" level=info msg="the periodic upload task exiting..." file="upload.go:214" Command=obs/upload_by_channels Component=ma-training-toolkit Platform=ModelArts-Service Task=train_url time="2022-02-12T16:30:58+08:00" level=info msg="local dir = /home/ma-user/modelarts/log/" file="upload.go:191" Command=obs/upload_by_channels Component=ma-training-toolkit Platform=ModelArts-Service Task=srt_log_collection time="2022-02-12T16:30:58+08:00" level=info msg="obs dir = s3://modelarts-training-log-cn-north-4/2c83617e-3ed7-4e8d-82a0-d6fd4b044eef/worker-0" file="upload.go:194" Command=obs/upload_by_channels Component=ma-training-toolkit Platform=ModelArts-Service Task=srt_log_collection time="2022-02-12T16:30:58+08:00" level=info msg="enable append upload mode" file="upload.go:197" Command=obs/upload_by_channels Component=ma-training-toolkit Platform=ModelArts-Service Task=srt_log_collection time="2022-02-12T16:30:58+08:00" level=info msg="start the periodic upload task, upload Period = 5 seconds " file="upload.go:204" Command=obs/upload_by_channels Component=ma-training-toolkit Platform=ModelArts-Service Task=srt_log_collection time="2022-02-12T16:30:58+08:00" level=info msg="the periodic upload task exiting..." file="upload.go:214" Command=obs/upload_by_channels Component=ma-training-toolkit Platform=ModelArts-Service Task=srt_log_collection
  • [其他] ModelArts是什么?
    ModelArts是面向AI开发者的一站式开发平台,提供海量数据预处理及半自动化标注、大规模分布式训练、自动化模型生成及端-边-云模型按需部署能力,帮助用户快速创建和部署模型,管理全周期AI工作流。https://www.huaweicloud.com/product/modelarts.html“一站式”是指AI开发的各个环节,包括数据处理、算法开发、模型训练、模型部署都可以在ModelArts上完成。从技术上看,ModelArts底层支持各种异构计算资源,开发者可以根据需要灵活选择使用,而不需要关心底层的技术。同时,ModelArts支持Tensorflow、PyTorch、MXNet等主流开源的AI开发框架,也支持开发者使用自研的算法框架,匹配您的使用习惯。ModelArts的理念就是让AI开发变得更简单、更方便。面向不同经验的AI开发者,提供便捷易用的使用流程。例如,面向业务开发者,不需关注模型或编码,可使用自动学习流程快速构建AI应用;面向AI初学者,不需关注模型开发,使用预置算法构建AI应用;面向AI工程师,提供多种开发环境,多种操作流程和模式,方便开发者编码扩展,快速构建模型及应用。产品架构ModelArts是一个一站式的开发平台,能够支撑开发者从数据到AI应用的全流程开发过程。包含数据处理、模型训练、模型管理、模型部署等操作,并且提供AI Gallery功能,能够在市场内与其他开发者分享模型。ModelArts支持应用到图像分类、物体检测、视频分析、语音识别、产品推荐、异常检测等多种AI应用场景。ModelArts架构产品优势一站式易上手高性能灵活
  • [业务动态] 关于《基于ModelArts的安全帽检测全流程开发》微认证正式上线的预通知
    尊敬的微认证客户:您好!为帮助您深入了解华为云产品,探索新的技术场景,我们非常高兴地与您分享一个好消息:由华为资深研发团队精心打磨,潜心研发的新微认证《基于ModelArts的安全帽检测全流程开发》将于2022年1月20日正式上线!届时请进入华为云开发者学堂-微认证-人工智能查看产品详情,体验使用,我们非常期待您的宝贵建议。以下为该微认证详情,您可提前了解:产品名称: 《基于ModelArts的安全帽检测全流程开发》适合人群: 对人工智能进阶技术感兴趣的人员,社会大众和高校师生;培训方案: 基于华为云ModelArts的自动学习进行目标检测及全流程web端应用开发;技术能力: 了解ModelArts自动学习,掌握华为云ModelArts的使用;认证价值: 了解ModelArts相关知识,体验ModelArts为企业应用带来的极大便利性。届时我们还将开展相关微认证上新活动,详情请关注华为云培训中心论坛-热门活动 相关通知。发布日期:2022年1月18日
总条数:3416 到第 页
上滑加载中