• [其他] 【MeanTeacher模型】在ModelArts上训练出现 GeOp15_0GEOP::::DoRunAsync Failed
    【功能模块】tensorflow的训练模块【环境信息】训练方式:modelarts+pycharm toolkit镜像:自定义镜像tensorflow版本:1.15Python版本:3.7【操作步骤&问题现象】session.run(self.train_init_op, self.feed_dict(next(training_batches)))在modelarts上面训练这个模型时,将与处理后的batch数据载入到训练和评估函数后,会报出此错误。【截图信息】【日志信息】tensorflow日志host日志
  • [AI大赛] “华为云-东吴杯”2021创客赛道 ModelArts提交结果始终都是scoring job failed
    主要遇到的问题:AI大赛从ModelArts提交结果始终都是scoring job failed,如何解决?而且还没有日志。这该如何定位问题?问题背景:比赛要求从ModelArts提交结果,并推荐先进行部署测试。所以我按照比赛的说明首先进行了模型的部署测试。我把推理代码和模型文件放到了OBS中的model文件夹中:model文件夹的路径:submission/model内部内容为,这里的models文件夹是我自己的关于模型的一些文件。内部均使用相对导入。在ModelArts中的模型管理中进行模型的构建:此时构建正常。开始部署测试:这里的部署我没有自定义的设置环境变量。并选择说明推荐的CPU: 2 核 8GB配置的硬件选项。部署正常:开始尝试预测效果:预测的结果:{ "result": [ { "boxes": [ [ 1084, 106, 1103, 114 ], [ 1111, 197, 1129, 264 ], [ 1203, 114, 1239, 156 ] ], "labels": [ 4, 1, 2 ], "scores": [ 0.419594943523407, 0.6676195859909058, 0.6880850791931152 ] } ], "latency_time": 224.3201732635498 }在模型中发布提交模型到比赛:进入判分状态:但是此时如果将鼠标移动到表格题目上(就是“作品名称”那一行),会出现悬浮提示:系统繁忙,您本次作品不计入提交次数,请重试。如果等到最后,可以发现,“反馈信息”会变成:scoring job failed和之前的数次提交一样:表中唯一的成功来自于官方提供的baseline模型的文件,这里由于没有进行训练,所以基本是没有正确预测。但是我自己的代码不论是输出格式还是输入格式都是和它一致的,但却总是无法获得正常的计分。非常困惑,希望得到帮助!
  • [ModelArts昇...] 从OBS的桶中复制数据到ModelArts的notebook中,复制文件失败,求各位大神给出原因
    使用mox.file.copy_parallel('obs://tong-chen/code', '/tmp')命令从OBS的桶中复制文件到ModelArts的notebook中,代码执行成功,但实际文件夹里却没有对应的文件
  • [热门活动] 这本书真不错,推荐给你《ModelArts人工智能应用开发指南》
    一、本书是华为智能计算技术丛书之一,由华为云人工智能领域首先科学家田奇、机器学习深度学习ModelArts架构师白小龙编著,华为轮值董事长徐直军、中国工程院院士潘云鹤联袂作序!适合有志于从事人工智能应用的研发技术及管理人员学习参考实践。全书主要围绕人工智能平台ModelArts和人工智能应用开发流程,介绍基本概念、关键模块以及典型的场景化应用开发案例。共分为三篇: 第一篇人工智能应用开发概述(第1章和第2章),介绍了人工智能技术、应用、平台,以及人工智能应用快速开发流程; 第二篇人工智能应用开发方法(第3章~第9章),介绍了人工智能应用开发全流程及其子流程,包括数据准备、算法选择和开发、模型训练、模型评估和调优、应用生成、应用评估和发布、应用维护; 第三篇人工智能应用开发场景化实践(第10章~第12章),介绍了企业级人工智能平台、面向复杂行业的自动化人工智能系统、基于端-边-云协同的人工智能平台及应用开发。开发指南旨在通过一整套工具链和方法传递,使得每个开发者都可以借助ModelArts平台在具体业务场景下更快、更高效、更低成本地开发出人工智能应用,从而更好地解决各行业各领域面临的实际问题。二、随着人工智能技术的突破,使用AI技术提升生产效率、降低生产成本,进一步促进企业数字化和智能化转型已成为业界共识。然而,AI应用的开发仍然非常复杂,开发流程冗长、烦琐。开发全流程包括数据准备、算法开发、模型开发、应用生成、应用部署和维护等多个环节,需要大量人力和计算资源的投入。此外,AI应用还需要不断迭代、调优和维护,使得开发的复杂性进一步加大;开发技能要求综合性强、门槛高。开发者不仅要具备丰富的算法知识,还要熟悉行业问题,最好有行业经验,能够将算法和行业需求紧密结合,并设计出合理的解决方案。受限于AI应用开发的复杂性,目前各个行业中AI应用的渗透率还远远不足。为了应对上述复杂性问题,华为基于多年的行业AI应用开发经验和实践积累,推出了一站式AI应用开发和部署平台——ModelArts。通过完备的基础平台和行业知识沉淀,使得面向行业的AI应用开发大大简化。ModelArts简化AI应用开发流程和优化开发成本,支持从数据准备、算法准备、模型训练、模型评估和调优,到应用准备和发布等一系列开发环节,并且通过分享交易机制使得AI应用的开发和使用更加畅通、便捷;支持底层的AI计算设备和端边云基础设施资源管理,以及上层的AI计算任务、作业和服务管理,并通过纵向软硬件协同优化使得开发成本降低、效率提升,大幅缩减AI应用开发者的准备工作。此外,ModelArts充分将AI能力注入AI开发全流程的各个环节,提供数据增强、智能标注、模型压缩、难例挖掘等高阶能力,即用“AI for AI”的方式进一步简化开发流程。例如,在智慧交通中,普遍存在大量冗余的视频需要标注,部署后的模型需要一键式部署,并持续不断地适应新场景,全流程中存在大量的冗余可以被优化,ModelArts通过端到端流程优化和智能化渗透,极大地简化了开发流程,提升了开发效率。其次,为了降低AI行业应用开发技能要求,ModelArts根据华为多年来在企业级客户服务方面积累的大量行业经验沉淀,形成了面向行业的模板、套件和解决方案,覆盖了大多数主要的行业场景。当AI开发者遇到新的应用开发需求时,可基于这些模板套件或解决方案进行二次开发,并最大化复用已有的预置能力(如预置算法、模型、行业知识、端到端模板等)和自动化能力。行业开发者可以充分利用ModelArts已有的预置AI算法和模型,AI算法开发者可以充分利用ModelArts已有的行业知识和模板。这些预置能力和自动化能力可以极大降低对AI应用开发的技能要求,将复杂的处理交给ModelArts平台承载,使得AI应用的开发更加简单化。例如,在智慧医疗中,面向基因数据分类的模板集成了大量行业经验与AI算法,当AI开发者面临类似场景的新数据时,仅需简单迁移即可。三、人工智能作为一种通用目的技术正在影响千行百业,就像电可以进入生产系统与核心应用,产生巨大价值一样。但是人工智能相关应用的开发与传统计算机软件开发的方法并不相同,如何高效、高质量开发行业需要的AI应用是AI成功落地行业的关键。ModelArts自2018年上线华为云以来,与合作伙伴和客户进行了广泛的行业AI落地实践,并应用于超过60所双一流高校的教学及科研创新项目中,同时作为华为公司统一的AI开发平台,累计服务华为内部180多个部门,日均训练作业任务超过6000个,日均训练时长超过6万小时,积累了丰富的行业知识和实践经验。的确值得一看值得一学值得一用。朱军--清华大学计算机科学与技术系教授:人工智能正在越来越多的实际应用中发挥重要作用,ModelArts是华为云一站式人工智能开发平台,支持端到端全流程开发,使得人工智能应用开发效率更高、门槛更低、成本更低。《ModelArts人工智能应用开发指南》系统介绍了开发人工智能应用的全流程知识,并通过ModerArts提供了详细可行的例子,特别适合从事人工智能应用的人员阅读!陈江平--上海交通大学学生创新中心主任:近年来,人工智能取得了重大突破,整个社会都在充分想象人工智能技术即将给我们的生活带来的巨大改变。但人工智能是一门极富挑战性的学科,从事这项工作的人必须具备良好的编程基础,这让许多没有经过训练的非专业人士望而止步。ModelArts正是应景而生,通过一整套工具链和方法传递,使得每个开发者容易入门,提升开发效率。两年来,已经有千余位上海交通大学的师生借助ModelArts和华为云走近了人工智能,找到了自己的方向,强烈推荐读者阅读《ModelArts 人工智能应用开发指南》。龚仁彬--中国石油勘探开发研究院首席技术专家:本人作为中国石油认知计算平台项目负责人,有幸与华为技术有限公司合作,将ModelArts系统引入到石油勘探生产实践,搭建了开放可扩展的人工智能计算平台,从数据处理、机器学习、模型发布到推理应用,提供一站式AI开发环境。该平台的建成应用,为业务创新提供了智能化的驱动引擎和开发生态,实现了勘探开发知识的固化、传承和普惠。《ModelArts人工智能应用开发指南》是一本好书,我们将认真学习,加强人工智能应用的普及,为进一步支撑油气勘探开发增储上产和提质增效做出自己的贡献。俞京华--江苏知途教育科技有限公司产品总监:基于华为云ModelArts一站式AI开发平台,学生可以进行全流程的AI模型和应用开发,包括数据标注、数据预处理、模型开发、模型训练、模型端云部署等。其中也有大量预制算法可以用于高校AI通识教育,是高校学生学习AI的好工具、好帮手。《ModelArts人工智能应用开发指南》对整个AI开发流程深入浅出地进行了介绍,强烈推荐在AI学习和应用开发中参考。
  • [问题求助] TensorFlow模型迁移至ModelArts训练
    【功能模块】tensorflow的训练模块【操作步骤&问题现象】session.run(self.train_init_op, self.feed_dict(next(training_batches)))在modelarts上面训练这个模型时,总是在这一步失败。【截图信息】【日志信息】(可选,上传日志内容或者附件)
  • [技术干货] 【云小课】EI第28课 ModelArts Pro 视觉套件 零代码构建视觉AI应用
    ModelArts Pro 是为企业级AI应用打造的专业开发套件。基于华为云的先进算法和快速训练能力,提供预置工作流和模型,提升企业AI应用的开发效率,降低开发难度。ModelArts Pro提供了视觉套件,旨在帮助各行业客户快速开发满足业务诉求的视觉AI应用,同时支持客户自主进行工作流编排,快速实现AI应用的开发和部署,提升视觉AI开发效率。预置工作流· 零售商品识别工作流超市、零售商店等场景下,商品种类更新速度快,商品识别技术会大大提升商品优化和运营效率。ModelArts Pro提供零售商品识别工作流,为您提供高精度的商品识别算法,提高零售商品新品上线效率。· 热轧钢板表面缺陷检测工作流在钢铁厂中,钢板的材质、热处理工艺以及使用环境等外界因素均会影响钢板的使用寿命,而这些外界因素导致钢板缺陷。研究钢板表面的缺陷类型对钢板的使用寿命至关重要,ModelArts Pro提供热轧钢板表面缺陷检测工作流,提供高精度钢板表面缺陷识别算法,提高钢板表面缺陷检测场景上线效率。· 云状识别工作流观察云的外部形状,即云的外形特征、结构特点和云底高度,对预测天气变化有重要的影响。ModelArts Pro提供云状识别工作流,为您提供高精度的云状识别算法,通过云的外部形状预测天气变化。· 刹车盘识别工作流在汽车零部件的生产制造中,常常会同时生产几十、上百种不同型号的产品。能否在出厂前对这些零部件进行高效、精准的分拣,对企业的效益尤为重要。ModelArts Pro提供刹车盘识别工作流,通过构建刹车盘识别模型,快速、准确的识别刹车盘类别。· 无监督车牌检测工作流车牌检测与识别技术对于交通管理智能化、提高交通执法的稳定性具有重要意义。ModelArts Pro提供无监督车牌检测工作流,基于高精度的无监督车牌检测算法,无需用户标注数据,大大降低标注成本和提高车牌检测场景上线效率。特色优势·  场景丰富,覆盖零售、工业、气象、交通等多种场景。·  模型训练、更新的流程自动化,更新模型简便。·  专业领域模型,准确识别和理解图像内容。·  可根据使用过程中的反馈持续优化模型。零代码构建视觉应用第一步:开通套件目前ModelArts Pro 视觉套件处于公测阶段,首次使用视觉套件需要开通公测权限。登录ModelArts Pro控制台,选择行业套件卡片并单击“申请公测”,在申请公测页面根据界面提示填写所需信息。申请公测操作完成后,单击“前往我的公测”,进入“我的公测”页面。当“审批状态”显示为“审批通过”时,表示您已经获得了该行业套件的公测权限。第二步:委托授权在您使用ModelArts Pro过程中,ModelArts Pro需要进行委托授权,用于访问ModelArts服务的云资源。如果没有授权,相关功能将不能正常使用。如果未获得ModelArts委托授权和访问秘钥(AK/SK)授权,当进入ModelArts Pro控制台的行业套件时,会弹出“访问授权”对话框。在弹出的“访问授权”对话框填写授权信息,然后单击“同意授权”,完成访问授权的配置。·  “用户名”为当前需要授权的用户名,保持默认值。·  “委托”选择“modelarts_agency”。·  勾选“我已经详细阅读并同意《ModelArts服务声明》”。详情请见配置访问权限。第三步:创建应用根据您的行业和应用场景,选择匹配的工作流,创建您的应用。1、在ModelArts Pro控制台界面,单击“自然语言处理套件”卡片的“进入套件”。      进入视觉套件控制台。2、在左侧导航栏选择“应用开发>工作台”。      默认进入“我的应用”页签。3、在“我的应用”页签下,单击“新建应用”。      进入“新建应用”页面。      您也可以单击“我的工作流”,切换至“我的工作流”页签,选择工作流并单击卡片中的“新建应用”。4、根据业务需求填写“应用名称”、“应用负责人”和“应用描述”,选择“所属行业”及工作流,然后根据所选工作流填写“资产配置”。5、确认信息后,单击“确定”。     成功新建应用。     详情请见新建应用。第四步:开发并上线应用根据流程指引完成工作流,并将应用发布上线。· 零售商品识别工作流:         详情请见零售商品识别工作流。· 热轧钢板表面缺陷检测工作流:         详情请见热轧钢板表面缺陷检测工作流。· 云状识别工作流         详情请见云状识别工作流。· 刹车盘识别工作流         详情请见刹车盘识别工作流。· 无监督车牌检测工作流        详情请见无监督车牌检测工作流。第五步:迭代优化维护应用,不断优化迭代。零售+ModelArts Pro由于蛋糕贴不了条形码,需要人工记忆繁多的蛋糕编码来结算,容易出现结账错误、顾客排队时间长等问题。基于ModelArts Pro开发的自助商品收银应用可自动识别商品,大大缩短收银等待时间。自动学习、自动训练的特性,可让商家自主更新应用,新品当天即可上线。工业+ModelArts Pro汽车零部件在形状、尺寸、轮廓、纹理、孔径上的占比差异识别,通常需要人工来进行,由此耗费了大量的人力成本和流程成本。基于ModelArts Pro 开发的自助分拣应用,可自动识别各式汽车零部件,大大减少人力、物力的消耗,提高产线的经济价值。在迭代能力的加持下,用户可通过自行上传零部件新品图片,实现识别应用的更新。点击这里,端到端告诉你如何玩转视觉套件!往期精彩EI第15课 ModelArts Pro 文字识别套件,三分钟快速定制OCR服务EI第20课 ModelArts Pro 自然语言处理套件 高效构建行业文本处理模型
  • [其他] 分享ModelArts Pro 文字识别套件,三分钟快速定制OCR服务
    ModelArts Pro 是为企业级AI应用打造的专业开发套件。基于华为云的先进算法和快速训练能力,提供预置工作流和模型,提升企业AI应用的开发效率,降低开发难度。ModelArts Pro提供了文字识别套件,基于丰富的文字识别算法和行业知识积累,帮助客户快速构建满足不同业务场景需求的文字识别服务。三分钟即可快速定制OCR服务,实现多种版式图像的文字信息结构化提取。接下来就是见证奇迹的时刻~预置工作流文字识别套件当前提供了单模板工作流和多模板工作流,自主构建文字识别模板,识别模板图片中的文字,提供高精度的文字识别模型,保证结构化信息提取精度。通用单模板工作流         通过构建文字识别模板,识别单个板式图片中的文字,提供高精度的文字识别模型,保证结构化信息提取精度。多模板分类工作流         支持用户自定义多个文字识别模板,通过模型训练,自动识别图片所需使用的模板,从而支持从大量不同板式图像中提取结构化信息。通常适用于物流行业。更多详情请见产品介绍>文字识别套件。特色优势领先的AI开发平台         底层依托ModelArts提供的领先的算法技术,保证AI应用开发的高效和推理结果的准确,同时减少人力投入。简单的流程式开发         无需人工智能专业知识,用户可借助预置的行业工作流,全流程可视化完成完成AI应用开发以及持续迭代。高效的行业算法        领先人工智能技术结合行业专家经验,构建出优质高效的行业预置算法,行业AI应用开发者仅需少量标注数据,就能获得高精度的AI应用。支持复杂场景         旋转、褶皱等不利的图片质量下,能做到高精度的有效识别。5步上手文字识别套件第一步:开通套件目前ModelArts Pro 文字识别套件处于公测阶段,首次使用文字识别套件需要开通公测权限。登录ModelArts Pro控制台,选择行业套件卡片并单击“申请公测”,在申请公测页面根据界面提示填写所需信息。申请公测操作完成后,单击“前往我的公测”,进入“我的公测”页面。当“审批状态”显示为“审批通过”时,表示您已经获得了该行业套件的公测权限。第二步:委托授权在您使用ModelArts Pro过程中,ModelArts Pro需要进行委托授权,用于访问ModelArts服务的云资源。如果没有授权,相关功能将不能正常使用。如果未获得ModelArts委托授权和访问秘钥(AK/SK)授权,当进入ModelArts Pro控制台的行业套件时,会弹出“访问授权”对话框。在弹出的“访问授权”对话框填写授权信息,然后单击“同意授权”,完成访问授权的配置。“用户名”为当前需要授权的用户名,保持默认值。“委托”选择“modelarts_agency”。勾选“我已经详细阅读并同意《ModelArts服务声明》”。详情请见配置访问权限。第三步:创建应用根据您的行业和应用场景,选择匹配的工作流,创建您的应用。1、在ModelArts Pro控制台界面,单击“文字识别”套件卡片的“进入套件”。      进入文字识别套件控制台。2、在左侧导航栏选择“应用开发>工作台”。      默认进入“我的应用”页签。3、在“我的应用”页签下,单击“新建应用”。      进入“新建应用”页面。     您也可以单击“我的工作流”,切换至“我的工作流”页签,选择工作流并单击卡片中的“新建应用”。4、根据业务需求填写“应用名称”、“应用负责人”和“应用描述”,选择“所属行业”及工作流。5、确认信息后,单击“确定”。      成功新建应用。详情请见新建应用。第四步:开发并上线应用根据流程指引完成工作流,并将应用发布上线。通用单模板工作流:详情请见通用单模板工作流。多模板分类工作流:详情请见多模板分类工作流。第五步:迭代优化维护应用,不断优化迭代。物流+ModelArts Pro 文字识别套件物流企业源自全球各地的单据板式数以万计,物流参与各方需要耗费人力执行大量的纸质单证信息的手工录入等操作。传统方式开发文字识别需要7天,使用ModelArts Pro 文字识别套件的预置工作流完成新版式票证结构提取接口开发仅需3分钟。还等什么,赶快来大展身手吧!转自【云小课】EI第15课 ModelArts Pro 文字识别套件,三分钟快速定制OCR服务-云社区-华为云 (huaweicloud.com)
  • [其他] 分享ModelArts 使用自定义镜像快速迁移上云
    ModelArts为用户提供了多种常见的预置引擎,但是当用户对深度学习引擎、开发库有特殊需求场景的时候,预置AI引擎可能不再满足用户需求。ModelArts底层采用容器技术,您可以自行制作容器镜像上传并在ModelArts上运行。自定义镜像支持自由文本形式的命令行参数和环境变量,灵活性高,便于支持任意计算引擎的作业启动需求。当前ModelArts自定义镜像功能支持以下两种场景:创建训练作业导入模型让我们看看如何在ModelArts中使用自定义镜像创建训练作业和导入模型吧!关联服务介绍使用自定义镜像功能可能涉及以下云服务:容器镜像服务、对象存储服务、弹性云服务器。容器镜像服务:容器镜像服务(Software Repository for Container,SWR)是一种支持镜像全生命周期管理的服务, 提供简单易用、安全可靠的镜像管理功能,帮助您快速部署容器化服务。您可以通过界面、社区CLI和原生API上传、下载和管理容器镜像。ModelArts训练和导入模型使用的自定义镜像需要从SWR服务管理列表获取。您制作的自定义镜像需要上传至SWR服务。对象存储服务:对象存储服务(Object Storage Service,OBS)是一个基于对象的海量存储服务,为客户提供海量、安全、高可靠、低成本的数据存储能力。在创建训练作业和导入模型时往往存在数据交互,您需要的云上数据可以存储至OBS服务。弹性云服务器:弹性云服务器(Elastic Cloud Server,ECS)是由CPU、内存、操作系统、云硬盘组成的基础的计算组件。弹性云服务器创建成功后,您就可以像使用自己的本地PC或物理服务器一样,在云上使用弹性云服务器。在制作自定义镜像时,您可以在本地环境或者ECS上完成自定义镜像制作。在您使用自定义镜像功能时,ModelArts可能需要访问您的容器镜像服务SWR、对象存储服务OBS等依赖服务,若没有授权,这些功能将不能正常使用。建议您使用委托授权功能,将依赖服务操作权限委托给ModelArts服务,让ModelArts以您的身份使用依赖服务,代替您进行一些资源操作。详细操作参见使用委托授权。使用自定义镜像创建训练作业端到端样例可参考最佳实践-使用自定义镜像创建训练作业~1.准备工作完成访问授权的配置,详细操作参见使用委托授权。已在OBS服务中创建桶和文件夹,用于存放样例数据集以及训练代码。2.制作自定义镜像,您可以使用ECS或者应用本地已有的主机进行自定义镜像的制作。    在制作镜像用时,需满足ModelArts定义的规范。自定义镜像中不能包含恶意代码。基础镜像中的部分内容不能改变,包括“/bin”、“/sbin”、“/usr”、“/lib(64)”下的所有文件,“/etc”下的部分重要配置文件,以及“$HOME”下的ModelArts小工具。不可以新增属主为“root”且权限包含“setuid”或“setgid”位的文件。自定义镜像大小不能超过5GB。日志文件输出,为保证日志内容可以正常显示,日志信息需要打印到标准输出。     ModelArts还提供基础镜像用于自定义镜像的制作。基础镜像中有一些必要的工具,帮助用户快速实现代码下载、训练日志输出、上传日志文件至OBS等功能。3.上传镜像至SWR服务。上传镜像的详细操作可参考SWR用户指南。4.使用自定义镜像创建训练作业。使用自定义镜像导入模型端到端示例请参考使用自定义镜像导入模型~1.准备工作完成访问授权的配置,详细操作参见使用委托授权。已在OBS服务中创建桶和文件夹,用于存放数据以及相关文件。2.制作自定义镜像    在制作镜像用时,需满足ModelArts定义的规范。自定义镜像中不能包含恶意代码。自定义镜像大小不超过30GB。镜像对外接口         镜像的对外服务接口需要为8080,推理接口需与config.json文件中apis定义的url一致,当镜像启动时可以直接访问。健康检查接口         自定义镜像需要提供健康检查接口供ModelArts调用,在config.json文件中配置,参见模型配置文件编写说明。日志文件输出        为保证日志内容可以正常显示,日志信息需要打印到标准输出。镜像启动入口        如果需要部署批量服务,镜像的启动入口文件需要为“/home/run.sh”,采用CMD设置默认启动路径。镜像依赖组件        如果需要部署批量服务,镜像内需要安装python、jre/jdk、zip等组件包。3.上传镜像至SWR服务。上传镜像的详细操作可参考SWR用户指南。4.选择从容器镜像导入模型,可参考从容器镜像中选择元模型。5.将模型部署为在线服务。转自,【云小课】EI第16课 ModelArts 使用自定义镜像快速迁移上云-这2种功能,你了解哪些?-云社区-华为云 (huaweicloud.com)
  • [其他] 分享HiLens Studio横空出世,打造梦想中的AI开发平台
    还在为花时间安装配置编译环境苦恼?还在为购买开发板/GPU犹豫不决?一个提供给开发者的多语言类集成开发环境HiLens Studio横空出世,为你扫清一切烦恼,打造你梦想中的AI开发平台!初识HiLens StudioHiLens Studio 是华为HiLens平台提供的云侧集成开发环境及HiLens Kit模拟器。具备纯云侧集成开发、模拟运行的能力,并可将技能部署至HiLens Kit端侧设备上。开发者也可以在HiLens Studio中发布技能到华为HiLens平台的技能市场,共享给其他用户。为什么使用HiLens Studio开发技能无需环境搭建,纯云侧开发环境支持纯云的开发及调试、无任何本地安装、搭建过程。开箱即用的AI应用开发云侧强大IDE,集成代码编辑、调试、编译、模拟、部署和发布全流程功能,端到端完整支持开发和运维。端云统一开发框架,一键部署云侧通过开发框架HiLen Framework进行数据接入、数据处理和模型推理,接口简易。完成技能开发后,一键部署到Ascend 310端侧设备上运行。内嵌模拟器,支持多模态应用开发对开发中的技能代码进行模拟输出,无时延体验真实硬件处理效果,支持处理音频、视频、图片多模态数据。无缝对接云服务,便捷调用对接华为云ModelArts AI开发平台,整合OCR、NLP等多模态服务API,并统一管理SDK及API版本,方便开发端云协同的AI应用。入门级技能模板,快速上手提供Python、C++版本的多个技能模板,包含模型与逻辑代码可供AI开发者参考,点击运行便能立即看到技能输出效果。节省硬件开发成本,方便移动办公没有端侧设备也可以完成开发,且支持多人共享同一个Ascend 310设备,节省费用。纯云侧开发,方便移动、在家办公。还等什么?点击这里,告诉你如何申请HiLens Studio公测!如何使用HiLens Studio1、创建项目创建新项目,或者直接打开已有项目。创建新项目时,您可以选择技能模板,包含了模型、逻辑代码、测试数据和使用说明,方便您快速上手。2、代码编辑及调试−  内置转换工具,便捷模型转换−  编辑逻辑代码,完成技能开发    通过调用HiLens Framework接口,大大提升开发效率。−  进行代码调试    Studio中提供了代码调试、代码错误检查、一键编译、日志查看等常用工具,让您的开发流程更便捷。3、模拟技能输出−  上传数据     上传视频、图片等测试数据,或直接使用预置测试数据。−   模拟     运行技能,在模拟器中将模拟技能的输出,模拟器与真实HiLens Kit环境几乎一致,您可以在云上完成AI技能开发全流程。4、安装/发布/管理技能−   安装到真实设备运行     完成技能开发后,一键安装技能到HiLens Kit上运行,您无需再进行适配操作。 −   技能的发布、管理和运维转自【云小课】EI第12课 HiLens Studio横空出世,打造梦想中的AI开发平台-云社区-华为云 (huaweicloud.com)
  • [其他] ModelArts建议反馈的方式
    ModelArts建议反馈功能旨在收集、跟踪、解决用户问题。当前ModelArts提供一种实时的截图发帖反馈方式,帮助用户高效、快捷地进行建议反馈。ModelArts建议反馈功能仅在华为云中国站中文上使用。 #### 在Chrome安装插件 ModelArts建议反馈功能需要插件支持。当前建议反馈插件仅支持Chrome浏览器,建议您在Chrome浏览器环境下完成插件的安装。 1. 登录ModelArts控制台,进入任意业务页面,单击页面右上角的“建议反馈>建议反馈”。 **图1** 建议反馈 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202106/30/014843dnrp15aite0zvcmv.png) 2. 当您未安装ModelArts建议反馈插件时,弹窗存在提醒,如[图2]所示。单击资料页面提供插件[下载地址](https://modelarts-feedback-tool.obs.cn-north-1.myhuaweicloud.com/modelarts-screenshot-feedback.zip)。单击下载地址,即可完成ModelArts建议反馈插件的下载。 **图2** 建议反馈提醒 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202106/30/014853v22o9bvb1m0t9c8g.png) 3. 解压ModelArts建议反馈插件压缩文件modelarts-screenshot-feedback.zip至任意路径,得到modelarts-screenshot-feedback文件夹。 4. 打开Chrome浏览器,单击Chrome浏览器的设置-扩展程序选项,进入扩展程序页面。 5. 在扩展页面中,打开右上角的开发者模式开关,如[图3](https://support.huaweicloud.com/engineers-modelarts/modelarts_23_0344.html#modelarts_23_0344__fig316132011712)所示。 **图3** 开发者模式开关 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202106/30/014901iogf0qaa91ojtl47.png) 6. 拖动已解压的ModelArts建议反馈插件文件夹modelarts-screenshot-feedback到Chrome浏览器扩展程序页面,即可完成插件的安装。 #### 进入我的反馈 1. 登录ModelArts控制台,进入任意业务页面,单击页面右上角“建议反馈>我的反馈”。 **图4** 我的反馈 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202106/30/014909h2r0z7djaozgvzkc.png) 2. 页面跳转至“个人中心>我的消息”。您可以在此页面跟踪您的建议反馈进展。 您可以根据实际情况查看您的“新消息”、“私人消息”和“公共消息”。 **图5** 我的反馈详细页 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202106/30/014917dfjjrud6qex8cyqp.png) #### 截图发帖反馈 ModelArts建议反馈功能提供实时截图能力并支持截图编辑操作。 1. 登录ModelArts平台,进入任意业务页面,单击右上角“建议反馈>建议反馈”。 2. 在弹窗页面选择“是”进入页面截图编辑状态。您也可以选择“否”直接进行建议发帖。 **图6** 截图反馈确认 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202106/30/014924vqrwrcruy3iu7fmm.png) 3. 进入当前页面截图可编辑状态。用户可以通过左侧的图形编辑功能进行截图的编辑。 **图7** 建议反馈可编辑状态页面 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202106/30/014931sxm0nu7escz3ic6d.png) 插件功能的图标从左到右分别为: - 高亮 - 直线/曲线 - 喷枪 - 文字 - 矩形框/矩形方块/圆框 - 箭头 - 裁剪 - 撤销 - 恢复 - 发帖 4. 完成截图编辑后,用户可以通过单击右侧发帖反馈键跳转至[图8]进行帖子的编辑和发布。 **图8** 发帖界面 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202106/30/0149414gfastqcocpl9dlr.png)
  • [其他] ModelArts使用Token访问在线服务的两种方式
    若在线服务的状态处于“运行中”,则表示在线服务已部署成功,部署成功的在线服务,将为用户提供一个可调用的API,此API为标准Restful API。在集成至生产环境之前,需要对此API进行调测,您可以使用以下两种方式向在线服务发起预测请求。 #### 方式一:使用图形界面的软件进行预测(以Postman为例) 1. 下载Postman软件并安装,您也可以直接在Chrome浏览器添加Postman扩展程序(也可使用其它支持发送post请求的软件)。Postman推荐使用7.24.0版本。 2. 打开Postman,如图所示。 **图1** Postman界面 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202106/30/014000hpvi9epkx1jat8al.png) 3. 在Postman界面填写参数,以图像分类举例说明。 - 选择POST任务,将在线服务的调用地址(通过在线服务详情界面-调用指南页签查看)复制到POST后面的方框。Headers页签的Key值填写为“X-Auth-Token”,Value值为您获取到的Token。 关于如何获取token,请参考[获取用户Token](https://support.huaweicloud.com/api-iam/iam_30_0001.html)。获取Token认证时,由于ModelArts生成的在线服务API不支持domain范围的token,因此需获取使用范围为project的Token信息,即scope参数的取值为project。 **图2** 参数填写 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202106/30/014013yy8iugyl2vdcel8u.png) 在Body页签,根据模型的输入参数不同,可分为2种类型:文件输入、文本输入。 **文件输入** 选择“form-data”。在“KEY”值填写模型的入参,比如本例中预测图片的参数为“images”。然后在“VALUE”值,选择文件,上传一张待预测图片(当前仅支持单张图片预测),如图3所示。 **图3** 填写Body ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202106/30/0141284f8sdrpn8kbav2z5.png) **文本输入** 选择“raw”,选择JSON(application/json)类型,在下方文本框中填写请求体,请求体样例如下: { "meta": { "uuid": "10eb0091-887f-4839-9929-cbc884f1e20e" }, "data": { "req\_data": \[ { "sepal\_length": 3, "sepal\_width": 1, "petal\_length": 2.2, "petal\_width": 4 } \] } } 其中,“meta”中可携带“uuid”,调用时传入一个,返回预测结果时回传此“uuid”用于跟踪请求,如无此需要可不填写meta**。**“data”包含了一个“req\_data”的数组,可传入单条或多条请求数据,其中每个数据的参数由模型决定,比如本例中的“sepal\_length”、“sepal\_width”等。 4. 参数填写完成,单击“send”发送请求,结果会在“Response”下的对话框里显示。 - 文件输入形式的预测结果样例如图4所示,返回结果的字段值根据不同模型可能有所不同。 - 文本输入形式的预测结果样例如图5所示,请求体包含“meta”及“data”。如输入请求中包含“uuid”,则输出结果中回传此“uuid”。如未输入,则为空。“data”包含了一个“resp\_data”的数组,返回单条或多条输入数据的预测结果,其中每个结果的参数由模型决定,比如本例中的“sepal\_length”、“predictresult”等。 **图4** 文件输入预测结果 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202106/30/014419rschy22qv97rmidh.png) **图5** 文本输入预测结果 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202106/30/0144296zncuaxlqytbrjwb.png) #### 方式二:使用curl命令发送预测请求 使用curl命令发送预测请求的命令格式也分为文件输入、文本输入两类。 1. 文件输入 curl -F '**images**\=@**图片路径**' -H '**X-Auth-Token**:**Token****值**' -X POST **在线服务地址** - “-F”是指上传数据的是文件,本例中参数名为“images”,这个名字可以根据具体情况变化,@后面是图片的存储路径。 - “-H”是post命令的headers,Headers的Key值为“X-Auth-Token”,这个名字为固定的, Token值是用户获取到的token值(关于如何获取token,请参考[获取请求认证](https://support.huaweicloud.com/api-modelarts/modelarts_03_0004.html))。 - “POST”后面跟随的是在线服务的调用地址。 curl命令文件输入样例: ``` curl -F 'images=@/home/data/test.png' -H 'X-Auth-Token:MIISkAY\*\*\*80T9wHQ==' -X POST https://modelarts-infers-1.cn-north-1.myhuaweicloud.com/v1/infers/eb3e0c54-3dfa-4750-af0c-95c45e5d3e83 ``` 2. 文本输入 ``` curl -d '{"data":{"req\_data":\[{"sepal\_length":3,"sepal\_width":1,"petal\_length":2.2,"petal\_width":4}\]}}' -H 'X-Auth-Token:MIISkAY\*\*\*80T9wHQ==' -H 'Content-type: application/json' -X POST https://modelarts-infers-1.cn-north-1.myhuaweicloud.com/v1/infers/eb3e0c54-3dfa-4750-af0c-95c45e5d3e83 ``` “-d”是Body体的文本内容。
  • [其他] 分享 官方教程:手把手教您“免费体验”ModelArts Notebook
    ModelArts集成了基于开源的Jupyter Notebook,为您提供在线的交互式开发调试工具。您无需关注安装配置,在ModelArts管理控制台直接使用Notebook,编写和调测模型训练代码,然后基于该代码进行模型的训练。之前,ModelArts的Notebook是收费项目,根据您选择的资源规格不同,按需收费。值得欣喜的是,ModelArts近期推出了免费规格的Notebook,您可以不花一分钱,即可体验ModelArts的Notebook环境。下面,请开启Notebook的免费使用之旅:第1步:登录华为云,打开ModelArts管理控制台如果您还没有华为云账号,请单击此链接注册华为云账号。注册完成后,请完成账号登录。如果您已经申请了华为云账号,请单击此链接登录华为云。登录华为云后,访问ModelArts官网,然后单击“进入控制台”打开ModelArts管理控制台。第2步:获取密钥,完成ModelArts全局配置请参考ModelArts文档中的操作指导,前往“我的凭证”页面,单击“新增访问密钥”,获取密钥文件(即您的AK、SK)。然后进入ModelArts管理控制台,在“全局配置”中,单击“添加访问密钥”,完成AK、SK的认证。访问密钥文件,是csv格式的文件,携带了账号名、AK和SK的信息。请使用默认浏览器下载本地,且使用操作系统自带的文本编辑器打开,获取相应的AK、SK参数值。访问密钥文件在以后的使用过程中仍会使用,比如使用OBS Browser时,请务必妥善保管此csv文件。如果出现丢失,需重新新建访问密钥,并重新进行ModelArts全局配置。第3步:创建1个免费规格的Notebook在ModelArts管理控制台,在左侧导航栏中选择“开发环境 > Notebook”。单击“创建”,进入创建Notebook页面。想要创建一个免费的Notebook,需选择一个免费规格。如下图所示,选择GPU类型,然后在规格参数中选择带“限时免费”描述的规格。请仔细阅读提示说明,然后“勾选我已阅读并同意以上内容”。根据界面提示或者创建并打开Notebook操作指导填写其他参数。为了方便下方示例运行,这里选择GPU类型的免费规格,您也可以选择CPU免费规格用于其他业务。当使用者较多,导致ModelArts资源不足时,创建限时免费的Notebook需排队等待,界面将给出预计等待时间。只有限时免费规格的Notebook会出现排队情况,其他收费规格不需要排队。如果排队到期后,需要在Notebook列表中单击“启动”,待启动成功后即可使用。如果排队到期5分钟后仍没有启动,资源将被释放给其他人使用。参数填写完成后,单击“下一步”。然后根据界面提示,逐步完成Notebook实例创建。实例创建完成后,Notebook列表中,免费规格的名称后带着Free标识。当状态变更为“运行中”时,单击操作列的打开,进入“Jupyter”页面。在“Jupyter”页面中,单击右侧“New > ”“TensorFlow 1.13.1”,创建一个开发环境。选择此类型的开发环境,是用于运行后面的示例代码,您也可以根据实际业务情况,选择不同类型的引擎创建开发环境。请参见下一步,通过一个猫狗识别的样例,了解如何使用Notebook。在创建好的开发环境中,单击左上方的文件名“Untitled”,并输入一个与业务相关的名称,例如"image_recognition"。在Jupyter开发环境中,输入一个简单的打印语句,然后单击上方的运行按钮,可以查看语句执行的结果。开发环境准备好啦,接下来可以愉快地写代码啦!第4步:在免费的Notebook中运行猫狗识别样例在ModelArts-Lab的工程中,提供了一个猫狗识别样例,如果使用以前的GPU规格运行,预计需耗费XXX元人民币,根据您选择资源类型按需计费。本文档将指导您创建1个免费规格,然后端到端运行猫狗识别样例。不花一分钱,即可了解ModelArts的Notebook功能使用。参考第3步创建免费的Notebook,根据操作指导进入编码页面。打开ModelArts_Lab工程中的猫狗识别样例,从“升级依赖”步骤开始运行样例代码,参考样例代码的注释,了解每一段代码的含义,并拷贝对应代码至Notebook中,同时单击运行,查看运行结果是否与样例说明一致。免费Notebook的使用规则免费规格用于服务体验,会在1小时后自动停止,72小时内没有再次启动,会释放资源,请注意文件备份。免费规格限时1个小时,1个小时后将会自动停止,在运行样例时,请注意时间,避免运行一半,服务停止。在不使用时,可将此免费规格的Notebook停止,需要继续使用时,重新启动即可。只是当免费规格使用人数较多时,您需要排队等待。限时免费规格,不包含OBS存储资源或EVS存储资源的费用。其中OBS按需计费,请参见OBS价格说明;EVS提供5GB免费规格,限时免费的Notebook,不支持使用超过5GB以上的EVS。一个账号最多创建2个限时免费的Notebook实例,1个免费CPU规格,1个免费GPU规格。不支持创建2个免费CPU规格或2个免费GPU规格。目前仅支持在“华北-北京四”区域可使用免费规格。更多免费算力,满足更多用户场景除了免费规格的Notebook,ModelArts在自动学习、还有AI开发全流程过程中,也提供了相应的免费算力,让您不花一分钱,即可体验ModelArts的自动学习和AI全流程。自动学习:是一个低门槛、高灵活、零代码的定制化模型开发工具。开发者无需专业的开发基础和编码能力,只需上传数据,通过自动学习界面引导和简单操作即可完成模型训练和部署。支持图像分类、物体检测、预测分析、声音分类、文本分类等多种场景。AI全流程开发:面向AI开发者,您可以选择ModelArts为您提供的预置算法,无需编码,根据业务情况调整参数后,重新训练得到新模型;您也可以自行编写训练或推理代码,从数据准备到训练部署,使用云上资源,端到端完成您的AI全流程开发。AI全流程开发包含几个过程,数据准备、选择算法或者自行开发算法、训练模型、导入模型、部署上线。转自,【云小课】EI第3课 官方教程:手把手教您“免费体验”ModelArts Notebook-云社区-华为云 (huaweicloud.com)
  • [其他] 分享ModelArts自动停止:拯救健忘星人,忘关服务也没事
    为了节省AI开发产生的费用,ModelArts是按需计费的,使用多少计费多少。一直运行的服务会一直收费,健忘星人们总是会忘记停止自己的服务,不知不觉账户就跑掉好多钱。今天,教大家一招:自动停止,忘记关服务也没事,再也不会一夜之间就欠费了,省钱又省事!首先,讲讲ModelArts的收费机制?针对自动学习的项目,不同阶段,收费情况如下所示:AI全流程开发过程中,不同阶段,收费机制如下所示:划重点:运行中的作业或服务,会一直计费!运行中的自动学习项目运行中的Notebook运行中的可视化作业运行中的在线服务自动停止功能,拯救您的钱包!进入ModelArts管理控制台,在执行如下操作时,建议在创建页面开启“自动停止”功能。开发环境>Notebook:创建Notebook操作指导请参见“创建并打开Notebook”训练管理>可视化作业:创建可视化作业的操作指导请参见“创建可视化作业”部署上线>在线服务:部署为在线服务的操作指导请参见“部署为在线服务”自动学习>部署上线:将模型部署上线为在线服务,相关操作指导请参见“自动学习>部署上线”开启自动停止功能后,可选择“1小时后”、“2小时后”、“4小时后”、“6小时后”或“自定义”几种模式。选择“自定义”模式时,可指定1~24小时范围内任意整数。转自,【云小课】EI第2课 ModelArts自动停止:拯救健忘星人,忘关服务也没事~-云社区-华为云 (huaweicloud.com)
  • [其他] ModelArts部署自定义镜像的模型时出现异常的解决方法
    问题现象在部署在线服务时,部署失败。进入在线服务详情页面,“事件”页签,提示“Failed to pull image. Retry later.”,同时在“日志”页签中,无任何信息。解决方法出现此问题现象,通常是因为您部署的模型过大导致的。解决方法如下:精简模型,重新导入模型和部署上线。购买专属资源池,在部署上线为在线服务时,使用专属资源池进行部署。
  • [其他] 分享用好ModelArts+HiLens,轻松上手端云协同AI开发
    近几年,AI 模型在端侧运行的需求逐渐升温,而端侧开发是 AI 应用落地实践中的一大难点,它要求端云具备良好的协同能力,根据端侧和云端各自的特性和优势来合理分配算力和任务,充分发挥 AI 模型的业务能力。在这样的背景下,HiLens 应运而生。华为HiLens是面向开发者、企业、硬件厂商的端云协同AI平台,由具备AI能力的摄像头和云上开发平台组成,包括一站式技能开发、设备安装与管理、数据管理、技能市场等。下面,我们从几个简单的 AI 应用 Demo 开始,走入 AI 端云协同开发的秘密森林,学习如何通过 ModelArts 和 HiLens 从零开始完成一个项目的落地应用全流程。认识 HiLens Studio,AI 应用端侧部署神器HiLens Studio 是华为 HiLens 平台提供的云侧集成开发环境及 HiLens Kit 模拟器 ,它包括代码编辑器、编译器、调试器等,开发者可以在 HiLens Studio 中编写和调试技能代码。快上车,带你了解 HiLens Studio 六大优势摘要:传统的 AI 应用开发和部署意味着高成本和高门槛,借助 HiLens Studio,AI 应用开发和部署仅需要三步。手机也能开发 AI 应用,HiLens Studio 支持手机实时视频流调试摘要:HiLens Studio 推出使用手机实时视频流调试代码的功能,以手机摄像头实时的视频流作为技能输入,随时检验 AI 技能效果。上手操作,开发你的第一个 AI 应用基于 ModelArts 和 HiLens 可以高效地从零开始完成一个项目的落地应用全流程,二者的无缝衔接大大提高了效率,整体流程包括:在 ModelArts 上创建数据集——模型训练——在 HiLens Studio 中完成模型转换——编辑代码——在线调试——安装部署。【行人检测】 基于 ModelArts 与 HiLens 端云协同,开发行人检测与跟踪方案摘要:从数据集准备开始,到订阅算法、完成训练,再到 HiLens Studio 调试,并最终部署,体验基于 ModelArts 和 HiLens Kit 的完整开发流程,一台能联网的电脑就可以完成行人检测 Demo 的开发。【行人检测】AI 技能开发之用 HiLens 部署行人社交距离风险提示摘要:本 Demo 主要分为两部分:行人检测和社交距离计算 ,使用 YOLOv3_Resnet18 模型来检测视频流中的行人,获取行人坐标,然后计算所有检测到的人之间的相互距离。【车辆检测】当自动驾驶遇到 HiLens,开发一个简单的车辆检测 Demo摘要:文中的车辆检测模型部署在 HiLens Kit 上 ,使用 ModelArts 进行训练优化,可以检测驾驶过程中道路上其他车辆状态,显示车辆类别、置信度,并通过 YOLOv3 检测车辆,返回的车辆检测框的坐标与当前坐标进行透视变换,获取大约的距离作为车辆之间的距离。【口罩检测】如何用 HiLens Studio 轻松上手口罩检测小工具摘要:手把手教你用HiLens的傻瓜式开发工具制作一个口罩识别小工具。【手势识别】零基础上手,教你用 ModelArts+HiLens 完成手势识别摘要:从零开始,学会 ModelArts 模型训练及转换,以及在 HiLens 上开发部署技能,完整地教你在 ModelArts 上进行手势训练,然后到 HiLens 上进行技能发布。智能塔台、无人车飞驰,看端云协同的魔力得益于 ModelArts 一站式 AI 开发平台和 HiLens 良好的端云协同,既提升了模型部署的速度,也降低了开发难度,让AI应用可以快速落地,产生实际的生产价值。需要注意的是,真正的落地应用需要根据具体应用行业和场景实际分析。6小时模型迭代背后:华为云 ModelArts+HiLens 在空管领域大展身手转自【技术补给站】第8期:用好ModelArts+HiLens,轻松上手端云协同AI开发-云社区-华为云 (huaweicloud.com)