• [其他] 服务部署、启动、升级和修改时,容器健康检查失败的解决方法
    原因分析容器提供的健康检查接口调用失败。容器健康检查接口调用失败,原因可能有两种:镜像健康检查配置问题AI应用健康检查配置问题解决方法根据容器日志进行排查,查看健康检查接口失败的具体原因。镜像健康检查配置问题,需修复代码后重新制作镜像创建AI应用后部署服务。了解镜像健康接口配置请参考模型配置文件编写说明中health参数说明。AI应用健康检查配置问题,需重新创建AI应用或者创建AI应用新版本,配置正确的健康检查,使用新的AI应用或版本重新部署服务。了解AI应用健康检查请参考制作模型镜像并导入中的“健康检查”参数说明。
  • [其他] ModelArts的三种标注方式介绍
    人工标注对于不同类型的数据,用户可以选择不同的标注类型。当前ModelArts支持如下类型的标注作业:图片图像分类:识别一张图片中是否包含某种物体。物体检测:识别出图片中每个物体的位置及类别。图像分割:根据图片中的物体划分出不同区域。音频声音分类:对声音进行分类。语音内容:对语音内容进行标注。语音分割:对语音进行分段标注。文本文本分类:对文本的内容按照标签进行分类处理。命名实体:针对文本中的实体片段进行标注,如“时间”、“地点”等。文本三元组:针对文本中的实体片段和实体之间的关系进行标注。视频视频标注:识别出视频中每个物体的位置及分类。目前仅支持mp4格式。智能标注除了人工标注外,ModelArts还提供了智能标注功能,快速完成数据标注,为您节省70%以上的标注时间。智能标注是指基于当前标注阶段的标签及图片学习训练,选中系统中已有的模型进行智能标注,快速完成剩余图片的标注操作。目前只有“图像分类”和“物体检测”类型的数据集支持智能标注功能。团队标注数据标注任务中,一般由一个人完成,但是针对数据集较大时,需要多人协助完成。ModelArts提供了团队标注功能,可以由多人组成一个标注团队,针对同一个数据集进行标注管理。团队标注功能当前仅支持“图像分类”、“物体检测”、“文本分类”、“命名实体”、“文本三元组”、“语音分割”类型的数据集。
  • [其他] ModelArts和Hilens的模型转换有什么区别吗?
    ModelArts提供的模型转换功能支持以下场景:使用Caffe(.caffemodel格式)或者Tensorflow框架(“frozen_graph”或“saved_model”格式)训练的模型,使用转换功能可转换成“.om格式”,转换后的模型可在昇腾(Ascend)芯片上部署运行。使用Tensorflow框架(“frozen_graph”或“saved_model”格式)训练的模型,使用转换功能可转换成om格式,转换后的模型可在昇腾(Ascend)芯片上部署运行。Hilens在导入模型过程中支持以下场景模型自动转换:使用Caffe(.caffemodel格式)或者Tensorflow框架(“frozen_graph”或“saved_model”格式)训练的模型,使用转换功能可转换成“.om格式”,转换后的模型可在昇腾(Ascend)芯片上部署运行。使用ModelArts 模型转换的转换模板“TF-FrozenGraph-To-Ascend-HiLens”和“TF-SavedModel-To-Ascend-HiLens”生成的“.om格式”模板可以在Hliens Kit运行。
  • [其他] 使用自定义镜像创建在线服务,如何修改默认端口
    当模型配置文件中定义了具体的端口号,例如:8443,创建AI应用没有配置端口(默认端口号为8080),或者配置了其他端口号,均会导致服务部署失败。您需要把AI应用中的端口号配置为8443,才能保证服务部署成功。修改默认端口号,具体操作如下:登录ModelArts控制台,左侧菜单选择“AI应用管理 > AI应用”;单击“创建”,进入创建AI应用界面,元模型选择“从容器镜像中选择”,选择自定义镜像;配置“容器调用接口”和端口号,端口号与模型配置文件中的端口保持一致;图1 修改端口号设置完成后,单击“立即创建”,等待AI应用状态变为“正常”;重新部署在线服务。
  • [其他] 人工智能干货合集(2023年12月)
    1. AI开发平台ModelArts新功能12月没有发布新功能。2. 人工智能相关直播合集百模千态开源大模型AI挑战赛线上培训班 cid:link_0赛题组专家详细解读赛事规则、baseline,带你玩转大赛!主讲人是小鱼老师。所以很值得一看。昇思MindSpore技术公开课·大模型专题(第二期) 第四讲:文本生成解码原理 cid:link_1本次课程承接第一讲ChatGLM,带领大家在ChatGLM系列模型中进一步深入,讲解ChatGLM2的相关技术、推理部署代码演示,以及介绍最近刚开源的ChatGLM3的相关特性。课程的技术性比较强。昇思MindSpore技术公开课 大模型专题(第二期) 第五讲:LLaMAcid:link_2本次课程全面讲解大模型LLaMA的背景介绍、LLaMA模型结构解析(包含Pre-normalizaton、swiGLU、Rotary embedding)及LLaMA推理部署代码演示。干货不少。开源大模型应用开发体验官 百模千态社区AI Gallery使用宣讲cid:link_3这个活动我也参加了。很不错。能学到不少的东西。里面介绍了ai gallery新版本的一些特性,可以了解一下。操作系统大会 2023 崛起数字时代 引领数智未来 AI技术分论坛cid:link_6智能时代,操作系统需要面向AI不断演进。当前,欧拉已支持ARM,x86,RISC-V等全部主流通用计算架构,在智能时代,欧拉也率先支持NVDIA、昇腾等主流AI处理器,成为使能多样性算力的首选。面向数智时代,openEuler以技术为根,持续创新,增强全场景布局,完善云网端边软件栈;深化与AI的融合,发布EulerCopilot,初步实现代码辅助生成、问题智能分析、系统辅助运维等功能,让欧拉更智能,统一异构资源管理与调度,提升有效利用率,使能AI更高效,从而逐步构筑智能时代最佳算力底座。这是一个大会,信息含量很大。开源大模型应用开发体验官:基于LangChain+ChatGLM3的本地知识库问答cid:link_4这里讲到了AI与DataArts的互动。 昇思MindSpore技术公开课 大模型专题(第二期) 第六讲:LLaMA 2cid:link_5介绍LLaMA2并演示其推理部署,同时也讲解业界SOTA模型。全是技术干货。
  • [其他] 将AI应用发布到ModelArts模型管理
    AI应用开发并调试完成后,开发者可以将AI应用服务到ModelArts AI应用管理模块,然后在ModelArts的推理平台进行应用的生产部署。发布AI应用包含了应用打包、构建镜像和发布这三个步骤。打包AI应用构建镜像发布和部署AI应用 镜像构建首次执行大约耗时5~8min,执行成功后镜像将被推送到华为云SWR服务的组织中,SWR地址会打印在terminal控制台。命令执行结束后,镜像构建的日志会在下载至工程log目录下docker-build.log文件中,可通过日志查看构建过程信息。发布和部署AI应用发布AI应用鼠标右键工程列表中当前工程,点击“Public”,输入应用名称、应用版本、请求方式以及镜像地址。点击高级选项可以配置更加丰富的选项。图2 发布AI应用部署AI应用AI应用发布成功后,进入“部署上线>在线服务”模块进行部署操作,部署时选择发布的AI应用进行部署即可。控制台上提供了比开发环境的命令行更为丰富的部署选项,例如服务流量限制、服务自动停止等,用户可以根据需要进行配置,具体可参考部署为在线服务。
  • [其他] 可视化训练作业介绍
    ModelArts支持在新版开发环境中开启TensorBoard和MindInsight可视化工具。在开发环境中通过小数据集训练调试算法,主要目的是验证算法收敛性、检查是否有训练过程中的问题,方便用户调测。ModelArts可视化作业支持创建TensorBoard类型和MindInsight两种类型。TensorBoard和MindInsight能够有效地展示训练作业在运行过程中的变化趋势以及训练中使用到的数据信息。TensorBoardTensorBoard是一个可视化工具,能够有效地展示TensorFlow在运行过程中的计算图、各种指标随着时间的变化趋势以及训练中使用到的数据信息。TensorBoard相关概念请参考TensorBoard官网。TensorBoard可视化训练作业,当前仅支持基于TensorFlow2.1、Pytorch1.4/1.8版本镜像,CPU/GPU规格的资源类型。请根据实际局点支持的镜像和资源规格选择使用。MindInsightMindInsight能可视化展现出训练过程中的标量、图像、计算图以及模型超参等信息,同时提供训练看板、模型溯源、数据溯源、性能调试等功能,帮助您在更高效地训练调试模型。MindInsight当前支持基于MindSpore引擎的训练作业。MindInsight相关概念请参考MindSpore官网。MindInsight可视化训练作业,当前支持的镜像如下,请根据实际局点支持的镜像和资源规格选择使用。mindspore1.2.0版本,CPU/GPU规格的资源类型。mindspore1.5.x以上版本,Ascend规格的资源类型。您可以使用模型训练时产生的Summary文件在开发环境Notebook中创建可视化作业。在开发环境中创建MindInsight可视化作业,请参见MindInsight可视化作业。在开发环境中创建TensorBoard可视化作业,请参见TensorBoard可视化作业。
  • 如何使用ModelArts SDK
    Notebook中,通过使用ModelArts SDK,可以完成OBS管理、训练作业管理、模型管理以及在线服务管理。ModelArts SDK使用请参见《ModelArts SDK参考》。在Notebook中,已承载了登录用户的鉴权信息(AK/SK)和区域信息,因此SDK session鉴权时,无需输入参数即可完成session鉴权。示例代码创建训练作业from modelarts.session import Sessionfrom modelarts.estimator import Estimatorsession = Session()estimator = Estimator( modelarts_session=session, framework_type='PyTorch', # AI引擎名称 framework_version='PyTorch-1.0.0-python3.6', # AI引擎版本 code_dir='/obs-bucket-name/src/', # 训练脚本目录 boot_file='/obs-bucket-name/src/pytorch_sentiment.py', # 训练启动脚本目录 log_url='/obs-bucket-name/log/', # 训练日志目录 hyperparameters=[ {"label":"classes", "value": "10"}, {"label":"lr", "value": "0.001"} ], output_path='/obs-bucket-name/output/', # 训练输出目录 train_instance_type='modelarts.vm.gpu.p100', # 训练环境规格 train_instance_count=1, # 训练节点个数 job_description='pytorch-sentiment with ModelArts SDK') # 训练作业描述job_instance = estimator.fit(inputs='/obs-bucket-name/data/train/', wait=False, job_name='my_training_job')查询模型列表from modelarts.session import Session from modelarts.model import Modelsession = Session() model_list_resp = Model.get_model_list(session, model_status="published", model_name="digit", order="desc")查询服务详情from modelarts.session import Sessionfrom modelarts.model import Predictorsession = Session()predictor_instance = Predictor(session, service_id="input your service_id")predictor_info_resp = predictor_instance.get_service_info()
  • JupyterLab代码参数化插件
    使用介绍仅对Code cell类型新增了Edit Form和Add Form功能,如果cell类型是Markdown或者Raw类型则不支持。如下图所示:图1 查看Code cell​​​打开新的代码后,需先Add Form,再Edit Form。图2 Code类型的cell右键选项​​​Add Form介绍“Add Form”按钮会将Code cell水平拆分为两种编辑区域,左侧为代码区域,右侧为表单区域。单击表单右侧的“Edit”可修改默认标题。图3 两种编辑区域​​​Edit Form介绍“Edit Form”按钮有四个子选项,分别是“Add new form field”、“Hide code”、“Hide form”和“show all”四个按钮,下文介绍这四个选项的功能。“Add new form field”按钮支持新增“dropdown”、“input”和“slider”类型的表单。如图4所示。每新增一个字段,会分别在代码和表单区域中增加对应的变量,修改表单区域的值也会同时修改代码变量值。创建dropdown类型的表单时,“ADD Item”至少创建2项。如图5所示。​​​​​​​​​表单字段类型为“dropdown”时,支持的变量类型为“raw”和“string”。表单字段类型为“input”时,支持的变量类型有“boolean”、“date”、“integer”、“number” 、“raw”和“string”。表单字段类型为“slider”时,支持输入滑动条的最小值、最大值和步长。“Hide code”按钮会隐藏代码区域。“Hide form”按钮会隐藏表单区域。“Show all”按钮会同时展示code和form区域。
  • [其他] JupyterLab简介及常用操作
    JupyterLab是一个交互式的开发环境,是Jupyter Notebook的下一代产品,可以使用它编写Notebook、操作终端、编辑MarkDown文本、打开交互模式、查看csv文件及图片等功能。可以说,JupyterLab是开发者们下一阶段更主流的开发环境。JupyterLab具有和Jupyter Notebook一样的组件,但支持更加灵活和更加强大的项目操作方式。JupyterLab视频介绍https://res-video.hc-cdn.com/cloudbu-site/china/zh-cn/support/modelarts-video/1663917804100861605.mp4打开JupyterLab下面介绍如何从运行中的Notebook实例打开JupyterLab。登录ModelArts管理控制台,在左侧菜单栏中选择“开发环境 > Notebook”,进入Notebook页面。选择状态为“运行中”的Notebook实例,单击操作列的“打开”,访问JupyterLab。图1 打开Notebook实例不同AI引擎的Notebook,打开后Launcher页面呈现的Notebook和Console内核及版本均不同,图2仅作为示例,请以实际控制台为准。Notebook:选择运行Notebook的一个内核,例如TensorFlow、pythonConsole:可调出终端进行命令控制Other:可编辑其他文件在JupyterLab中新建ipynb文件进入JupyterLab主页后,可在“Notebook”区域下,选择适用的AI引擎,单击后将新建一个对应框架的ipynb文件。由于每个Notebook实例选择的工作环境不同,其支持的AI框架也不同,下图仅为示例,请根据实际显示界面选择AI框架。图3 选择AI引擎并新建一个ipynb文件新建的ipynb文件将呈现在左侧菜单栏中。图4 新建文件在JupyterLab中编辑文件JupyterLab可以在同一个窗口同时打开几个Notebook或文件(如HTML、TXT、Markdown等),以页签形式展示。JupyterLab的一大优点是,可以任意排版多个文件。在右侧文件展示区,您可以拖动打开文件,随意调整文件展示位置,可以同时打开多个文件。当在一个Notebook中写代码时,如果需要实时同步编辑文件并查看执行结果,可以新建该文件的多个视图。打开ipynb文件,然后单击菜单栏“File > New View for Notebook”,即可打开多个视图。图8 同一个文件的多个视图自动停止及续期在创建或启动Notebook时,如果启用了自动停止功能,则在JupyterLab的右上角会显示当前实例停止的剩余时长,在计时结束前可以单击剩余时间进行续期。
  • [其他] JupyterLab操作流程
    ModelArts支持通过JupyterLab工具在线打开Notebook,开发基于PyTorch、TensorFlow和MindSpore引擎的AI模型。具体操作流程如下图所示。图1 使用JupyterLab在线开发调试代码创建Notebook实例在ModelArts控制台创建一个Notebook开发环境实例,选择要使用的AI框架。具体参见创建Notebook实例。使用JupyterLab打开Notebook实例。具体参见打开JupyterLab。准备训练数据和代码文件,上传到JupyterLab中。具体参见上传本地文件至JupyterLab。在JupyterLab中编写代码文件,并运行调试。具体参见JupyterLab简介及常用操作。在JupyterLab中直接调用ModelArts提供的SDK,创建训练作业,上云训练。调用SDK创建训练作业的操作请参见调用SDK创建训练作业。
  • [热门活动] 【有奖专家坐堂答疑】DTSE Tech Talk 年度收官直播:看直播提问互动赢华为云定制长袖卫衣!!
    中奖结果公示感谢各位小伙伴参与本次活动,本次活动获奖名单如下:请获奖的伙伴在1月14日之前点击此处填写收货地址,如逾期未填写视为弃奖。再次感谢各位小伙伴参与本次活动,欢迎关注华为云DTSE Tech Talk 技术直播更多活动~直播简介【直播主题】华为云《 DTSE Tech Talk 》年度收官:AI创造无限可能【直播时间】2023年1月5日 15:00-17:30【直播专家】夏飞 华为云EI DTSE技术布道师左雯 华为云媒体DTSE技术布道师肖斐 华为云DTSE技术布道师徐伟招 今日人才联合创始人&VP周汝霖 华为昇思MindSpore学生布道师徐毅 华为云DTSE技术布道师【直播简介】在我们的科技进步不断加速的今天,人工智能已经成为了我们生活中不可或缺的一部分。 AI 的发展为我们带来了前所未有的可能性,它正在改变我们的工作方式、生活方式,甚至是我们对世界的理解。DTT年度收官盛典将与大家一起探讨AI的应用领域与技术发展,企业及个人如何在智能化时代下完成技术飞跃。直播链接:cid:link_2活动介绍即日起—1月8日,在本贴提出与直播相关的问题,坐堂专家评选优质问题送华为云定制长袖卫衣。戳我了解更多活动【注意事项】1、所有参与活动的问题,如发现为抄袭内容或与直播期间内容重复,则取消获奖资格。2、为保证您顺利领取活动奖品,请您在活动公示奖项后2个工作日内私信提前填写奖品收货信息,如您没有填写,视为自动放弃奖励。3、活动奖项公示时间截止2023年1月8日,如未反馈邮寄信息视为弃奖。本次活动奖品将于奖项公示后30个工作日内统一发出,请您耐心等待。4、活动期间同类子活动每个ID(同一姓名/电话/收货地址)只能获奖一次,若重复则中奖资格顺延至下一位合格开发者,仅一次顺延。5、如活动奖品出现没有库存的情况,华为云工作人员将会替换等价值的奖品,获奖者不同意此规则视为放弃奖品。6、其他事宜请参考【华为云社区常规活动规则】。
  • [热门活动] DTSE Tech Talk 年度收官直播:分享我与DTT的独家记忆,赢一整套华为云云宝公仔,是一整套的那种!!
    中奖结果公示感谢各位小伙伴参与本次活动,本次活动获奖名单如下:        请获奖的伙伴在1月14日之前点击此处填写收货地址,如逾期未填写视为弃奖。再次感谢各位小伙伴参与本次活动,欢迎关注华为云DTSE Tech Talk 技术直播更多活动~【直播主题】华为云《 DTSE Tech Talk 》年度收官:AI创造无限可能【直播时间】2023年1月5日 15:00-17:30【直播专家】夏飞 华为云EI DTSE技术布道师左雯 华为云媒体DTSE技术布道师肖斐 华为云DTSE技术布道师徐伟招 今日人才联合创始人&VP周汝霖 华为昇思MindSpore学生布道师徐毅 华为云DTSE技术布道师【直播简介】在我们的科技进步不断加速的今天,人工智能已经成为了我们生活中不可或缺的一部分。 AI 的发展为我们带来了前所未有的可能性,它正在改变我们的工作方式、生活方式,甚至是我们对世界的理解。DTT年度收官盛典将与大家一起探讨AI的应用领域与技术发展,企业及个人如何在智能化时代下完成技术飞跃。直播链接:cid:link_2【活动介绍】即日起——1月7日23:59,在本帖分享300字以上2023年DTT直播对你产生的影响、给你带来的收获与帮助,评选优质内容送华为云云宝公仔一套。戳我了解更多活动【注意事项】1、所有参与活动的内容,如发现为抄袭内容或水文,则取消获奖资格。2、为保证您顺利领取活动奖品,请您在活动公示奖项后2个工作日内私信提前填写奖品收货信息,如您没有填写,视为自动放弃奖励。3、活动奖项公示时间截止2023年1月8日,如未反馈邮寄信息视为弃奖。本次活动奖品将于奖项公示后30个工作日内统一发出,请您耐心等待。4、活动期间同类子活动每个ID(同一姓名/电话/收货地址)只能获奖一次,若重复则中奖资格顺延至下一位合格开发者,仅一次顺延。5、如活动奖品出现没有库存的情况,华为云工作人员将会替换等价值的奖品,获奖者不同意此规则视为放弃奖品。6、其他事宜请参考【华为云社区常规活动规则】。
  • [热门活动] 【看直播赢豪礼!!】DTSE Tech Talk 年度收官直播:参与直播互动赢华为Freelace Pro无线耳机及各种华为周边!!
    直播简介【直播主题】华为云《 DTSE Tech Talk 》年度收官:AI创造无限可能【直播时间】2023年1月5日 15:00-17:30【直播专家】夏飞 华为云EI DTSE技术布道师 左雯 华为云媒体DTSE技术布道师肖斐 华为云DTSE技术布道师徐伟招 今日人才联合创始人&VP周汝霖 华为昇思MindSpore学生布道师徐毅 华为云DTSE技术布道师【直播简介】在我们的科技进步不断加速的今天,人工智能已经成为了我们生活中不可或缺的一部分。 AI 的发展为我们带来了前所未有的可能性,它正在改变我们的工作方式、生活方式,甚至是我们对世界的理解。DTT年度收官盛典将与大家一起探讨AI的应用领域与技术发展,企业及个人如何在智能化时代下完成技术飞跃。直播链接:cid:link_2活动介绍报名转发抽奖:即日起——1月5日18:00,报名直播并转发海报至朋友圈随机抽送华为云定制Polo衫,海报在本页获取(长按图片保存)。我与DTT的独家记忆:即日起——1月7日23:59,在论坛帖分享300字以上2023年DTT直播对你产生的影响、给你带来的收获与帮助,评选优质内容送华为云云宝公仔一套。有奖调研:即日起——1月5日18:00,参与直播调研问卷抽送华为云定制无线鼠标。 口令抽奖:1月5日15:00——18:00,通过官网直播间评论区发送“DTT圆满收官”口令抽送华为云定制雨伞。 有奖提问:1月5日15:00——18:00,直播期间提出直播相关问题,评选优质问题送华为云定制双肩包。我爱DTT:1月5日15:00——18:00,直播观看时长超过45分钟抽送华为Freelace Pro无线耳机。 专家坐堂有奖:即日起-1月8日,在指定论坛贴提出与直播相关的问题,坐堂专家评选优质问题送华为云定制长袖卫衣。 重磅干货: 即日起-1月7日,加入直播交流群即可获取《DTT技术公开课2023精华电子书》 。 直播回顾:1月5日18:00后,直播结束后返回原直播页回顾直播精彩内容。 【注意事项】1、所有参与活动的问题/内容,如发现为抄袭内容,则取消获奖资格。2、为保证您顺利领取活动奖品,请您在活动公示奖项后2个工作日内私信提前填写奖品收货信息,如您没有填写,视为自动放弃奖励。3、活动奖项公示时间截止2023年1月8日,如未反馈邮寄信息视为弃奖。本次活动奖品将于奖项公示后30个工作日内统一发出,请您耐心等待。4、活动期间同类子活动每个ID(同一姓名/电话/收货地址)只能获奖一次,若重复则中奖资格顺延至下一位合格开发者,仅一次顺延。5、如活动奖品出现没有库存的情况,华为云工作人员将会替换等价值的奖品,获奖者不同意此规则视为放弃奖品。6、其他事宜请参考【华为云社区常规活动规则】。
  • [课程学习] 【华为云AI实战】【ModelArts零代码】基于华为云ModelArts实现小白版目标检测
    基于华为云ModelArts实现零代码版目标检测【摘要】在基于ModelArts中实现零代码目标检测技术 在这篇学习博客中,我将分享我何使用华为云的ModelArts平台,实现零代码的目标检测技术,文章的最后会分享数据集,大家可以自由尝试。ModelArts是一个面向开发者的一站式AI开发平台,提供了数据处理、模型训练、模型管理和模型部署等全流程的支持。我使用了ModerArts中内置的模型,创建了一个目标检测项目,通过简单的数据标注即可完成模型的训练与部署。什么是ModelArtsModelArts是面向AI开发者的一站式开发平台,提供海量数据预处理及半自动化标注、大规模分布式训练、自动化模型生成及端-边-云模型按需部署能力,帮助用户快速创建和部署模型,管理全周期AI工作流。ModelArts的理念就是让AI开发变得更简单、更方便。面向不同经验的AI开发者,提供便捷易用的使用流程。例如,面向业务开发者,不需关注模型或编码,可使用自动学习流程快速构建AI应用;面向AI初学者,不需关注模型开发,使用预置算法构建AI应用;面向AI工程师,提供多种开发环境,多种操作流程和模式,方便开发者编码扩展,快速构建模型及应用。实验流程基于ModelArts实现目标物体检测模型训练和部署。本实验要检测的目标是云宝,来快速熟悉ModelArts自动学习的使用过程。大致流程可分为:创建OBS,准备数据集通过预置的图像数据集,自动训练并生成检测模型将生成的模型部署为在线服务部署完成后,用通过在线服务识别输入图片检测训练成果准备密钥登录华为云官方网站,击页面的“控制台”切换至控制台界面,在账号名称的下拉菜单中点击“我的凭证”,进入创建管理访问密钥(AK/SK)的界面。如图: 什么是访问密钥: 访问密钥即AK/SK(Access Key ID/Secret Access Key),是通过开发工具(API、CLI、SDK)访问华为云时的身份凭证,不能登录控制台。系统通过AK识别访问用户的身份,通过SK进行签名验证,通过加密签名验证可以确保请求的机密性、完整性和请求者身份的正确性。+选择“访问密钥”,点击“新增访问密钥”。在这里需要通过安全验证,通过验证之后就会自动生成密钥,并获得一个csv文件,妥善保存。创建OBS桶和目录进入方式,控制台->服务列表->存储->对象存储服务,页面右上角点击“创建桶”按钮进入创建页面。 什么是OBS: 对象存储服务(Object Storage Service,OBS)是一个基于对象的海量存储服务,为客户提供海量、安全、高可靠、低成本的数据存储能力,包括:创建、修改、删除桶,上传、下载、删除对象等。这是我创建的参数: OBS创建文件夹点击刚创建的桶名称,进入详情页左侧栏选择“对象”,点击“新建文件夹”,在弹出的新建窗口中:文件夹名称:自定义(此名称会在后续步骤中使用)授权服务由于创建自动学习项目需要使用数据管理功能,在开始使用前,需为数据管理模块获取访问OBS权限。在ModelArts管理控制台,进入数据管理->数据集页面,单击“服务授权”,由具备授权的账号“同意授权”后,即可正常使用。准备数据ModelArts在公共OBS桶中提供了云宝的示例数据集,命名为“Yunbao-Data-Custom”,因此,本文的操作示例使用此数据集进行模型构建。关于数据集的下载,可以在华为云搜索栏,搜索Yunbao-Data-Custom。在本地,将“Yunbao-Data-Custom.zip”压缩包解压。按照之前的步骤进入对象存储服务OBS,点击创建好的桶,进入对象页面,点击创建好的文件夹,选择“上传对象”,即可。 点击上传即可完成本地到云端的数据上传:创建物体检测项目进入ModelArts管理控制台主页,单击左侧导航栏“自动学习”添加步骤1保存的访问密钥文件中的密钥:在“物体检测”方框中单击“创建项目” 在“创建物体检测项目”页面中,填写“项目名称”、“数据集名称”->选择“数据集输入位置”云宝数据集OBS路径为“/object-detection-test/dataset-yun/train/”“数据集输出位置”选择一个空目录如“/object-detection-test/dataset-yun/output/”添加标签集为“yunbao”数据标注数据标注:针对物体检测项目,即在已有数据集图像中,标注出物体位置,并为其打上标签。 标注好的数据用于模型训练。云宝数据集中,已标注部分数据,还有部分数据未标注,我们需要选择未标注数据进行手动标注。 自动学习项目创建时,会自动执行数据源同步操作。由于数据源同步需要一定时间,如果出现同步失败,可单击“同步数据源”手动执行。在 自动学习->数据标注 页面单击“未标注”按钮,此页面展示了所有未标注的图片数据。单击任意一张图片,即可进入图片标注界面。用鼠标框选图片中的云宝所在区域,然后在弹出的对话框中输入标签名称,例如此图片中的“yunbao”,按回车键完成此图片的添加。 标注完成后,左侧图片目录中此图片的状态将显示为“已标注”。自动训练,生成模型建议将图片数据集全部标注,以得到一个比较好的模型。标注完数据之后,便可以进入workflow流中开始工作首先是数据集版本发布,后是数据校验,同时可以查看后台的工作记录,跟进工作流的进度,之后就可以开始训练模型了。点击开始训练,设置训练参数。 单击“确定”开始模型的自动训练。深度学习训练时间相对较长,建议耐心等待。如果关闭或退出此页面,系统仍然在执行训练操作。 训练完成后,我们就可以在界面中查看训练详情,如 “准确率”“评估结果”“训练参数”“分类统计表”等。结果测试模型训练完成之后,点击页面中的“部署”按钮,在弹出的部署设置对话框中,选择“计算节点规格”,设置“自动停止”功能,单击“确定”开始将物体检测模型部署上线为在线服务。如果选择免费规格,则不需要设置“自动停止”功能,1小时之后自动停止。启动部署上线后,系统自动跳转至部署上线页面。此页面将呈现模型部署上线的进度和状态。部署上线将耗费较多时间,还需耐心等待。模型部署完成后,我们就可以添加图片进行检测,在“部署上线”界面,选择状态为“运行中”的服务版本,在“服务测试”区域单击“上传”检测图片进行检测。 资源释放至此实验全部完成。 最后,使用的云端资源记得全部删除如对象存储服务创建的桶,文件夹,创建的数据集,部署的模型等都需要删除,并停用访问密钥,以免造成不必要的花费。实验总结在这篇博客中,我详细介绍了如何使用华为云ModelArts实现目标检测的demo,并部署上线服务的过程。通过这次实践,我深刻地体会到了ModelArts的强大和便捷。在我们提供了一个一站式的AI通用流程框架,让我们可以零代码实现AI项目的训练部署,给AI初学者或者其他行业人员提供了一个通用的零代码工具。
总条数:3410 到第 页
上滑加载中