-
亮点特性1:远程开发 - 支持本地IDE远程访问Notebook新版Notebook提供了远程开发功能,通过开启SSH连接,用户本地IDE可以远程连接到ModelArts的Notebook开发环境中,调试和运行代码。对于使用本地IDE的开发者,由于本地资源限制,运行和调试环境大多使用团队公共搭建的CPU或GPU服务器,并且是多人共用,这带来一定的环境搭建和维护成本。而ModelArts的Notebook的优势是即开即用,它预先装好了不同的AI引擎,并且提供了非常多的可选规格,用户可以独占一个容器环境,不受其他人的干扰。只需简单配置,用户即可通过本地IDE连接到该环境进行运行和调试。图1 本地IDE远程访问Notebook开发环境ModelArts的Notebook可以视作是本地PC的延伸,均视作本地开发环境,其读取数据、训练、保存文件等操作与常规的本地训练一致。对于习惯使用本地IDE的开发者,使用远程开发方式,不影响用户的编码习惯,并且可以方便快捷的使用云上的Notebook开发环境。本地IDE当前支持VSCode、PyCharm、SSH工具。还有专门的插件PyCharm Toolkit和VSCode Toolkit,方便将云上资源作为本地的一个扩展。亮点特性2:预置镜像 - 即开即用,优化配置,支持主流AI引擎每个镜像预置的AI引擎和版本是固定的,在创建Notebook实例时明确AI引擎和版本,包括适配的芯片。亮点特性3:提供在线的交互式开发调试工具JupyterLabModelArts集成了基于开源的JupyterLab,可为您提供在线的交互式开发调试。您无需关注安装配置,在ModelArts管理控制台直接使用Notebook,编写和调测模型训练代码,然后基于该代码进行模型的训练。JupyterLab是一个交互式的开发环境,是Jupyter Notebook的下一代产品,可以使用它编写Notebook、操作终端、编辑MarkDown文本、打开交互模式、查看csv文件及图片等功能。
-
获取您的EI红宝书:https://www.huaweicloud.com/ei/ 华为云EI服务介绍:https://mp.weixin.qq.com/s/f1McTHORZ3OHLSGJHGrc-Q 01 图像识别API服务介绍 https://mp.weixin.qq.com/s/OdfsOTDkBpwLucHhipaXlg 02 图像搜索API服务介绍 https://mp.weixin.qq.com/s/wkelUMwPi7yrgEQfASgODQ 03 内容审核API服务介绍 https://mp.weixin.qq.com/s/HC_aZCfIIF1Ke8ofsUeijw 04 文字识别API服务介绍 https://mp.weixin.qq.com/s/1y6pG2LM83cs4OexHLTBjw 05 自然语言处理API服务介绍 https://mp.weixin.qq.com/s/C196lNKhiA4oeaelvh92hQ 06 语音交互API服务介绍 https://mp.weixin.qq.com/s/QeJ2e7XN9E-Rw3lFSKeA4Q 云与数据- HCCDA-AI合集:https://mp.weixin.qq.com/mp/appmsgalbum?__biz=Mzg5Mjc4NjE1Nw==&action=getalbum&album_id=2398219468813811715&scene=173&from_msgid=2247483927&from_itemidx=1&count=3&nolastread=1#wechat_redirect**
-
 获取您的EI红宝书:https://www.huaweicloud.com/ei/ # 1.1 AI技术发展现状及技术挑战 ## 1.1.1 计算机视觉发展现状及技术挑战 ### 是什么? https://www.huaweicloud.com/product/image.html 计算机视觉是使计算机能理解采集设备采集的图像视频的一门学科。形象地说,就是给计算机安装上眼睛(照相机)和大脑(算法),让计算机能够感知环境。  如上图所示,真实的世界通过人眼成像,再传递给大脑进行理解,达到理解图像的目的;在机器视觉中,采集设备作为传感装置采集图像,将图像传递给计算机解读,最终达到计算机像人一样“读懂”图片的目的。 ### 能干什么?  ### 有什么? ##### ① 视觉任务划分  中级视觉的物体检测包含2个任务:物体定位和分类  有时我们也会说计算机视觉有四大类任务:分类、定位、检测、分割。 ##### ② 视觉的三个层次  底层一般是像素级处理,比如亮度增强、直方图、直方图均化等; 中层即从中分析一些边缘、朝向、纹理等这些特征,可以对图片进行一个分割; 高层需要我们从中得到一些语义信息,比如图片中间是老虎,下边是沙滩,绿色的是草地,这可能是一个野外场景 ### 面临的挑战?  ## 1.1.2 自然语言处理发展现状及技术挑战 ### 是什么? https://www.huaweicloud.com/product/nlpf.html 自然语言处理的处理主要包括两个部分:自然语言理解、自然语言生成   自然语言理解(Natural Language Understanding,NLU) 使计算机理解自然语言(人类语言文字)等,重在理解。具体来说,就是理解语言、文本等,提取出有用的信息,用于下游的任务。如情感识别、意图识别、信息检索(包括个性化搜索和语义搜索,文本匹配等)、信息抽取(命名实体提取、关系抽取、事件抽取等)。 自然语言生成(Natural Language Generation, NLG) 提供结构化的数据、文本、图表、音频、视频等,生成人类可以理解的自然语言形式的文本。NLG又可以分为三大类,文本到文本(text-to-text),如翻译、摘要等;文本到其他(text-to-other),如文本生成图片;其他到文本(other-to-text),如视频生成文本。 ### 能干什么? 例: 智能问答 舆情分析 文本分类 实体抽取 摘要生成 AI写诗 机器翻译 内容审核 文本互译 ...... ### 面临的挑战?  ## 1.1.3 语音处理发展现状及技术挑战 ### 是什么? https://www.huaweicloud.com/product/rasr.html  ### 能干什么? 例: 实时字幕 会议记录 语音搜索 语音导航 有声阅读 ### 面临的挑战?  # 1.2 AI应用需求分析 ## 1.2.1 传统软件应用开发与AI应用开发对比  ## 1.2.2 为什么需要进行需求分析  ### 1.2.2.1 AI应用开发需求分析步骤  ### 案例:实例演练--智能人体测温监测系统  ##### ① 需求背景  ##### ② 需求价值  ##### ③ 需求描述  ##### ④ 问题抽象  ##### ⑤ 可行性分析  人工智能入门级开发者认证:https://edu.huaweicloud.com/certificationindex/developer/aaabf9760a3f4578aa620155e1fcae86 
-
 - **获取您的EI红宝书:https://www.huaweicloud.com/ei/**   - **云与数据** https://mp.weixin.qq.com/mp/appmsgalbum?__biz=Mzg5Mjc4NjE1Nw==&action=getalbum&album_id=2398219468813811715&scene=173&from_msgid=2247483927&from_itemidx=1&count=3&nolastread=1#wechat_redirect**
-
获取您的EI红宝书:https://www.huaweicloud.com/ei/1.1 人工智能定义 人工智能 (Artificial Intelligence)是研究、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。 1.1.1 两个智能:强人工智能 vs 弱人工智能 强:有可能制造出真正的推理和解决问题的智能机器;有知觉;有自我意识;有自己的价值观和世界观体系 弱:不能制造出真正的推理和解决问题的智能机器;看起来智能但并不拥有智能;无自主意识 1.1.2 三个阶段: 1.1.3 四个要素:数据、算法、算力、场景 AI、机器学习、深度学习的关系1.2 人工智能发展历史 1.3 人工智能产业生态 https://report.iresearch.cn/report/202201/3925.shtml(下载链接) https://report.iresearch.cn/report/202203/3962.shtml(下载链接) 1.3.3 人工智能技术架构 1、基础架构层 大数据:数据是真实世界不同现象的抽象表达,我们可以处理这大数据并能挖掘有价值的信息,知识甚至“智慧” 计算机硬件:CPU、GPU、Ascend910 2、算法层 机器学习:脑海里寻找一个问题答案的过程就是一个机器学习的过程 神经网络和深度学习:人类神经网络、感知器、深度神经网络 (前馈网络,反馈网络,图网络) 3、技术方向 计算机视觉:内容审核、图像搜索、语义分割、人脸检测、车辆检测、图像分类 语音处理: 自然语言处理: 4、应用领域 智慧城市:全城感知、全城预警、全城检索、全城协同 金融:智能投顾、智能投研、智能理赔、智能支付(人脸、指纹、虹膜、声纹)、智能风控 零售:设计、生产制造、收益管理、供应链管理、电商、线下零售 医疗:语音录入病历、医疗影像分析、综合型诊疗、身体健康管理、医疗机器人、医学药物研发 农业:数据分析与预测、降低农药成本、智降低农业收割成本、临空系统1.4 人工智能落地挑战 1.4.1 数据的挑战 1、数据获取 数据积累不足 数据质量差 数据安全合规 数据归属权 2、数据治理 多源异构数据 非结构化数据 海量数据存储与应用 3、数据标注 小场景数据采集 复杂业务场景理解 数据安全 1.4.2 缺乏解释性 深度学习系统的弱解释性给现有的AI系统带来了安全性、稳定性的挑战 1.4.3 算法的偏见 算法的偏见主要源于数据的偏见(如:数据名词认知观点不一致,造成歧视,产生差异) 1.4.4 隐私问题 人工智能算法都是数据驱动,获取大量的用户数据1.5 人工智能发展趋势 1.5.1更完善的人工智能基础数据服务: 1.5.2 更安全的数据共享: 联邦学习在保证数据隐私安全的前提下,利用不同数据源合作训练模型,进一步突破数据的瓶颈 1.5.3 端-边-云全面发展的算力: 应用于云端、边缘设备、移动终端的人工智能芯片规模不断增长 1.5.4 大模型与轻量化: 应对移动终端及各种边缘设备部署的挑战 1.5.5 更易用的框架: MindSpore、TensorFlow 2.x、Pytorch等主流开发框架都在朝易用、全能的方向演进,不断降低人工智能的开发门槛1.5.6 不断突破的应用场景: 缓解心理问题、自动车险定损、后端办公自动化、…… 1.6 华为AI解决方案 1.6.1 全栈全场景AI解决方案介绍全栈(Full Stack): 技术功能视角;指包括云底座、芯片(昇腾)、开发/训练/推理框架MindSpore和AI使能能力在内的全堆栈方案全场景(All Scenarios): 指包括公有云、私有云、各种边缘计算、物联网行业终端以及消费类终端等部署环境MindSpore: 支持端、边、云独立的和协同的统一训练和推理框架CANN: 芯片算子库和高度自动化算子开发工具Ascend: 基于统一、可扩展架构的系列化AI芯片(Ascend 310和Ascend 910芯片是一款华为自研的云端AI芯片) 1.6.2 企业智能AI开放能力介绍 1. ModelArts 面向AI开发者的一站式开发平台,提供海量数据预处理及半自动化标注、大规模分布式训练、自动化模型生成及端-边-云模型按需部署能力,帮助用户快速创建和部署模型,管理全周期AI工作流。 面向不同经验的AI开发者,提供便捷易用的使用流程 1、面向业务开发者,不需关注模型或编码,可使用自动学习流程快速构建AI应用; 2、面向AI初学者,不需关注模型开发,使用预置算法构建AI应用; 3、面向AI工程师,提供多种开发环境,多种操作流程和模式,方便开发者编码扩展,快速构建模型及应用。 2.ModelArts Pro 面向企业可以拿来即用的专业AI开发套件。基于华为云的先进算法和快速训练能力,ModelArts Pro提供预置工作流和模型,提升企业AI应用的开发效率,降低开发难度。 同时,支持客户自主进行工作流编排,快速实现应用的开发、共享和发布,共建开放生态,实现普惠行业AI落地,真正实现赋能行业AI 应用开发者,全面提升行业AI 开发效率和落地效果。ModelArts Pro套件包括自然语言处理套件、文字识别套件、视觉套件等,能够快速响应不同行业、不同场景的AI落地需求。 3.HiLens 4.AI Gallery http://huaweicloud.ai 5.盘古大模型 盘古大模型承载在AI Gallery平台,从AI Gallery订阅之后,即可在ModelArts中使用 华为云盘古大模型可以实现一个AI大模型在众多场景通用、泛化和规模化复制,减少对数据标注的依赖。相对于以前的作坊式开发,AI工业化开发效率可以提升10~100倍,同时AI模型具备更佳的性能。 6.智能体 华为云智能体以云为基础,以AI为核心,通过统一的平台和架构,将云、大数据、AI等创新技术与行业机理、专家知识融合,提供一体化协同的智能服务,挖掘数据价值,助力政企智能升级,构筑领先优势 城市智能体:( 1+ X + N 平台+引擎+应用) 城市AI开发运营平台 + (数据管理引擎、全域感知引擎、知识计算引擎、机器人引擎 、调度引擎等)+ 一网通办、一网通管、一号通、智慧供热、智慧公交 交通智能体:(宏观--中观--微观) 市级交通大屏 区级交通大屏 路口交通大屏 诊断数据大屏 工业智能体: 焦化配煤(质量预测精度提升)、炼钢配料(成分预测准确率提升)、板材切割(利用率提升) 医疗智能体:(医院、制药公司、研究机构) 靶基因发现、新应用发现、生物标志物研院、AI辅助药物设计等 在线推理 -- AI预测服务、开发环境 -- Notebook分析服务人工智能入门级开发者认证:https://edu.huaweicloud.com/certificationindex/developer/aaabf9760a3f4578aa620155e1fcae86
-
【操作步骤&问题现象】救助!这是什么原因啊【截图信息】【日志信息】(可选,上传日志内容或者附件)
-
【功能模块】ModelArts产品AI应用功能模块服务ID 536afc85-d5ee-4ee5-8200-4ed6e1bc4ba0【操作步骤&问题现象】1、在使用ultralytics和yolov5,在modelarts平台做AI部署,报错,已经聚焦到问题是原代码中font(Arial.ttf)需要从网页下载2、已经将ttf文件手动下载放入obs中,地址:obs://overunderwater对象/ma-competitions-bj4/chuanbo/model/utilitiesma-competitions-bj4/chuanbo/model/utilities/Arial.ttf3、问题报错是找不到tff文件,请问如何在python文件中用mox命令,将该文件告诉python进行后续操作,麻烦写完整命令行,折腾好久了。import yaml from utilities.downloads import gsutil_getsize from utilities.metrics import box_iou, fitness # Settings FILE = Path(__file__).resolve() ROOT = FILE.parents[1] # YOLOv5 root directory DATASETS_DIR = ROOT.parent / 'datasets' # YOLOv5 datasets directory NUM_THREADS = min(8, max(1, os.cpu_count() - 1)) # number of YOLOv5 multiprocessing threads VERBOSE = str(os.getenv('YOLOv5_VERBOSE', True)).lower() == 'true' # global verbose mode FONT = 'Arial.ttf' # https://ultralytics.com/assets/Arial.ttf torch.set_printoptions(linewidth=320, precision=5, profile='long')【截图信息】【日志信息】(可选,上传日志内容或者附件)[2022-05-05 05:13:04 +0000] [18] [INFO] Using worker: sync [2022-05-05 05:13:04 +0000] [21] [INFO] Booting worker with pid: 21 Traceback (most recent call last): File "/home/mind/model/utilities/plots.py", line 57, in check_pil_font return ImageFont.truetype(str(font) if font.exists() else font.name, size) File "/root/.local/lib/python3.6/site-packages/PIL/ImageFont.py", line 836, in truetype return freetype(font) File "/root/.local/lib/python3.6/site-packages/PIL/ImageFont.py", line 833, in freetype return FreeTypeFont(font, size, index, encoding, layout_engine) File "/root/.local/lib/python3.6/site-packages/PIL/ImageFont.py", line 194, in __init__ font, size, index, encoding, layout_engine=layout_engine OSError: unknown file format During handling of the above exception, another exception occurred: Traceback (most recent call last): File "/home/mind/model_service/model_service.py", line 179, in load_service spec.loader.exec_module(module) File "", line 678, in exec_module File "", line 219, in _call_with_frames_removed File "/home/mind/model/customize_service.py", line 34, in from models.common import DetectMultiBackend File "/home/mind/model/models/common.py", line 27, in from utilities.plots import Annotator, colors, save_one_box File "/home/mind/model/utilities/plots.py", line 68, in class Annotator: File "/home/mind/model/utilities/plots.py", line 70, in Annotator check_pil_font() # download TTF if necessary File "/home/mind/model/utilities/plots.py", line 61, in check_pil_font return ImageFont.truetype(str(font), size) File "/root/.local/lib/python3.6/site-packages/PIL/ImageFont.py", line 836, in truetype return freetype(font) File "/root/.local/lib/python3.6/site-packages/PIL/ImageFont.py", line 833, in freetype return FreeTypeFont(font, size, index, encoding, layout_engine) File "/root/.local/lib/python3.6/site-packages/PIL/ImageFont.py", line 194, in __init__ font, size, index, encoding, layout_engine=layout_engine OSError: unknown file format [2022-05-05 05:13:15 +0000] [21] [ERROR] Exception in worker process Traceback (most recent call last): File "/home/mind/model/utilities/plots.py", line 57, in check_pil_font return ImageFont.truetype(str(font) if font.exists() else font.name, size) File "/root/.local/lib/python3.6/site-packages/PIL/ImageFont.py", line 836, in truetype return freetype(font) File "/root/.local/lib/python3.6/site-packages/PIL/ImageFont.py", line 833, in freetype return FreeTypeFont(font, size, index, encoding, layout_engine) File "/root/.local/lib/python3.6/site-packages/PIL/ImageFont.py", line 194, in __init__ font, size, index, encoding, layout_engine=layout_engine OSError: unknown file format During handling of the above exception, another exception occurred: Traceback (most recent call last): File "/home/mind/model_service/model_service.py", line 179, in load_service spec.loader.exec_module(module) File "", line 678, in exec_module File "", line 219, in _call_with_frames_removed File "/home/mind/model/customize_service.py", line 34, in from models.common import DetectMultiBackend File "/home/mind/model/models/common.py", line 27, in from utilities.plots import Annotator, colors, save_one_box File "/home/mind/model/utilities/plots.py", line 68, in class Annotator: File "/home/mind/model/utilities/plots.py", line 70, in Annotator check_pil_font() # download TTF if necessary File "/home/mind/model/utilities/plots.py", line 61, in check_pil_font return ImageFont.truetype(str(font), size) File "/root/.local/lib/python3.6/site-packages/PIL/ImageFont.py", line 836, in truetype return freetype(font) File "/root/.local/lib/python3.6/site-packages/PIL/ImageFont.py", line 833, in freetype return FreeTypeFont(font, size, index, encoding, layout_engine) File "/root/.local/lib/python3.6/site-packages/PIL/ImageFont.py", line 194, in __init__ font, size, index, encoding, layout_engine=layout_engine OSError: unknown file format During handling of the above exception, another exception occurred: Traceback (most recent call last): File "/usr/local/lib/python3.6/site-packages/gunicorn/arbiter.py", line 583, in spawn_worker worker.init_process() File "/usr/local/lib/python3.6/site-packages/gunicorn/workers/base.py", line 129, in init_process self.load_wsgi() File "/usr/local/lib/python3.6/site-packages/gunicorn/workers/base.py", line 138, in load_wsgi self.wsgi = self.app.wsgi() File "/usr/local/lib/python3.6/site-packages/gunicorn/app/base.py", line 67, in wsgi self.callable = self.load() File "/usr/local/lib/python3.6/site-packages/gunicorn/app/wsgiapp.py", line 52, in load return self.load_wsgiapp() File "/usr/local/lib/python3.6/site-packages/gunicorn/app/wsgiapp.py", line 41, in load_wsgiapp return util.import_app(self.app_uri) File "/usr/local/lib/python3.6/site-packages/gunicorn/util.py", line 350, in import_app __import__(module) File "/home/mind/app.py", line 132, in module = load_service(model_service_file) if model_service_file else pytorch_vision_service File "/home/mind/model_service/model_service.py", line 188, in load_service raise Exception('Incorrect or missing service file: ' + path) Exception: Incorrect or missing service file: /home/mind/model/customize_service.py [2022-05-05 05:13:15 +0000] [21] [INFO] Worker exiting (pid: 21) Namespace(model_name='serve', model_path='/home/mind/model/yolov5l.pt', pt_server_name='127.0.0.1', service_file='/home/mind/model/customize_service.py') [2022-05-05 05:13:16 +0000] [18] [INFO] Shutting down: Master [2022-05-05 05:13:16 +0000] [18] [INFO] Reason: Worker failed to boot.
-
AI应用开发并调试完成后,开发者可以将AI应用服务到ModelArts AI应用管理模块,然后在ModelArts的推理平台进行应用的生产部署。发布AI应用包含了应用打包、构建镜像和发布这三个步骤。打包AI应用构建镜像发布和部署AI应用打包AI应用鼠标右键工程列表中当前工程,点击“Package”将会打包当前工程,生成该工程的rpm包。构建镜像将AI应用打好的rpm包和基础镜像打成新的应用镜像,用于部署。生产部署时,Dockerfile中配置的基础镜像需要选择runtime镜像。鼠标右键工程列表中的当前工程,点击“Build Image”,输入镜像名称、镜像版本、OBS地址。图1 构建镜像镜像构建首次执行大约耗时5~8min,执行成功后镜像将被推送到华为云SWR服务的组织中,SWR地址会打印在terminal控制台。命令执行结束后,镜像构建的日志会在下载至工程log目录下docker-build.log文件中,可通过日志查看构建过程信息。发布和部署AI应用发布AI应用鼠标右键工程列表中当前工程,点击“Public”,输入应用名称、应用版本、请求方式以及镜像地址。点击高级选项可以配置更加丰富的选项。图2 发布AI应用部署AI应用AI应用发布成功后,进入“部署上线>在线服务”模块进行部署操作,部署时选择发布的AI应用进行部署即可。控制台上提供了比开发环境的命令行更为丰富的部署选项,例如服务流量限制、服务自动停止等,用户可以根据需要进行配置,具体可参考部署为在线服务。
-
大赛报名地址:https://competition.huaweicloud.com/information/1000041661/introduction目录1 文档导读2 ModelArts全局配置3 在Notebook环境中创建训练任务4 编写线上推理代码5 部署AI应用6 将模型部署为在线服务7 提交模型判分8 释放资源1 文档导读ModelArts是面向AI开发者的一站式开发平台,您可以使用ModelArts完成船舶大赛的数据处理、训练建模、推理测试以及结果的提交。2 ModelArts 全局配置使用 ModelArts Notebook、训练作业、模型及服务时可能需要用到对象存储服务,因此在使用 ModelArts 之前,您需要进行全局配置。点击此处进入ModelArts控制台,点击全局配置->访问授权 如下:授权方式选择使用委托,用户名选择 所有用户, 委托选择自动创建 ,同意授权即可3在Notebook环境中创建训练任务您可以在ModelArts Notebook中编写模型训练脚本;如果您训练的模型需要推理代码,也可以在Notebook中编写。ModelArts支持TensorFlow、MXNet、PyTorch等深度学习引擎,您可以基于自身使用习惯来选择;您还可以使用pip install在ModelArts Notebook中安装外部库。 您可以使用Notebook或者Terminal 并上传工程进行训练。 4 编写线上推理代码具体操作可参考如下步骤。 编写推理文件模型推理代码的编写可参考 https://support.huaweicloud.com/engineers-modelarts/modelarts_23_0093.html编写customize_service.py文件。将customize_service.py 文件上传至OBS存放模型的model文件夹下。OBS的使用和上传文件操作可参考https://support.huaweicloud.com/usermanual-obs/zh-cn_topic_0045829661.html 编写模型配置文件模型配置文件为模型导入必备文件,模型配置文件描述模型用途、模型计算框架、模型精度、推理代码依赖包以及模型对外API接口,编写完成后将推理代码保存并上传至OBS存放模型的model文件夹下。编写配置文件json配置文件的编写可以参考https://support.huaweicloud.com/engineers-modelarts/modelarts_23_0092.html 本baseline已经基于yolo-v5 提供了推理文件和config示例,供选手参考,待训好yolo模型后上传至model文件夹下即可使用。obs路径: obs://ma-competitions-bj4/chuanbo/model/5 部署AI应用点击“创建”从OBS中选择,查找自己的model文件,选择AI环境,即可创建6 将模型部署为在线服务创建AI应用后,接下来您可以将模型部署为在线服务,验证模型是否可以按照规定格式正常输出。部署为在线服务具体步骤如下。在ModelArts左侧导航栏中选择“部署上线 在线服务”,然后单击页面中的“部署”。在部署页面填写参数,计算节点规格选择 CPU:2核8G单击“下一步”,参数确认无误后,单击“提交”。创建成功后,返回在线服务列表,您可以在在线服务列表中查看部署进度;当状态变为“运行中”后,单击服务名称,进入详情页面,如下图所示。在“预测”页签上传文件进行测试,如下图所示。 7 提交模型判分模型部署测试后,您可以将模型提交判分,具体操作如下。注意:由于每支队伍每天有提交次数限制,为避免浪费提交次数,请在模型提交前务必要部署测试模型,确认模型无误后再提交判分。步骤一:在ModelArts上提交模型在ModelArts左侧导航栏中选择“AI应用管理”,单击模型名称前方箭头;然后单击页面右侧操作栏中的“发布”,单击“参赛发布”。步骤二:在竞赛平台上查看分数在大赛平台上“提交作品”页签中查看判分分数。其中“提交作品”页面需报名比赛后才会显示。 8 释放资源1.使用完ModelArts相关计算资源后,请务必及时释放资源,否则会造成资源浪费甚至账号欠费。ModelArts以下模块会涉及云资源的消耗并会按需或按周期产生费用:自动学习训练和部署,Notebook实例,训练作业,TensorBoard,在线服务。使用完需要“停止”自动学习部署、Notebook、TensorBoard、在线服务。停止所有需消耗云资源的作业后,可在ModelArts总览页面确认所有计费项都为“0”。ModelArts详细计费说明可参见:https://support.huaweicloud.com/productdesc-modelarts/modelarts_01_0021.html公有云的按需使用是采用后付费模式,即先使用再付费,一个小时会出一次话单,比如:2019.6.24 04:00~05:00这段时间使用的费用,在05:00时刻采集完成后,才会出话单,进行扣费。2.删除OBS桶中所有的文件夹OBS存储会消耗资源,产生费用点击此处,先删除OBS桶中所有文件夹再删除所有OBS桶
hellohelloya
发表于2022-04-13 14:56:03
2022-04-13 14:56:03
最后回复
hellohelloya
2022-04-13 14:56:03
1125 0 -
ModelArts 是面向开发者的一站式 AI 平台,为机器学习与深度学习提供海量数据预处理及交互式智能标注、大规模分布式训练、自动化模型生成,及端-边-云模型按需部署能力,帮助用户快速创建和部署模型,管理全周期 AI 工作流。按需/包周期付费可选,最低¥0.00/小时ModelArts集成了基于开源的Jupyter Notebook,为您提供在线的交互式开发调试工具。您无需关注安装配置,在ModelArts管理控制台直接使用Notebook,编写和调测模型训练代码,然后基于该代码进行模型的训练。具体流程如下:第1步:登录华为云,打开ModelArts管理控制台如果您还没有华为云账号,请单击此链接注册华为云账号。注册完成后,请完成账号登录。如果您已经申请了华为云账号,请单击此链接登录华为云。登录华为云后,访问ModelArts官网,然后单击“进入控制台”打开ModelArts管理控制台。第2步:获取密钥,完成ModelArts全局配置请参考ModelArts文档中的操作指导,前往“我的凭证”页面,单击“新增访问密钥”,获取密钥文件(即您的AK、SK)。然后进入ModelArts管理控制台,在“全局配置”中,单击“添加访问密钥”,完成AK、SK的认证。访问密钥文件,是csv格式的文件,携带了账号名、AK和SK的信息。请使用默认浏览器下载本地,且使用操作系统自带的文本编辑器打开,获取相应的AK、SK参数值。访问密钥文件在以后的使用过程中仍会使用,比如使用OBS Browser时,请务必妥善保管此csv文件。如果出现丢失,需重新新建访问密钥,并重新进行ModelArts全局配置。打开ModelArts控制台,进入全局配置即可完成密钥授权第3步:创建Notebook在ModelArts管理控制台,在左侧导航栏中选择“开发环境 > Notebook”。单击“创建”,进入创建Notebook页面。想要创建一个Notebook,需选择相应的规格。(目前由于平台调整,免费规格已经下架,可以使用0.8一小时的配置进行创建)如下图所示,选择CPU类型,然后在规格参数中选择“2核4G ”描述的规格。请仔细阅读提示说明,然后“勾选我已阅读并同意以上内容”。根据界面提示或者创建并打开Notebook操作指导填写其他参数。这里有notebook新旧版之分,建议目前可以直接体验新版的NoteBook,直接点击创建即可参数填写完成后,单击“下一步”。然后根据界面提示,逐步完成Notebook实例创建。注意:创建和使用Notebook需要消耗资源,需要收费。根据您选择的资源不同,收费标准不同,针对不同类型资源的价格,详情请参见产品价格详情。“运行中”的Notebook将一直收费,当您不需要使用时,建议停止Notebook,避免产生不必要的费用。在创建Notebook时,也可以选择开启自动停止功能,在指定时间内停止运行Notebook,避免产生不必要的费用。只有处于“运行中”状态的Notebook,才可以执行打开操作。第4步启动notebook当状态变更为“运行中”时,单击操作列的打开,进入“Jupyter”页面。在“Jupyter”页面中,单击右侧“New > ”“PyTorch-1.4”,创建一个开发环境。选择此类型的开发环境,是用于运行后面的示例代码,您也可以根据实际业务情况,选择不同类型的引擎创建开发环境。然后可以简单的测试一下开发环境准备好啦,接下来可以愉快地写代码啦!打开ModelArts_Lab工程中的猫狗识别样例,从“升级依赖”步骤开始运行样例代码,参考样例代码的注释,了解每一段代码的含义,并拷贝对应代码至Notebook中,同时单击运行,查看运行结果是否与样例说明一致。例如:升级依赖!pip install --upgrade keras_applications==1.0.6 keras==2.2.4后面步骤按照教程里的一步步运行,最后使用Keras搭建了一个VGG16神经网络,并使用猫狗数据集训练了一个猫狗识别模型,能进行简单的预测。友情提示完成实验后,可以停止notebook,否则会继续扣费。notebook停止后,不会删除ipynb文件,notebook重新启动后,ipynb文件仍然存在。
-
沙箱实验室简介华为云服务的操作体验,使用虚拟华为云账号,根据详细的实验手册,一步步指导操作,模拟真实场景,完善的虚拟环境配置搭建,可随时随地通过浏览器进入虚拟环境操作实验。实验室地址:https://lab.huaweicloud.com/?ticket=ST-838552-0GWxPCDy1PnMndcVTf64YBdU-sso下面进入使用ModelArts实现花卉图像分类的实验室。使用ModelArts实现花卉图像分类在线实验网址:https://lab.huaweicloud.com/testdetail_287?ticket=ST-881199-Kvqdg9ZIKRnRQgGGDAmTW2nK-sso进入之后点击开始实验。打开Chrome浏览器,自动登录并进入华为云控制台页面。实验拓扑。准备数据创建对象存储 OBS创建完成回到对象存储服务列表,点击刚刚创建的OBS桶名称进入详情页,选择左侧“对象”->“新建文件夹”(存放后续步骤的数据文件),名称任意(请记住此名称以备后续相关步骤使用),点击“确定”,如下图:创建 NoteBook 复制数据在服务列表中找到并进入人工智能服务ModelArts,然后点击ModelArts页面中左侧的【开发环境】选项一点击【notebook]进入notebook页面。点击【创建】按钮进入创建页面,并按照左边的操作提示进行参数配置进入创建页面,参数要求:① 名称:任意,如flowers-notebook② 自动停止:2小时后③ 镜像:公共镜像:在第二页选择tensorflow1.13-cuda10.0-cudnn7-ubuntu18.0.4-GPU算法开发和训练基础镜像,预置AI引擎Tensorflow1.13.1④ 资源池:公共资源池⑤ 类型:GPU⑥ 规格:8核64GB⑦ 储存配置:云硬盘(5GB)其它参数默认,点击“立即创建”->“提交”创建成功,返回NoteBook列表,等待状态变为“运行中”【约等待3分钟】,点击“打开”进入NoteBook详情页。在页面中选择“TensorFlow-1.13.1”,如下图所示:进入Python命令输入界面,输入如下命令后,点击“Run”:复制如下命令,粘贴至Python命令输入第二行(命令需修改后执行):修改说明:将代码中的“your_bucket_name”替换为创建的OBS桶名称;将代码中的“your_folder_name”替换为OBS桶中创建的文件夹名称。点击“服务列表”-> 选择“存储”的“对象存储服务”,点击桶名,点击文件夹可以查看复制的文件,即训练所需的数据集。训练模型按照实验室左侧的操作前提分别进行下面两个操作:创建训练作业回到ModelArts界面,进入左侧导航栏的【AI Gallery】在【AI Gallery】页面点击顶部【算法】进入算法页面,选择算法【图像分类-ResNet_v1_50】(也可在谷歌浏览器新建1个新页签,输入链接【https://marketplace.huaweicloud.com/markets/aihub/modelhub/detail/?id=40b66195-5bbe-463d-b8a2-03e57073538d】进入)点击“订阅”,如果显示“已订阅”则无需操作,如下图所示:点击“前往控制台”,选择“华北-北京四”区域。接下来回到在ModelArts主界面,在【训练管理】选择训练作业,点击【创建】算法管理选择。选择10.0.0 版本。数据来源选择,选择之前在 OBS 里面创建的文件夹。模型输出选择,在之前创建的 OBS 里面新建一个空文件夹作为模型输出文件夹。整体的参数选择。通过可视化作业查看模型训练信息在模型训练的过程完成后,通过创建可视化作业查看一些参数的统计信息,如loss, accuracy等。操作如下:① 在“训练作业”界面,点击“可视化作业”,再点击“创建”按钮;② 参数“名称”,可随意填写;③ 规格:默认;④ “训练输出位置”选择2.2步骤中的训练输出位置;⑤ “自动停止”不设置(关闭)。点击“下一步”确认规格无误后点击“提交”完成此步。此步骤创建时间较长【约等待5分钟】,建议直接继续下一步实验,无需等待。模型部署按照实验室左侧的操作前提分别进行下面两个操作:导入模型部署在线服务(这一步和左边操作里面的提示不太一致,可以按照下面图片里面的步骤进行部署)发起预测点击刚刚部著上线(已完成部署)的在线服务名称,进入服务详情,点击“预测”标签,在此可进行在线预测,如下图所示。操作:选择预测图片文件,点击左侧“上传”选择pic文件夹内的图片资源,点击“预测”完成操作。说明:测试图片存放于桌面pic文件夹内。尝试更多图片预测,可点击桌面sunflower.sh脚本进行快捷搜索。下面进行了五种花卉的预测并给出预测结果{ "predicted_label": "daisy", "scores": [["daisy", "0.766"], ["sunflowers", "0.232"], ["dandelion", "0.002"], ["roses", "0.000"], ["tulips", "0.000"]] }{ "predicted_label": "roses", "scores": [["roses", "0.999"], ["daisy", "0.000"], ["dandelion", "0.000"], ["sunflowers", "0.000"], ["tulips", "0.000"]] }{ "predicted_label": "tulips", "scores": [["tulips", "0.997"], ["daisy", "0.003"], ["dandelion", "0.000"], ["roses", "0.000"], ["sunflowers", "0.000"]] }{ { "predicted_label": "sunflowers", "scores": [["sunflowers", "1.000"], ["daisy", "0.000"], ["dandelion", "0.000"], ["roses", "0.000"], ["tulips", "0.000"]] }{ "predicted_label": "dandelion", "scores": [["dandelion", "1.000"], ["daisy", "0.000"], ["roses", "0.000"], ["sunflowers", "0.000"], ["tulips", "0.000"]] } }体验感受和建议实验的体验还是很好的,基本上按照步骤一直操作下去。不过60分钟的实验时间,感觉没有过瘾,希望可以延长一点时间。
-
AI市场原版YOLOv3实现人车检测--ModelArts与Atlas 200 DK的端云协同看图学NumPy:掌握n维数组基础知识点,看这一篇就够了【手摸手学ModelArts】一键抠图,轻松上手!【手摸手学ModelArts】Copy攻城狮信手”粘“来 AI 对对联手把手教您体验ModelArts NotebookModelArts自动学习实现北京冬奥会与残奥会吉祥物识别基于华为云智能问答机器人的AI诗歌生成保姆级视频教学-[联动]"蚂蚁牙黑"学习记录&实操练习 【基于ModelArts】带你零代码开发检测口罩是否佩戴的模型用ModelArts轻松玩转Python正则表达式和魔法方法
-
为帮助用户快速上手,我们为部分常见使用场景(美食分类、垃圾分类、口罩检测、安全帽检测、长度检测等)提供了参考模型,相关模型只需要进行订阅等简单操作即可快速部署。 ModelArts 支持将模型部署为在线服务、边缘服务、批量服务 。名称简介入口【数据】Dataset-car-and-person-500已标注的街道场景中的车辆和路人数据集,目标检测,500张前往>>【数据】红绿灯、斑马线、限速、解限速数据集无人车挑战杯大赛训练集前往>>【数据】自动驾驶文本分类数据集--外卖评论外卖评论数据集,含约4000条正向评论、8000条负向评论前往>>【代码】意大利VS英格兰基于历史胜负关系等因素,对比赛进行胜负判断前往>>【代码】让照片人物动起来蒙娜丽莎,居然开口唱歌了?前往>>【代码】CNN Group InterpretationA novel deep learning model interpretation algorithm前往>>【算法】强化学习预置算法DQN, PPO, A2C, IMPALA以及APEX前往>>【算法】推荐搜索(点击率预估)-DeepFM-GPU为自研 Wide & Deep 推荐模型前往>>【算法】推荐搜索-CTR常用算法包含FM,DeepFM,DCN,Wide & Deep前往>>【算法】防疫口罩佩戴及跌倒检测基于Faster-R-CNN-resnet50的目标检测模型前往>>【算法】基于图像的花卉种类识别即便是植物学家, 分辨一种他不熟悉的花卉品种也极具挑战前往>>【算法】图像分割-Fast-SCNN提供训练代码和可用于训练的模型,用于实际场景的微调训练前往>>【算法】Aster(文字识别/PyTorch)该算法需要使用SynthText和MJSynth数据集进行训练前往>>【模型】自动驾驶理解路况、环境及对车辆运行进行决策前往>>【模型】图像分类(西安人工智能大赛冠军获奖模型)对西安景点、美食、民俗、特产、工艺品等5个大类、57个子类别图像数据进行分类前往>>【模型】声音分类基于TensorFlow, Ascend910训练, 支持CPU和GPU推理前往>>
-
体验形式:请各位体验官按照体验任务的要求操作和体验产品,最后按要求输出体验问卷。我们会从中筛选出高质量问卷,给予礼品奖励和积分奖励。产品简介:ModelArts 是面向开发者的一站式 AI 平台,为机器学习与深度学习提供海量数据预处理及交互式智能标注、大规模分布式训练、自动化模型生成,及端-边-云模型按需部署能力,帮助用户快速创建和部署模型,管理全周期 AI 工作流。 体验流程:本次体验涉及代金券,请勿直接操作,以免造成欠费。1.请先申请成为体验官:点击链接申请成为体验官2.报名体验:点击报名3.体验任务:点击开始体验4.完成体验问卷:点击填写问卷活动时间:3月18日-4月4日活动流程:1.如您已经成为产品体验官,小助手会在群内发布招募公告,直接报名即可。2.如您还未申请成为体验官,请点击链接先申请成为体验官,再参与活动哦~申请链接:https://developer.huaweicloud.com/activity/experience-officer.html ☆奖品设置如下☆参与奖:若干名活动要求:按照要求完成任务卡奖品:文件收纳包1个+3体验官积分 优秀奖:若干名活动要求:被专家评为优秀报告奖品:雷柏V500机械键盘1个+5体验官积分
-
【功能模块】用ModelArts尝试自定义算法(Tensorflow2.0)实现花卉分类,按着这个使用自定义算法构建模型(手写数字识别)_AI开发平台ModelArts_最佳实践_模型开发(自定义算法-新版训练)_华为云 (huaweicloud.com)数字识别的教程做,前面的训练、部署都没有问题,选个图片进行在线预测报“预测失败”,看日志如下。请高人指点!【日志信息】(可选,上传日志内容或者附件)2022-03-09 12:13:54 UTC [MainThread ] - /home/mind/model_service/tfserving_backend.py[line:95] - INFO: failed to check tensorflow_model_server listen port, wait next poll []2022-03-09 12:13:54 UTC [MainThread ] - /home/mind/model_service/tfserving_backend.py[line:95] - INFO: failed to check tensorflow_model_server listen port, wait next poll []2022-03-09 12:13:55 UTC [MainThread ] - /home/mind/model_service/tfserving_backend.py[line:95] - INFO: failed to check tensorflow_model_server listen port, wait next poll []2022-03-09 12:13:55 UTC [MainThread ] - /home/mind/model_service/tfserving_backend.py[line:95] - INFO: failed to check tensorflow_model_server listen port, wait next poll []2022-03-09 12:13:56 UTC [MainThread ] - /home/mind/model_service/tfserving_backend.py[line:95] - INFO: failed to check tensorflow_model_server listen port, wait next poll []2022-03-09 12:13:56 UTC [MainThread ] - /home/mind/model_service/tfserving_backend.py[line:95] - INFO: failed to check tensorflow_model_server listen port, wait next poll []2022-03-09 12:13:57 UTC [MainThread ] - /home/mind/model_service/tfserving_backend.py[line:95] - INFO: failed to check tensorflow_model_server listen port, wait next poll [][2022-03-09 12:13:57 +0000] [47] [CRITICAL] WORKER TIMEOUT (pid:188)[2022-03-09 12:13:57 +0000] [188] [INFO] Worker exiting (pid: 188)2022-03-09 12:13:57 UTC [MainThread ] - /home/mind/model_service/tfserving_model_service.py[line:62] - INFO: destroy model service serve []Exception ignored in: >Traceback (most recent call last):File "/home/mind/model_service/tfserving_model_service.py", line 63, in __del__self.tfserving_backend.unload(self.model)AttributeError: 'TFServingBackend' object has no attribute 'unload'[2022-03-09 12:13:58 +0000] [257] [INFO] Booting worker with pid: 2572022-03-09 12:14:01.881661: I tensorflow_serving/util/retrier.cc:33] Retrying of Loading servable: {name: serve version: 1} retry: 42022-03-09 12:14:01.884116: I external/org_tensorflow/tensorflow/contrib/session_bundle/bundle_shim.cc:360] Attempting to load native SavedModelBundle in bundle-shim from: /home/mind/model/12022-03-09 12:14:01.884320: I external/org_tensorflow/tensorflow/cc/saved_model/loader.cc:242] Loading SavedModel with tags: { serve }; from: /home/mind/model/12022-03-09 12:14:01.896173: I external/org_tensorflow/tensorflow/cc/saved_model/loader.cc:291] SavedModel load for tags { serve }; Status: fail. Took 11821 microseconds.2022-03-09 12:14:01.896328: E tensorflow_serving/util/retrier.cc:37] Loading servable: {name: serve version: 1} failed: Not found: Op type not registered 'StatefulPartitionedCall' in binary running on bc7f3a04-573a-4f81-9f11-14ee064a6ebf-16468276610-558bb55865dzfx. Make sure the Op and Kernel are registered in the binary running in this process.2022-03-09 12:14:02.328596: I tensorflow_serving/util/retrier.cc:33] Retrying of Loading servable: {name: serve version: 1} retry: 22022-03-09 12:14:02.332407: I external/org_tensorflow/tensorflow/cc/saved_model/loader.cc:242] Loading SavedModel with tags: { serve }; from: /home/mind/model/12022-03-09 12:14:02 UTC [MainThread ] - /home/mind/app.py[line:134] - INFO: args: Namespace(model_name='serve', model_path='/home/mind/model/1', service_file='/home/mind/model/1/customize_service.py', tf_server_name='127.0.0.1') []2022-03-09 12:14:02 UTC [Thread-1 ] - /home/mind/model_service/model_def.py[line:30] - INFO: signature name: __saved_model_init_op []2022-03-09 12:14:02 UTC [Thread-1 ] - /home/mind/model_service/model_def.py[line:30] - INFO: signature name: serving_default []2022-03-09 12:14:02 UTC [Thread-1 ] - /home/mind/model_service/model_def.py[line:37] - WARNING: signatures more than one, use serving_default signature []2022-03-09 12:14:02 UTC [Thread-1 ] - /home/mind/model_service/model_def.py[line:39] - INFO: model signature: serving_default []2022-03-09 12:14:02 UTC [Thread-1 ] - /home/mind/model_service/model_def.py[line:49] - INFO: model inputs: {'input_1': tf.float32} []2022-03-09 12:14:02 UTC [Thread-1 ] - /home/mind/model_service/model_def.py[line:59] - INFO: model outputs: {'output_1': tf.float32} []2022-03-09 12:14:02 UTC [MainThread ] - /home/mind/model_service/tfserving_backend.py[line:95] - INFO: failed to check tensorflow_model_server listen port, wait next poll []
上滑加载中
推荐直播
-
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家;李炎-华为云码道产品专家;彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战,从0到1打通消息通道;码道鸿蒙端云一体化实战,快速搭建员工签到系统。
回顾中 -
华为云开发者AI素养直播课·第五期2026/09/04 周五 16:00-18:00
林华鼎-华为云AI开发者运营负责人;蒋春阳-华为云AI开发者案例开发专家
本期直播内容: AI工具体验营 · 第5-8课连讲。Agent-Team 多智能体协作完成毕业设计实践
回顾中 -
华为云开发者AI素养ClassRoom·第六期2026/09/08 周二 19:00-20:00
樊渊-2026华为软件挑战赛冠军
高手来了:看软挑高手解析二维排样问题—从工业难题到算法突破
回顾中
热门标签