• [认证交流] 华为云人工智能入门级开发者认证 - HCCDA-AI 第④章 ModelArts服务介绍-知识传递
    获取您的EI红宝书:https://www.huaweicloud.com/ei/                     华为云EI服务介绍:华为云人工智能入门级开发者认证 - 第④章 ModelArts服务介绍 (qq.com)ModelArts是面向AI开发者的一站式开发平台,提供海量数据预处理及半自动化标注、大规模分布式训练、自动化模型生成及端-边-云模型按需部署能力,帮助用户快速创建和部署模型,管理全周期AI工作流面向不同经验的AI开发者面向业务开发者,不需关注模型或编码,可使用自动学习流程快速构建AI应用;面向AI初学者,不需关注模型开发,使用预置算法构建AI应用;面向AI工程师,提供多种开发环境,多种操作流程和模式,方便开发者编码扩展,快速构建模型及应用“一站式”是指AI开发的各个环节自动学习数据管理开发环境训练平台推理平台AI Gallery                                            云与数据- HCCDA-AI合集:https://mp.weixin.qq.com/mp/appmsgalbum?__biz=Mzg5Mjc4NjE1Nw==&action=getalbum&album_id=2398219468813811715&scene=173&from_msgid=2247483927&from_itemidx=1&count=3&nolastread=1#wechat_redirect**
  • [AI类] 【ModelArts产品】【AI应用】YOLO V5多模型载入
    【功能模块】ModelArts产品AI应用服务ID 7bb213cc-d27c-4f25-88db-d15b7a79fd66【操作步骤&问题现象】1、原yolov5 提供了模型集成,但在obs中上传两个模型文件(.pt)后推理错误。模型(pt)的读入是不公开的,无法修改推理文件完成Ensemble Inference。2、官方要求的文件路径如下OBS桶/目录名 |── resnet | ├── model 必选: 固定子目录名称,用于放置模型相关文件 | │ ├── <<自定义Python包>> 可选:用户自有的Python包,在模型推理代码中可以直接引用 | │ ├── resnet50.pth 必选,pytorch模型保存文件,保存为“state_dict”,存有权重变量等信息。 | │ ├──config.json 必选:模型配置文件,文件名称固定为config.json, 只允许放置一个 | │ ├──customize_service.py 必选:模型推理代码,文件名称固定为customize_service.py, 只允许放置一个,customize_service.py依赖的文件可以直接放model目录下3、我的OBS【日志信息】(可选,上传日志内容或者附件)
  • [其他] ModelArts的模型训练基本功能
    模型训练中除了数据和算法外,开发者花了大量时间在模型参数设计上。模型训练的参数直接影响模型的精度以及模型收敛时间,参数的选择极大依赖于开发者的经验,参数选择不当会导致模型精度无法达到预期结果,或者模型训练时间大大增加。为了降低开发者的专业要求,提升开发者模型训练的开发效率及训练性能,ModelArts提供了可视化作业管理、资源管理、版本管理等功能,基于机器学习算法及强化学习的模型训练自动超参调优,如learning rate、batch size等自动的调参策略;预置和调优常用模型,简化模型开发和全流程训练管理。当前大多数开发者开发模型时,为了满足精度需求,模型往往达到几十层,甚至上百层,参数规模达到百兆甚至在GB规格以上,导致对计算资源的规格要求极高,主要体现在对硬件资源的算力及内存、ROM的规格的需求上。端侧资源规格限制极为严格,以端侧智能摄像头为例,通常端侧算力在1TFLOPS,内存在2GB规格左右,ROM空间在2GB左右,需要将端侧模型大小控制在百KB级别,推理时延控制在百毫秒级别。这就需要借助模型精度无损或微损下的压缩技术,如通过剪枝、量化、知识蒸馏等技术,实现模型的自动压缩及调优,进行模型压缩和重新训练的自动迭代,以保证模型的精度损失极小。无需重新训练的低比特量化技术实现模型从高精度浮点向定点运算转换,多种压缩技术和调优技术实现模型计算量满足端、边小硬件资源下的轻量化需求,模型压缩技术在特定领域场景下实现精度损失<1%。当训练数据量很大时,深度学习模型的训练将会非常耗时。在计算机视觉中,ImageNet-1k(包含 1000 个类别的图像分类数据集,以下简称 ImageNet)是经典、常用的一个数据集,如果我们在该数据集上用一块P100 GPU训练一个ResNet-50模型,则需要耗时将近1周,严重阻碍了深度学习应用的开发进度。因此,深度学习训练加速一直是学术界和工业界所关注的重要问题。分布式训练加速需要从软硬件两方面协同来考虑,仅单一的调优手段无法达到期望的加速效果。所以分布式加速的调优是一个系统工程,需要从硬件角度(芯片、硬件设计)考虑分布式训练架构,如系统的整体计算规格、网络带宽、高速缓存、功耗、散热等因素,充分考虑计算和通信的吞吐量关系,以实现计算和通信时延的隐藏。软件设计需要结合高性能硬件特性,充分利用硬件高速网络实现高带宽分布式通信,实现高效的数据集本地数据缓存技术,通过训练调优算法,如混合并行,梯度压缩、卷积加速等技术,实现分布式训练系统软硬件端到端的高效协同优化,实现多机多卡分布式环境下训练加速。ModelArts 在千级别资源规格多机多卡分布式环境下,典型模型 ResNet50 在 ImageNet 数据集上实现加速比>0.8,是行业领先水平。衡量分布式深度学习的加速性能时,主要有如下2个重要指标:吞吐量,即单位时间内处理的数据量。收敛时间,即达到一定的收敛精度所需的时间。吞吐量一般取决于服务器硬件(如更多、更大FLOPS处理能力的AI加速芯片,更大的通信带宽等)、数据读取和缓存、数据预处理、模型计算(如卷积算法选择等)、通信拓扑等方面的优化。除了低bit计算和梯度(或参数)压缩等,大部分技术在提升吞吐量的同时,不会造成对模型精度的影响。为了达到最短的收敛时间,需要在优化吞吐量的同时,对调参方面也做调优。调参不到位会导致吞吐量难以优化,当batch size超参不足够大时,模型训练的并行度就会相对较差,吞吐量难以通过增加计算节点个数而提升。对用户而言,最终关心的指标是收敛时间,因此ModelArts的MoXing实现了全栈优化,极大缩短了训练收敛时间。在数据读取和预处理方面,MoXing通过利用多级并发输入流水线使得数据 IO 不会成为瓶颈;在模型计算方面,MoXing对上层模型提供半精度和单精度组成的混合精度计算,通过自适应的尺度缩放减小由于精度计算带来的损失;在超参调优方面,采用动态超参策略(如 momentum、batch size等)使得模型收敛所需epoch个数降到最低;在底层优化方面,MoXing与底层华为服务器和通信计算库相结合,使得分布式加速进一步提升。
  • [其他] ModelArts是什么,有什么功能
    ModelArts是面向AI开发者的一站式开发平台,提供海量数据预处理及半自动化标注、大规模分布式训练、自动化模型生成及端-边-云模型按需部署能力,帮助用户快速创建和部署模型,管理全周期AI工作流。“一站式”是指AI开发的各个环节,包括数据处理、算法开发、模型训练、模型部署都可以在ModelArts上完成。从技术上看,ModelArts底层支持各种异构计算资源,开发者可以根据需要灵活选择使用,而不需要关心底层的技术。同时,ModelArts支持Tensorflow、PyTorch、MindSpore等主流开源的AI开发框架,也支持开发者使用自研的算法框架,匹配您的使用习惯。ModelArts的理念就是让AI开发变得更简单、更方便。面向不同经验的AI开发者,提供便捷易用的使用流程。例如,面向业务开发者,不需关注模型或编码,可使用自动学习流程快速构建AI应用;面向AI初学者,不需关注模型开发,使用预置算法构建AI应用;面向AI工程师,提供多种开发环境,多种操作流程和模式,方便开发者编码扩展,快速构建模型及应用。产品架构ModelArts是一个一站式的开发平台,能够支撑开发者从数据到AI应用的全流程开发过程。包含数据处理、模型训练、模型管理、模型部署等操作,并且提供AI Gallery功能,能够在市场内与其他开发者分享模型。ModelArts支持应用到图像分类、物体检测、视频分析、语音识别、产品推荐、异常检测等多种AI应用场景。ModelArts特色功能数据治理支持数据筛选、标注等数据处理,提供数据集版本管理,特别是深度学习的大数据集,让训练结果可重现。极“快”致“简”模型训练自研的MoXing深度学习框架,更高效更易用,大大提升训练速度。云边端多场景部署支持模型部署到多种生产环境,可部署为云端在线推理和批量推理,也可以直接部署到端和边。自动学习支持多种自动学习能力,通过“自动学习”训练模型,用户不需编写代码即可完成自动建模、一键部署。AI Gallery预置常用算法和常用数据集,支持模型在企业内部共享或者公开共享。
  • [其他] ModelArts智能标注之难例确认
    在数据量很大的标注任务中,标注初期由于已标注图片不足,智能标注的结果无法直接用于训练。若对所有的未标注数据一一进行调整确认仍然需要较大的人力和时间成本。为了更快地完成标注任务,在对未标注数据进行智能标注的任务中,Modelarts嵌入了自动难例发现功能。该功能会对剩余未标注图片的标注优先级给出建议。因为标注优先级高的图片的智能标注结果未达到预期,所以称之为难例。ModelArts平台提供的自动难例发现功能,在智能标注以及数据采集筛选过程中,将自动标注出难例,建议对难例数据进一步确认标注,然后将其加入训练数据集中,使用此数据集训练模型,可得到精度更高的模型。首先,针对智能标注和采集筛选任务,难例的发现操作是系统自动执行的,无需人工介入,仅需针对标注后的数据进行确认和修改即可,提升数据管理和标注效率。其次,您可以基于难例的情况,补充类似数据,提升数据集的丰富性,进一步提升模型训练的精度。在数据集管理中,对难例的管理有如下场景。智能标注后,确认难例将数据集中的数据标注为难例目前只有“图像分类”和“物体检测”类型的数据集支持难例发现功能。智能标注后,确认难例“智能标注”任务执行过程中,ModelArts将自动识别难例,并完成标注。当智能标注结束后,难例标注结果将呈现在“待确认”页签,建议您对难例数据进行人工修正,然后确认标注。登录ModelArts管理控制台,在左侧菜单栏中选择“数据管理>数据标注”,进入“数据标注”管理页面。在标注作业列表中,选择“物体检测”或“图像分类”类型的标注作业,单击标注作业名称进入“标注作业详情”。在“标注作业详情页”,选择“标注>待确认”页签,查看并确认难例。只有当智能标注任务完成后,待确认页签才会显示标注数据。否则,此页签内容为空。针对“物体检测”标注作业在“待确认”页签中,单击图片展开标注详情,查看图片数据的标注情况,如标签是否准确、目标框位置添加是否准确。如果智能标注结果不准确,建议手工调整标签或目标框,然后单击“确认标注”。完成确认后,重新标注的数据将呈现在“已标注”页签下。如图1所示的难例,dog标签的目标框位置不准确,使用标注框重新标注,如图中的“漏检”目标框,然后需要将原先标注错误的目标框删除,即“误检”标签框。手工调整后,单击“确认标注”完成难例确认。图1 物体检测的难例确认针对“图像分类”标注作业在“待确认”页签中,查看标注难例的图片,其添加的标签是否准确。勾选标注不准确的图片,删除错误标签,然后在右侧“标签名”处添加准确标签。单击“确认”,勾选的图片及其标注情况,将呈现在“已标注”页签下。如图2所示,选中的图片为标注错误图片,在右侧删除错误标签,然后在标签名处添加“狗”的标签,然后单击“确认”,完成难例确认。将数据集中的数据标注为难例针对标注作业中,已标注或未标注数据,也可以将图片数据标注为难例。标注为难例的数据,对后续模型训练中,通过内置规则提升模型精度。登录ModelArts管理控制台,在左侧菜单栏中选择“数据管理>数据标注”,进入“数据标注”管理页面。在标注作业列表中,选择“物体检测”或“图像分类”类型的标注作业,单击数据集名称进入“标注作业详情页”。在标注作业详情页,选择“标注”页签”,单击“已标注”、“未标注”或“全部”页签,勾选需标注为难例的图片,然后单击“难例批处理 > 确认为难例”。完成标注后,图片预览时,其右上角将显示为“难例”。
  • [其他] ModelArts Notebook亮点
    亮点特性1:远程开发 - 支持本地IDE远程访问Notebook新版Notebook提供了远程开发功能,通过开启SSH连接,用户本地IDE可以远程连接到ModelArts的Notebook开发环境中,调试和运行代码。对于使用本地IDE的开发者,由于本地资源限制,运行和调试环境大多使用团队公共搭建的CPU或GPU服务器,并且是多人共用,这带来一定的环境搭建和维护成本。而ModelArts的Notebook的优势是即开即用,它预先装好了不同的AI引擎,并且提供了非常多的可选规格,用户可以独占一个容器环境,不受其他人的干扰。只需简单配置,用户即可通过本地IDE连接到该环境进行运行和调试。图1 本地IDE远程访问Notebook开发环境ModelArts的Notebook可以视作是本地PC的延伸,均视作本地开发环境,其读取数据、训练、保存文件等操作与常规的本地训练一致。对于习惯使用本地IDE的开发者,使用远程开发方式,不影响用户的编码习惯,并且可以方便快捷的使用云上的Notebook开发环境。本地IDE当前支持VSCode、PyCharm、SSH工具。还有专门的插件PyCharm Toolkit和VSCode Toolkit,方便将云上资源作为本地的一个扩展。亮点特性2:预置镜像 - 即开即用,优化配置,支持主流AI引擎每个镜像预置的AI引擎和版本是固定的,在创建Notebook实例时明确AI引擎和版本,包括适配的芯片。亮点特性3:提供在线的交互式开发调试工具JupyterLabModelArts集成了基于开源的JupyterLab,可为您提供在线的交互式开发调试。您无需关注安装配置,在ModelArts管理控制台直接使用Notebook,编写和调测模型训练代码,然后基于该代码进行模型的训练。JupyterLab是一个交互式的开发环境,是Jupyter Notebook的下一代产品,可以使用它编写Notebook、操作终端、编辑MarkDown文本、打开交互模式、查看csv文件及图片等功能。
  • [认证交流] 华为云人工智能入门级开发者认证 - HCCDA-AI 第3章华为云EI-API服务介绍-知识传递
    获取您的EI红宝书:https://www.huaweicloud.com/ei/                     华为云EI服务介绍:https://mp.weixin.qq.com/s/f1McTHORZ3OHLSGJHGrc-Q            01 图像识别API服务介绍  https://mp.weixin.qq.com/s/OdfsOTDkBpwLucHhipaXlg            02 图像搜索API服务介绍  https://mp.weixin.qq.com/s/wkelUMwPi7yrgEQfASgODQ            03 内容审核API服务介绍  https://mp.weixin.qq.com/s/HC_aZCfIIF1Ke8ofsUeijw            04 文字识别API服务介绍  https://mp.weixin.qq.com/s/1y6pG2LM83cs4OexHLTBjw            05 自然语言处理API服务介绍  https://mp.weixin.qq.com/s/C196lNKhiA4oeaelvh92hQ            06 语音交互API服务介绍  https://mp.weixin.qq.com/s/QeJ2e7XN9E-Rw3lFSKeA4Q                                            云与数据- HCCDA-AI合集:https://mp.weixin.qq.com/mp/appmsgalbum?__biz=Mzg5Mjc4NjE1Nw==&action=getalbum&album_id=2398219468813811715&scene=173&from_msgid=2247483927&from_itemidx=1&count=3&nolastread=1#wechat_redirect**
  • [认证交流] 华为云人工智能入门级开发者认证 - HCCDA-AI 第2章 人工智能应用集成分析-知识传递
    ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/14/1652462002460141317.png) 获取您的EI红宝书:https://www.huaweicloud.com/ei/ # 1.1 AI技术发展现状及技术挑战 ## 1.1.1 计算机视觉发展现状及技术挑战 ### 是什么? https://www.huaweicloud.com/product/image.html 计算机视觉是使计算机能理解采集设备采集的图像视频的一门学科。形象地说,就是给计算机安装上眼睛(照相机)和大脑(算法),让计算机能够感知环境。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/14/1652461416874478021.png) 如上图所示,真实的世界通过人眼成像,再传递给大脑进行理解,达到理解图像的目的;在机器视觉中,采集设备作为传感装置采集图像,将图像传递给计算机解读,最终达到计算机像人一样“读懂”图片的目的。 ### 能干什么? ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/14/1652461565072415693.png) ### 有什么? ##### ① 视觉任务划分 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/14/1652461621537644789.png) 中级视觉的物体检测包含2个任务:物体定位和分类 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/14/1652461822933594109.png) 有时我们也会说计算机视觉有四大类任务:分类、定位、检测、分割。 ##### ② 视觉的三个层次 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/14/1652461688891753994.png) 底层一般是像素级处理,比如亮度增强、直方图、直方图均化等; 中层即从中分析一些边缘、朝向、纹理等这些特征,可以对图片进行一个分割; 高层需要我们从中得到一些语义信息,比如图片中间是老虎,下边是沙滩,绿色的是草地,这可能是一个野外场景 ### 面临的挑战? ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/14/1652461373371901001.png) ## 1.1.2 自然语言处理发展现状及技术挑战 ### 是什么? https://www.huaweicloud.com/product/nlpf.html 自然语言处理的处理主要包括两个部分:自然语言理解、自然语言生成 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/14/1652461221554996108.png) ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/14/1652461261899121273.png) 自然语言理解(Natural Language Understanding,NLU) 使计算机理解自然语言(人类语言文字)等,重在理解。具体来说,就是理解语言、文本等,提取出有用的信息,用于下游的任务。如情感识别、意图识别、信息检索(包括个性化搜索和语义搜索,文本匹配等)、信息抽取(命名实体提取、关系抽取、事件抽取等)。 自然语言生成(Natural Language Generation, NLG) 提供结构化的数据、文本、图表、音频、视频等,生成人类可以理解的自然语言形式的文本。NLG又可以分为三大类,文本到文本(text-to-text),如翻译、摘要等;文本到其他(text-to-other),如文本生成图片;其他到文本(other-to-text),如视频生成文本。 ### 能干什么? 例: 智能问答 舆情分析 文本分类 实体抽取 摘要生成 AI写诗 机器翻译 内容审核 文本互译 ...... ### 面临的挑战? ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/14/1652460754955869960.png) ## 1.1.3 语音处理发展现状及技术挑战 ### 是什么? https://www.huaweicloud.com/product/rasr.html ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/14/1652460634874321882.png) ### 能干什么? 例: 实时字幕 会议记录 语音搜索 语音导航 有声阅读 ### 面临的挑战? ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/14/1652460728571303721.png) # 1.2 AI应用需求分析 ## 1.2.1 传统软件应用开发与AI应用开发对比 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/14/1652459466560286171.png) ## 1.2.2 为什么需要进行需求分析 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/14/1652460021313211343.png) ### 1.2.2.1 AI应用开发需求分析步骤 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/14/1652459658947449743.png) ### 案例:实例演练--智能人体测温监测系统 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/14/1652459719675956096.png) ##### ① 需求背景 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/14/1652459902567976285.png) ##### ② 需求价值 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/14/1652459918708130176.png) ##### ③ 需求描述 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/14/1652459926968703140.png) ##### ④ 问题抽象 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/14/1652459936087416782.png) ##### ⑤ 可行性分析 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/14/1652459955955590397.png) 人工智能入门级开发者认证:https://edu.huaweicloud.com/certificationindex/developer/aaabf9760a3f4578aa620155e1fcae86 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/14/1652462051683666717.png)
  • [认证交流] 华为云人工智能入门级开发者认证 - HCCDA-AI 更多Other章节 -- 云与数据
    ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/15/1652596136464466668.png) - **获取您的EI红宝书:https://www.huaweicloud.com/ei/** ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/15/1652596251686657653.png) ![公众号.jpg](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/15/1652596841773138256.jpg) - **云与数据** https://mp.weixin.qq.com/mp/appmsgalbum?__biz=Mzg5Mjc4NjE1Nw==&action=getalbum&album_id=2398219468813811715&scene=173&from_msgid=2247483927&from_itemidx=1&count=3&nolastread=1#wechat_redirect**
  • [认证交流] 华为云人工智能入门级开发者认证 - HCCDA-AI 第1章 人工智能概览-知识传递
    获取您的EI红宝书:https://www.huaweicloud.com/ei/1.1 人工智能定义   人工智能 (Artificial Intelligence)是研究、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。                                1.1.1 两个智能:强人工智能 vs 弱人工智能          强:有可能制造出真正的推理和解决问题的智能机器;有知觉;有自我意识;有自己的价值观和世界观体系          弱:不能制造出真正的推理和解决问题的智能机器;看起来智能但并不拥有智能;无自主意识  1.1.2 三个阶段:  1.1.3 四个要素:数据、算法、算力、场景    AI、机器学习、深度学习的关系1.2 人工智能发展历史    1.3 人工智能产业生态  https://report.iresearch.cn/report/202201/3925.shtml(下载链接)  https://report.iresearch.cn/report/202203/3962.shtml(下载链接) 1.3.3 人工智能技术架构   1、基础架构层          大数据:数据是真实世界不同现象的抽象表达,我们可以处理这大数据并能挖掘有价值的信息,知识甚至“智慧”          计算机硬件:CPU、GPU、Ascend910  2、算法层          机器学习:脑海里寻找一个问题答案的过程就是一个机器学习的过程          神经网络和深度学习:人类神经网络、感知器、深度神经网络 (前馈网络,反馈网络,图网络)  3、技术方向          计算机视觉:内容审核、图像搜索、语义分割、人脸检测、车辆检测、图像分类          语音处理:          自然语言处理:   4、应用领域          智慧城市:全城感知、全城预警、全城检索、全城协同          金融:智能投顾、智能投研、智能理赔、智能支付(人脸、指纹、虹膜、声纹)、智能风控          零售:设计、生产制造、收益管理、供应链管理、电商、线下零售          医疗:语音录入病历、医疗影像分析、综合型诊疗、身体健康管理、医疗机器人、医学药物研发          农业:数据分析与预测、降低农药成本、智降低农业收割成本、临空系统1.4 人工智能落地挑战 1.4.1 数据的挑战  1、数据获取          数据积累不足          数据质量差          数据安全合规          数据归属权   2、数据治理          多源异构数据          非结构化数据          海量数据存储与应用   3、数据标注          小场景数据采集          复杂业务场景理解          数据安全 1.4.2 缺乏解释性          深度学习系统的弱解释性给现有的AI系统带来了安全性、稳定性的挑战 1.4.3 算法的偏见          算法的偏见主要源于数据的偏见(如:数据名词认知观点不一致,造成歧视,产生差异) 1.4.4 隐私问题          人工智能算法都是数据驱动,获取大量的用户数据1.5 人工智能发展趋势          1.5.1更完善的人工智能基础数据服务:  1.5.2 更安全的数据共享:          联邦学习在保证数据隐私安全的前提下,利用不同数据源合作训练模型,进一步突破数据的瓶颈 1.5.3 端-边-云全面发展的算力:          应用于云端、边缘设备、移动终端的人工智能芯片规模不断增长 1.5.4 大模型与轻量化:          应对移动终端及各种边缘设备部署的挑战             1.5.5 更易用的框架:          MindSpore、TensorFlow 2.x、Pytorch等主流开发框架都在朝易用、全能的方向演进,不断降低人工智能的开发门槛1.5.6 不断突破的应用场景:          缓解心理问题、自动车险定损、后端办公自动化、…… 1.6 华为AI解决方案          1.6.1 全栈全场景AI解决方案介绍全栈(Full Stack):          技术功能视角;指包括云底座、芯片(昇腾)、开发/训练/推理框架MindSpore和AI使能能力在内的全堆栈方案全场景(All Scenarios):          指包括公有云、私有云、各种边缘计算、物联网行业终端以及消费类终端等部署环境MindSpore:          支持端、边、云独立的和协同的统一训练和推理框架CANN:          芯片算子库和高度自动化算子开发工具Ascend:          基于统一、可扩展架构的系列化AI芯片(Ascend 310和Ascend 910芯片是一款华为自研的云端AI芯片)  1.6.2 企业智能AI开放能力介绍               1. ModelArts          面向AI开发者的一站式开发平台,提供海量数据预处理及半自动化标注、大规模分布式训练、自动化模型生成及端-边-云模型按需部署能力,帮助用户快速创建和部署模型,管理全周期AI工作流。             面向不同经验的AI开发者,提供便捷易用的使用流程          1、面向业务开发者,不需关注模型或编码,可使用自动学习流程快速构建AI应用;          2、面向AI初学者,不需关注模型开发,使用预置算法构建AI应用;          3、面向AI工程师,提供多种开发环境,多种操作流程和模式,方便开发者编码扩展,快速构建模型及应用。  2.ModelArts Pro           面向企业可以拿来即用的专业AI开发套件。基于华为云的先进算法和快速训练能力,ModelArts Pro提供预置工作流和模型,提升企业AI应用的开发效率,降低开发难度。            同时,支持客户自主进行工作流编排,快速实现应用的开发、共享和发布,共建开放生态,实现普惠行业AI落地,真正实现赋能行业AI 应用开发者,全面提升行业AI 开发效率和落地效果。ModelArts Pro套件包括自然语言处理套件、文字识别套件、视觉套件等,能够快速响应不同行业、不同场景的AI落地需求。  3.HiLens  4.AI Gallery          http://huaweicloud.ai  5.盘古大模型          盘古大模型承载在AI Gallery平台,从AI Gallery订阅之后,即可在ModelArts中使用          华为云盘古大模型可以实现一个AI大模型在众多场景通用、泛化和规模化复制,减少对数据标注的依赖。相对于以前的作坊式开发,AI工业化开发效率可以提升10~100倍,同时AI模型具备更佳的性能。  6.智能体          华为云智能体以云为基础,以AI为核心,通过统一的平台和架构,将云、大数据、AI等创新技术与行业机理、专家知识融合,提供一体化协同的智能服务,挖掘数据价值,助力政企智能升级,构筑领先优势  城市智能体:( 1+ X + N    平台+引擎+应用)          城市AI开发运营平台 + (数据管理引擎、全域感知引擎、知识计算引擎、机器人引擎 、调度引擎等)+  一网通办、一网通管、一号通、智慧供热、智慧公交  交通智能体:(宏观--中观--微观)          市级交通大屏          区级交通大屏          路口交通大屏          诊断数据大屏  工业智能体:          焦化配煤(质量预测精度提升)、炼钢配料(成分预测准确率提升)、板材切割(利用率提升)  医疗智能体:(医院、制药公司、研究机构)          靶基因发现、新应用发现、生物标志物研院、AI辅助药物设计等          在线推理 -- AI预测服务、开发环境 -- Notebook分析服务人工智能入门级开发者认证:https://edu.huaweicloud.com/certificationindex/developer/aaabf9760a3f4578aa620155e1fcae86
  • [互动交流] 【ModelArts产品】【notebook功能】no module named matplotlib
    【操作步骤&问题现象】救助!这是什么原因啊【截图信息】【日志信息】(可选,上传日志内容或者附件)
  • [AI类] 【ModelArts产品】【AI应用功能】MOX命令行应用将OBS文件传输给MODELARTS AI部署
    【功能模块】ModelArts产品AI应用功能模块服务ID 536afc85-d5ee-4ee5-8200-4ed6e1bc4ba0【操作步骤&问题现象】1、在使用ultralytics和yolov5,在modelarts平台做AI部署,报错,已经聚焦到问题是原代码中font(Arial.ttf)需要从网页下载2、已经将ttf文件手动下载放入obs中,地址:obs://overunderwater对象/ma-competitions-bj4/chuanbo/model/utilitiesma-competitions-bj4/chuanbo/model/utilities/Arial.ttf3、问题报错是找不到tff文件,请问如何在python文件中用mox命令,将该文件告诉python进行后续操作,麻烦写完整命令行,折腾好久了。import yaml from utilities.downloads import gsutil_getsize from utilities.metrics import box_iou, fitness # Settings FILE = Path(__file__).resolve() ROOT = FILE.parents[1] # YOLOv5 root directory DATASETS_DIR = ROOT.parent / 'datasets' # YOLOv5 datasets directory NUM_THREADS = min(8, max(1, os.cpu_count() - 1)) # number of YOLOv5 multiprocessing threads VERBOSE = str(os.getenv('YOLOv5_VERBOSE', True)).lower() == 'true' # global verbose mode FONT = 'Arial.ttf' # https://ultralytics.com/assets/Arial.ttf torch.set_printoptions(linewidth=320, precision=5, profile='long')【截图信息】【日志信息】(可选,上传日志内容或者附件)[2022-05-05 05:13:04 +0000] [18] [INFO] Using worker: sync [2022-05-05 05:13:04 +0000] [21] [INFO] Booting worker with pid: 21 Traceback (most recent call last): File "/home/mind/model/utilities/plots.py", line 57, in check_pil_font return ImageFont.truetype(str(font) if font.exists() else font.name, size) File "/root/.local/lib/python3.6/site-packages/PIL/ImageFont.py", line 836, in truetype return freetype(font) File "/root/.local/lib/python3.6/site-packages/PIL/ImageFont.py", line 833, in freetype return FreeTypeFont(font, size, index, encoding, layout_engine) File "/root/.local/lib/python3.6/site-packages/PIL/ImageFont.py", line 194, in __init__ font, size, index, encoding, layout_engine=layout_engine OSError: unknown file format During handling of the above exception, another exception occurred: Traceback (most recent call last): File "/home/mind/model_service/model_service.py", line 179, in load_service spec.loader.exec_module(module) File "", line 678, in exec_module File "", line 219, in _call_with_frames_removed File "/home/mind/model/customize_service.py", line 34, in from models.common import DetectMultiBackend File "/home/mind/model/models/common.py", line 27, in from utilities.plots import Annotator, colors, save_one_box File "/home/mind/model/utilities/plots.py", line 68, in class Annotator: File "/home/mind/model/utilities/plots.py", line 70, in Annotator check_pil_font() # download TTF if necessary File "/home/mind/model/utilities/plots.py", line 61, in check_pil_font return ImageFont.truetype(str(font), size) File "/root/.local/lib/python3.6/site-packages/PIL/ImageFont.py", line 836, in truetype return freetype(font) File "/root/.local/lib/python3.6/site-packages/PIL/ImageFont.py", line 833, in freetype return FreeTypeFont(font, size, index, encoding, layout_engine) File "/root/.local/lib/python3.6/site-packages/PIL/ImageFont.py", line 194, in __init__ font, size, index, encoding, layout_engine=layout_engine OSError: unknown file format [2022-05-05 05:13:15 +0000] [21] [ERROR] Exception in worker process Traceback (most recent call last): File "/home/mind/model/utilities/plots.py", line 57, in check_pil_font return ImageFont.truetype(str(font) if font.exists() else font.name, size) File "/root/.local/lib/python3.6/site-packages/PIL/ImageFont.py", line 836, in truetype return freetype(font) File "/root/.local/lib/python3.6/site-packages/PIL/ImageFont.py", line 833, in freetype return FreeTypeFont(font, size, index, encoding, layout_engine) File "/root/.local/lib/python3.6/site-packages/PIL/ImageFont.py", line 194, in __init__ font, size, index, encoding, layout_engine=layout_engine OSError: unknown file format During handling of the above exception, another exception occurred: Traceback (most recent call last): File "/home/mind/model_service/model_service.py", line 179, in load_service spec.loader.exec_module(module) File "", line 678, in exec_module File "", line 219, in _call_with_frames_removed File "/home/mind/model/customize_service.py", line 34, in from models.common import DetectMultiBackend File "/home/mind/model/models/common.py", line 27, in from utilities.plots import Annotator, colors, save_one_box File "/home/mind/model/utilities/plots.py", line 68, in class Annotator: File "/home/mind/model/utilities/plots.py", line 70, in Annotator check_pil_font() # download TTF if necessary File "/home/mind/model/utilities/plots.py", line 61, in check_pil_font return ImageFont.truetype(str(font), size) File "/root/.local/lib/python3.6/site-packages/PIL/ImageFont.py", line 836, in truetype return freetype(font) File "/root/.local/lib/python3.6/site-packages/PIL/ImageFont.py", line 833, in freetype return FreeTypeFont(font, size, index, encoding, layout_engine) File "/root/.local/lib/python3.6/site-packages/PIL/ImageFont.py", line 194, in __init__ font, size, index, encoding, layout_engine=layout_engine OSError: unknown file format During handling of the above exception, another exception occurred: Traceback (most recent call last): File "/usr/local/lib/python3.6/site-packages/gunicorn/arbiter.py", line 583, in spawn_worker worker.init_process() File "/usr/local/lib/python3.6/site-packages/gunicorn/workers/base.py", line 129, in init_process self.load_wsgi() File "/usr/local/lib/python3.6/site-packages/gunicorn/workers/base.py", line 138, in load_wsgi self.wsgi = self.app.wsgi() File "/usr/local/lib/python3.6/site-packages/gunicorn/app/base.py", line 67, in wsgi self.callable = self.load() File "/usr/local/lib/python3.6/site-packages/gunicorn/app/wsgiapp.py", line 52, in load return self.load_wsgiapp() File "/usr/local/lib/python3.6/site-packages/gunicorn/app/wsgiapp.py", line 41, in load_wsgiapp return util.import_app(self.app_uri) File "/usr/local/lib/python3.6/site-packages/gunicorn/util.py", line 350, in import_app __import__(module) File "/home/mind/app.py", line 132, in module = load_service(model_service_file) if model_service_file else pytorch_vision_service File "/home/mind/model_service/model_service.py", line 188, in load_service raise Exception('Incorrect or missing service file: ' + path) Exception: Incorrect or missing service file: /home/mind/model/customize_service.py [2022-05-05 05:13:15 +0000] [21] [INFO] Worker exiting (pid: 21) Namespace(model_name='serve', model_path='/home/mind/model/yolov5l.pt', pt_server_name='127.0.0.1', service_file='/home/mind/model/customize_service.py') [2022-05-05 05:13:16 +0000] [18] [INFO] Shutting down: Master [2022-05-05 05:13:16 +0000] [18] [INFO] Reason: Worker failed to boot.
  • [其他] 将AI应用发布到ModelArts模型管理
    AI应用开发并调试完成后,开发者可以将AI应用服务到ModelArts AI应用管理模块,然后在ModelArts的推理平台进行应用的生产部署。发布AI应用包含了应用打包、构建镜像和发布这三个步骤。打包AI应用构建镜像发布和部署AI应用打包AI应用鼠标右键工程列表中当前工程,点击“Package”将会打包当前工程,生成该工程的rpm包。构建镜像将AI应用打好的rpm包和基础镜像打成新的应用镜像,用于部署。生产部署时,Dockerfile中配置的基础镜像需要选择runtime镜像。鼠标右键工程列表中的当前工程,点击“Build Image”,输入镜像名称、镜像版本、OBS地址。图1 构建镜像镜像构建首次执行大约耗时5~8min,执行成功后镜像将被推送到华为云SWR服务的组织中,SWR地址会打印在terminal控制台。命令执行结束后,镜像构建的日志会在下载至工程log目录下docker-build.log文件中,可通过日志查看构建过程信息。发布和部署AI应用发布AI应用鼠标右键工程列表中当前工程,点击“Public”,输入应用名称、应用版本、请求方式以及镜像地址。点击高级选项可以配置更加丰富的选项。图2 发布AI应用部署AI应用AI应用发布成功后,进入“部署上线>在线服务”模块进行部署操作,部署时选择发布的AI应用进行部署即可。控制台上提供了比开发环境的命令行更为丰富的部署选项,例如服务流量限制、服务自动停止等,用户可以根据需要进行配置,具体可参考部署为在线服务。
  • [赛事资讯] 【ModelArts 操作指导】2022年船海数据智能应用创新大赛·水面/水下典型目标识别
    大赛报名地址:https://competition.huaweicloud.com/information/1000041661/introduction目录1 文档导读2 ModelArts全局配置3 在Notebook环境中创建训练任务4 编写线上推理代码5 部署AI应用6 将模型部署为在线服务7 提交模型判分8 释放资源1 文档导读ModelArts是面向AI开发者的一站式开发平台,您可以使用ModelArts完成船舶大赛的数据处理、训练建模、推理测试以及结果的提交。2 ModelArts 全局配置使用 ModelArts Notebook、训练作业、模型及服务时可能需要用到对象存储服务,因此在使用 ModelArts 之前,您需要进行全局配置。点击此处进入ModelArts控制台,点击全局配置->访问授权 如下:授权方式选择使用委托,用户名选择 所有用户, 委托选择自动创建 ,同意授权即可3在Notebook环境中创建训练任务您可以在ModelArts Notebook中编写模型训练脚本;如果您训练的模型需要推理代码,也可以在Notebook中编写。ModelArts支持TensorFlow、MXNet、PyTorch等深度学习引擎,您可以基于自身使用习惯来选择;您还可以使用pip install在ModelArts Notebook中安装外部库。 您可以使用Notebook或者Terminal 并上传工程进行训练。 4 编写线上推理代码具体操作可参考如下步骤。 编写推理文件模型推理代码的编写可参考  https://support.huaweicloud.com/engineers-modelarts/modelarts_23_0093.html编写customize_service.py文件。将customize_service.py 文件上传至OBS存放模型的model文件夹下。OBS的使用和上传文件操作可参考https://support.huaweicloud.com/usermanual-obs/zh-cn_topic_0045829661.html 编写模型配置文件模型配置文件为模型导入必备文件,模型配置文件描述模型用途、模型计算框架、模型精度、推理代码依赖包以及模型对外API接口,编写完成后将推理代码保存并上传至OBS存放模型的model文件夹下。编写配置文件json配置文件的编写可以参考https://support.huaweicloud.com/engineers-modelarts/modelarts_23_0092.html 本baseline已经基于yolo-v5 提供了推理文件和config示例,供选手参考,待训好yolo模型后上传至model文件夹下即可使用。obs路径: obs://ma-competitions-bj4/chuanbo/model/5 部署AI应用点击“创建”从OBS中选择,查找自己的model文件,选择AI环境,即可创建6 将模型部署为在线服务创建AI应用后,接下来您可以将模型部署为在线服务,验证模型是否可以按照规定格式正常输出。部署为在线服务具体步骤如下。在ModelArts左侧导航栏中选择“部署上线 在线服务”,然后单击页面中的“部署”。在部署页面填写参数,计算节点规格选择 CPU:2核8G单击“下一步”,参数确认无误后,单击“提交”。创建成功后,返回在线服务列表,您可以在在线服务列表中查看部署进度;当状态变为“运行中”后,单击服务名称,进入详情页面,如下图所示。在“预测”页签上传文件进行测试,如下图所示。 7 提交模型判分模型部署测试后,您可以将模型提交判分,具体操作如下。注意:由于每支队伍每天有提交次数限制,为避免浪费提交次数,请在模型提交前务必要部署测试模型,确认模型无误后再提交判分。步骤一:在ModelArts上提交模型在ModelArts左侧导航栏中选择“AI应用管理”,单击模型名称前方箭头;然后单击页面右侧操作栏中的“发布”,单击“参赛发布”。步骤二:在竞赛平台上查看分数在大赛平台上“提交作品”页签中查看判分分数。其中“提交作品”页面需报名比赛后才会显示。 8 释放资源1.使用完ModelArts相关计算资源后,请务必及时释放资源,否则会造成资源浪费甚至账号欠费。ModelArts以下模块会涉及云资源的消耗并会按需或按周期产生费用:自动学习训练和部署,Notebook实例,训练作业,TensorBoard,在线服务。使用完需要“停止”自动学习部署、Notebook、TensorBoard、在线服务。停止所有需消耗云资源的作业后,可在ModelArts总览页面确认所有计费项都为“0”。ModelArts详细计费说明可参见:https://support.huaweicloud.com/productdesc-modelarts/modelarts_01_0021.html公有云的按需使用是采用后付费模式,即先使用再付费,一个小时会出一次话单,比如:2019.6.24 04:00~05:00这段时间使用的费用,在05:00时刻采集完成后,才会出话单,进行扣费。2.删除OBS桶中所有的文件夹OBS存储会消耗资源,产生费用点击此处,先删除OBS桶中所有文件夹再删除所有OBS桶
  • [技术干货] 手把手教您体验ModelArts Notebook
    ModelArts 是面向开发者的一站式 AI 平台,为机器学习与深度学习提供海量数据预处理及交互式智能标注、大规模分布式训练、自动化模型生成,及端-边-云模型按需部署能力,帮助用户快速创建和部署模型,管理全周期 AI 工作流。按需/包周期付费可选,最低¥0.00/小时ModelArts集成了基于开源的Jupyter Notebook,为您提供在线的交互式开发调试工具。您无需关注安装配置,在ModelArts管理控制台直接使用Notebook,编写和调测模型训练代码,然后基于该代码进行模型的训练。具体流程如下:第1步:登录华为云,打开ModelArts管理控制台如果您还没有华为云账号,请单击此链接注册华为云账号。注册完成后,请完成账号登录。如果您已经申请了华为云账号,请单击此链接登录华为云。登录华为云后,访问ModelArts官网,然后单击“进入控制台”打开ModelArts管理控制台。第2步:获取密钥,完成ModelArts全局配置请参考ModelArts文档中的操作指导,前往“我的凭证”页面,单击“新增访问密钥”,获取密钥文件(即您的AK、SK)。然后进入ModelArts管理控制台,在“全局配置”中,单击“添加访问密钥”,完成AK、SK的认证。访问密钥文件,是csv格式的文件,携带了账号名、AK和SK的信息。请使用默认浏览器下载本地,且使用操作系统自带的文本编辑器打开,获取相应的AK、SK参数值。访问密钥文件在以后的使用过程中仍会使用,比如使用OBS Browser时,请务必妥善保管此csv文件。如果出现丢失,需重新新建访问密钥,并重新进行ModelArts全局配置。打开ModelArts控制台,进入全局配置即可完成密钥授权第3步:创建Notebook在ModelArts管理控制台,在左侧导航栏中选择“开发环境 > Notebook”。单击“创建”,进入创建Notebook页面。想要创建一个Notebook,需选择相应的规格。(目前由于平台调整,免费规格已经下架,可以使用0.8一小时的配置进行创建)如下图所示,选择CPU类型,然后在规格参数中选择“2核4G ”描述的规格。请仔细阅读提示说明,然后“勾选我已阅读并同意以上内容”。根据界面提示或者创建并打开Notebook操作指导填写其他参数。这里有notebook新旧版之分,建议目前可以直接体验新版的NoteBook,直接点击创建即可参数填写完成后,单击“下一步”。然后根据界面提示,逐步完成Notebook实例创建。注意:创建和使用Notebook需要消耗资源,需要收费。根据您选择的资源不同,收费标准不同,针对不同类型资源的价格,详情请参见产品价格详情。“运行中”的Notebook将一直收费,当您不需要使用时,建议停止Notebook,避免产生不必要的费用。在创建Notebook时,也可以选择开启自动停止功能,在指定时间内停止运行Notebook,避免产生不必要的费用。只有处于“运行中”状态的Notebook,才可以执行打开操作。第4步启动notebook当状态变更为“运行中”时,单击操作列的打开,进入“Jupyter”页面。在“Jupyter”页面中,单击右侧“New > ”“PyTorch-1.4”,创建一个开发环境。选择此类型的开发环境,是用于运行后面的示例代码,您也可以根据实际业务情况,选择不同类型的引擎创建开发环境。然后可以简单的测试一下开发环境准备好啦,接下来可以愉快地写代码啦!打开ModelArts_Lab工程中的猫狗识别样例,从“升级依赖”步骤开始运行样例代码,参考样例代码的注释,了解每一段代码的含义,并拷贝对应代码至Notebook中,同时单击运行,查看运行结果是否与样例说明一致。例如:升级依赖!pip install --upgrade keras_applications==1.0.6 keras==2.2.4后面步骤按照教程里的一步步运行,最后使用Keras搭建了一个VGG16神经网络,并使用猫狗数据集训练了一个猫狗识别模型,能进行简单的预测。友情提示完成实验后,可以停止notebook,否则会继续扣费。notebook停止后,不会删除ipynb文件,notebook重新启动后,ipynb文件仍然存在。
总条数:3416 到第 页
上滑加载中