• [其他] ModelArts的数据标注简介
    人工标注对于不同类型的数据,用户可以选择不同的标注类型。当前ModelArts支持如下类型的标注作业:    图片        图像分类:识别一张图片中是否包含某种物体。        物体检测:识别出图片中每个物体的位置及类别。        图像分割:根据图片中的物体划分出不同区域。    音频        声音分类:对声音进行分类。        语音内容:对语音内容进行标注。        语音分割:对语音进行分段标注。    文本        文本分类:对文本的内容按照标签进行分类处理。        命名实体:针对文本中的实体片段进行标注,如“时间”、“地点”等。        文本三元组:针对文本中的实体片段和实体之间的关系进行标注。    视频    视频标注:识别出视频中每个物体的位置及分类。目前仅支持mp4格式。智能标注除了人工标注外,ModelArts还提供了智能标注功能,快速完成数据标注,为您节省70%以上的标注时间。智能标注是指基于当前标注阶段的标签及图片学习训练,选中系统中已有的模型进行智能标注,快速完成剩余图片的标注操作。目前只有“图像分类”和“物体检测”类型的数据集支持智能标注功能。团队标注数据标注任务中,一般由一个人完成,但是针对数据集较大时,需要多人协助完成。ModelArts提供了团队标注功能,可以由多人组成一个标注团队,针对同一个数据集进行标注管理。团队标注功能当前仅支持“图像分类”、“物体检测”、“文本分类”、“命名实体”、“文本三元组”、“语音分割”类型的数据集。不同类型数据集支持的功能列表其中,不同类型的数据集,支持不同的功能数据集类型标注类型人工标注智能标注团队标注图片图像分类支持支持支持物体检测支持支持支持图像分割支持--音频声音分类支持--语音内容支持--语音分割支持-支持文本文本分类支持-支持命名实体支持-支持文本三元组支持-支持视频视频标注支持--自由格式----表格----
  • [其他] ModelArts之AI应用管理简介
    AI开发和调优往往需要大量的迭代和调试,数据集、训练代码或参数的变化都可能会影响模型的质量,如不能统一管理开发流程元数据,可能会出现无法重现最优模型的现象。ModelArtsAI应用管理可导入所有训练生成的元模型,可对所有迭代和调试的AI应用进行统一管理。使用限制和说明自动学习项目中,在完成模型部署后,其生成的模型也将自动上传至AI应用管理列表中。但是自动学习生成的AI应用无法下载,只能用于部署上线。创建AI应用、管理AI应用版本、模型转换等功能目前是免费开放给所有用户,使用此功能不会产生费用。创建AI应用的几种场景从训练中选择:在ModelArts中创建训练作业,并完成模型训练,在得到满意的模型后,可以将训练后得到的模型创建为AI应用,用于部署服务。从模板中选择:相同功能的模型配置信息重复率高,将相同功能的配置整合成一个通用的模板,通过使用该模板,可以方便快捷的导入模型,创建为AI应用,而不用编写config.json配置文件。从容器镜像中选择:针对ModelArts目前不支持的AI引擎,可以通过自定义镜像的方式将编写的模型镜像导入ModelArts,创建为AI应用,用于部署服务。从OBS中选择:如果您使用常用框架在本地完成模型开发和训练,可以将模型导入至ModelArts中,创建为AI应用,直接用于部署服务。AI应用管理的功能描述
  • [认证交流] 华为云人工智能入门级开发者认证 - HCCDA-AI 第⑥章 人工智能应用集成产品测试-知识传递
    获取您的EI红宝书:https://www.huaweicloud.com/ei/                     AI测试是对基于AI的应用系统的测试;与任何系统一样,基于AI的系统具有功能性和非功能性需求。AI应用测试的主要流程包括场景分析,特征因子分析,数据构建,评测指标,自动化方案等AI应用测试AI测试任务分层AI应用测试框架关键角色AI开发工程师负责设计、开发实现、数据验收、自测、调优等工作数据工程师负责数据采集、数据清洗、数据整合、数据标注、数据质量检测等工作测试工程师负责测试数据采集、测试场景分析、测试方案、测试用例、测试策略、测试自动化、测试验收和评估等工作测试流程和活动① 结合需求描述,梳理典型应用场景,场景使用主体、特点等,将场景细化② 基于场景分析,分析影响Al模型识别率的特征因子,建立特征因子库。不同的AI场景对特征因子要求和复杂度不一样,比如CV应用场景的特征因子有拍摄因素(曝光、角度等)、环境因素(阴晴雨雪、背景等)、属性因素(人物年龄、肤色等)③ 基于应用场景、特征因子等进行数据集构建,包括不限于:数据类别、不同因子比例、环境因素、特定要求等④ 不同业务场景,关注不同的指标,评价的结果也不同,所以需要根据需求场景和侧重点,确定指标和相关定义。比如:有些业务求全,所以召回率优先;有些业务求准,所以准确率优先;有的业务因类别不均衡,要看单个类别的准确率;还有的业务内存非常敏感,所以对模型大小优先。⑤ 自动化批量测试及评测指标统计https://mp.weixin.qq.com/s?__biz=Mzg5Mjc4NjE1Nw==&mid=2247484542&idx=1&sn=4e6a77a15df21988fe72d41e133e8bdf&chksm=c03980fcf74e09eae416f1a5085ecba06804d9e17210e9a32f2706ebe201fbb8ceab4a6d13e8&token=70826191&lang=zh_CN#rd                                            云与数据- HCCDA-AI合集:https://mp.weixin.qq.com/mp/appmsgalbum?__biz=Mzg5Mjc4NjE1Nw==&action=getalbum&album_id=2398219468813811715&scene=173&from_msgid=2247483927&from_itemidx=1&count=3&nolastread=1#wechat_redirect**
  • [认证交流] 华为云人工智能入门级开发者认证 - HCCDA-AI 第⑤章 HiLens服务介绍-知识传递
    获取您的EI红宝书:https://www.huaweicloud.com/ei/                     华为HiLens为端云协同多模态AI开发应用平台,供简单易用的开发框架、开箱即用的开发环境、丰富的AI技能市场和云上管理平台,接多种端侧计算设备,支持视觉及听觉AI应用开发、AI应用在线部署、海量设备管理等https://mp.weixin.qq.com/s?__biz=Mzg5Mjc4NjE1Nw==&mid=2247484541&idx=1&sn=8356331b4085c76c3a5139407ac59766&chksm=c03980fff74e09e907c12129a5daaa527d20111fa818c74d2acdd0a0e930d4dd8f4d00e0d792&token=1539735248&lang=zh_CN#rd                                            云与数据- HCCDA-AI合集:https://mp.weixin.qq.com/mp/appmsgalbum?__biz=Mzg5Mjc4NjE1Nw==&action=getalbum&album_id=2398219468813811715&scene=173&from_msgid=2247483927&from_itemidx=1&count=3&nolastread=1#wechat_redirect**
  • [认证交流] 华为云人工智能入门级开发者认证 - HCCDA-AI 第④章 ModelArts服务介绍-知识传递
    获取您的EI红宝书:https://www.huaweicloud.com/ei/                     华为云EI服务介绍:华为云人工智能入门级开发者认证 - 第④章 ModelArts服务介绍 (qq.com)ModelArts是面向AI开发者的一站式开发平台,提供海量数据预处理及半自动化标注、大规模分布式训练、自动化模型生成及端-边-云模型按需部署能力,帮助用户快速创建和部署模型,管理全周期AI工作流面向不同经验的AI开发者面向业务开发者,不需关注模型或编码,可使用自动学习流程快速构建AI应用;面向AI初学者,不需关注模型开发,使用预置算法构建AI应用;面向AI工程师,提供多种开发环境,多种操作流程和模式,方便开发者编码扩展,快速构建模型及应用“一站式”是指AI开发的各个环节自动学习数据管理开发环境训练平台推理平台AI Gallery                                            云与数据- HCCDA-AI合集:https://mp.weixin.qq.com/mp/appmsgalbum?__biz=Mzg5Mjc4NjE1Nw==&action=getalbum&album_id=2398219468813811715&scene=173&from_msgid=2247483927&from_itemidx=1&count=3&nolastread=1#wechat_redirect**
  • [AI类] 【ModelArts产品】【AI应用】YOLO V5多模型载入
    【功能模块】ModelArts产品AI应用服务ID 7bb213cc-d27c-4f25-88db-d15b7a79fd66【操作步骤&问题现象】1、原yolov5 提供了模型集成,但在obs中上传两个模型文件(.pt)后推理错误。模型(pt)的读入是不公开的,无法修改推理文件完成Ensemble Inference。2、官方要求的文件路径如下OBS桶/目录名 |── resnet | ├── model 必选: 固定子目录名称,用于放置模型相关文件 | │ ├── <<自定义Python包>> 可选:用户自有的Python包,在模型推理代码中可以直接引用 | │ ├── resnet50.pth 必选,pytorch模型保存文件,保存为“state_dict”,存有权重变量等信息。 | │ ├──config.json 必选:模型配置文件,文件名称固定为config.json, 只允许放置一个 | │ ├──customize_service.py 必选:模型推理代码,文件名称固定为customize_service.py, 只允许放置一个,customize_service.py依赖的文件可以直接放model目录下3、我的OBS【日志信息】(可选,上传日志内容或者附件)
  • [其他] ModelArts的模型训练基本功能
    模型训练中除了数据和算法外,开发者花了大量时间在模型参数设计上。模型训练的参数直接影响模型的精度以及模型收敛时间,参数的选择极大依赖于开发者的经验,参数选择不当会导致模型精度无法达到预期结果,或者模型训练时间大大增加。为了降低开发者的专业要求,提升开发者模型训练的开发效率及训练性能,ModelArts提供了可视化作业管理、资源管理、版本管理等功能,基于机器学习算法及强化学习的模型训练自动超参调优,如learning rate、batch size等自动的调参策略;预置和调优常用模型,简化模型开发和全流程训练管理。当前大多数开发者开发模型时,为了满足精度需求,模型往往达到几十层,甚至上百层,参数规模达到百兆甚至在GB规格以上,导致对计算资源的规格要求极高,主要体现在对硬件资源的算力及内存、ROM的规格的需求上。端侧资源规格限制极为严格,以端侧智能摄像头为例,通常端侧算力在1TFLOPS,内存在2GB规格左右,ROM空间在2GB左右,需要将端侧模型大小控制在百KB级别,推理时延控制在百毫秒级别。这就需要借助模型精度无损或微损下的压缩技术,如通过剪枝、量化、知识蒸馏等技术,实现模型的自动压缩及调优,进行模型压缩和重新训练的自动迭代,以保证模型的精度损失极小。无需重新训练的低比特量化技术实现模型从高精度浮点向定点运算转换,多种压缩技术和调优技术实现模型计算量满足端、边小硬件资源下的轻量化需求,模型压缩技术在特定领域场景下实现精度损失<1%。当训练数据量很大时,深度学习模型的训练将会非常耗时。在计算机视觉中,ImageNet-1k(包含 1000 个类别的图像分类数据集,以下简称 ImageNet)是经典、常用的一个数据集,如果我们在该数据集上用一块P100 GPU训练一个ResNet-50模型,则需要耗时将近1周,严重阻碍了深度学习应用的开发进度。因此,深度学习训练加速一直是学术界和工业界所关注的重要问题。分布式训练加速需要从软硬件两方面协同来考虑,仅单一的调优手段无法达到期望的加速效果。所以分布式加速的调优是一个系统工程,需要从硬件角度(芯片、硬件设计)考虑分布式训练架构,如系统的整体计算规格、网络带宽、高速缓存、功耗、散热等因素,充分考虑计算和通信的吞吐量关系,以实现计算和通信时延的隐藏。软件设计需要结合高性能硬件特性,充分利用硬件高速网络实现高带宽分布式通信,实现高效的数据集本地数据缓存技术,通过训练调优算法,如混合并行,梯度压缩、卷积加速等技术,实现分布式训练系统软硬件端到端的高效协同优化,实现多机多卡分布式环境下训练加速。ModelArts 在千级别资源规格多机多卡分布式环境下,典型模型 ResNet50 在 ImageNet 数据集上实现加速比>0.8,是行业领先水平。衡量分布式深度学习的加速性能时,主要有如下2个重要指标:吞吐量,即单位时间内处理的数据量。收敛时间,即达到一定的收敛精度所需的时间。吞吐量一般取决于服务器硬件(如更多、更大FLOPS处理能力的AI加速芯片,更大的通信带宽等)、数据读取和缓存、数据预处理、模型计算(如卷积算法选择等)、通信拓扑等方面的优化。除了低bit计算和梯度(或参数)压缩等,大部分技术在提升吞吐量的同时,不会造成对模型精度的影响。为了达到最短的收敛时间,需要在优化吞吐量的同时,对调参方面也做调优。调参不到位会导致吞吐量难以优化,当batch size超参不足够大时,模型训练的并行度就会相对较差,吞吐量难以通过增加计算节点个数而提升。对用户而言,最终关心的指标是收敛时间,因此ModelArts的MoXing实现了全栈优化,极大缩短了训练收敛时间。在数据读取和预处理方面,MoXing通过利用多级并发输入流水线使得数据 IO 不会成为瓶颈;在模型计算方面,MoXing对上层模型提供半精度和单精度组成的混合精度计算,通过自适应的尺度缩放减小由于精度计算带来的损失;在超参调优方面,采用动态超参策略(如 momentum、batch size等)使得模型收敛所需epoch个数降到最低;在底层优化方面,MoXing与底层华为服务器和通信计算库相结合,使得分布式加速进一步提升。
  • [其他] ModelArts是什么,有什么功能
    ModelArts是面向AI开发者的一站式开发平台,提供海量数据预处理及半自动化标注、大规模分布式训练、自动化模型生成及端-边-云模型按需部署能力,帮助用户快速创建和部署模型,管理全周期AI工作流。“一站式”是指AI开发的各个环节,包括数据处理、算法开发、模型训练、模型部署都可以在ModelArts上完成。从技术上看,ModelArts底层支持各种异构计算资源,开发者可以根据需要灵活选择使用,而不需要关心底层的技术。同时,ModelArts支持Tensorflow、PyTorch、MindSpore等主流开源的AI开发框架,也支持开发者使用自研的算法框架,匹配您的使用习惯。ModelArts的理念就是让AI开发变得更简单、更方便。面向不同经验的AI开发者,提供便捷易用的使用流程。例如,面向业务开发者,不需关注模型或编码,可使用自动学习流程快速构建AI应用;面向AI初学者,不需关注模型开发,使用预置算法构建AI应用;面向AI工程师,提供多种开发环境,多种操作流程和模式,方便开发者编码扩展,快速构建模型及应用。产品架构ModelArts是一个一站式的开发平台,能够支撑开发者从数据到AI应用的全流程开发过程。包含数据处理、模型训练、模型管理、模型部署等操作,并且提供AI Gallery功能,能够在市场内与其他开发者分享模型。ModelArts支持应用到图像分类、物体检测、视频分析、语音识别、产品推荐、异常检测等多种AI应用场景。ModelArts特色功能数据治理支持数据筛选、标注等数据处理,提供数据集版本管理,特别是深度学习的大数据集,让训练结果可重现。极“快”致“简”模型训练自研的MoXing深度学习框架,更高效更易用,大大提升训练速度。云边端多场景部署支持模型部署到多种生产环境,可部署为云端在线推理和批量推理,也可以直接部署到端和边。自动学习支持多种自动学习能力,通过“自动学习”训练模型,用户不需编写代码即可完成自动建模、一键部署。AI Gallery预置常用算法和常用数据集,支持模型在企业内部共享或者公开共享。
  • [其他] ModelArts智能标注之难例确认
    在数据量很大的标注任务中,标注初期由于已标注图片不足,智能标注的结果无法直接用于训练。若对所有的未标注数据一一进行调整确认仍然需要较大的人力和时间成本。为了更快地完成标注任务,在对未标注数据进行智能标注的任务中,Modelarts嵌入了自动难例发现功能。该功能会对剩余未标注图片的标注优先级给出建议。因为标注优先级高的图片的智能标注结果未达到预期,所以称之为难例。ModelArts平台提供的自动难例发现功能,在智能标注以及数据采集筛选过程中,将自动标注出难例,建议对难例数据进一步确认标注,然后将其加入训练数据集中,使用此数据集训练模型,可得到精度更高的模型。首先,针对智能标注和采集筛选任务,难例的发现操作是系统自动执行的,无需人工介入,仅需针对标注后的数据进行确认和修改即可,提升数据管理和标注效率。其次,您可以基于难例的情况,补充类似数据,提升数据集的丰富性,进一步提升模型训练的精度。在数据集管理中,对难例的管理有如下场景。智能标注后,确认难例将数据集中的数据标注为难例目前只有“图像分类”和“物体检测”类型的数据集支持难例发现功能。智能标注后,确认难例“智能标注”任务执行过程中,ModelArts将自动识别难例,并完成标注。当智能标注结束后,难例标注结果将呈现在“待确认”页签,建议您对难例数据进行人工修正,然后确认标注。登录ModelArts管理控制台,在左侧菜单栏中选择“数据管理>数据标注”,进入“数据标注”管理页面。在标注作业列表中,选择“物体检测”或“图像分类”类型的标注作业,单击标注作业名称进入“标注作业详情”。在“标注作业详情页”,选择“标注>待确认”页签,查看并确认难例。只有当智能标注任务完成后,待确认页签才会显示标注数据。否则,此页签内容为空。针对“物体检测”标注作业在“待确认”页签中,单击图片展开标注详情,查看图片数据的标注情况,如标签是否准确、目标框位置添加是否准确。如果智能标注结果不准确,建议手工调整标签或目标框,然后单击“确认标注”。完成确认后,重新标注的数据将呈现在“已标注”页签下。如图1所示的难例,dog标签的目标框位置不准确,使用标注框重新标注,如图中的“漏检”目标框,然后需要将原先标注错误的目标框删除,即“误检”标签框。手工调整后,单击“确认标注”完成难例确认。图1 物体检测的难例确认针对“图像分类”标注作业在“待确认”页签中,查看标注难例的图片,其添加的标签是否准确。勾选标注不准确的图片,删除错误标签,然后在右侧“标签名”处添加准确标签。单击“确认”,勾选的图片及其标注情况,将呈现在“已标注”页签下。如图2所示,选中的图片为标注错误图片,在右侧删除错误标签,然后在标签名处添加“狗”的标签,然后单击“确认”,完成难例确认。将数据集中的数据标注为难例针对标注作业中,已标注或未标注数据,也可以将图片数据标注为难例。标注为难例的数据,对后续模型训练中,通过内置规则提升模型精度。登录ModelArts管理控制台,在左侧菜单栏中选择“数据管理>数据标注”,进入“数据标注”管理页面。在标注作业列表中,选择“物体检测”或“图像分类”类型的标注作业,单击数据集名称进入“标注作业详情页”。在标注作业详情页,选择“标注”页签”,单击“已标注”、“未标注”或“全部”页签,勾选需标注为难例的图片,然后单击“难例批处理 > 确认为难例”。完成标注后,图片预览时,其右上角将显示为“难例”。
  • [其他] ModelArts Notebook亮点
    亮点特性1:远程开发 - 支持本地IDE远程访问Notebook新版Notebook提供了远程开发功能,通过开启SSH连接,用户本地IDE可以远程连接到ModelArts的Notebook开发环境中,调试和运行代码。对于使用本地IDE的开发者,由于本地资源限制,运行和调试环境大多使用团队公共搭建的CPU或GPU服务器,并且是多人共用,这带来一定的环境搭建和维护成本。而ModelArts的Notebook的优势是即开即用,它预先装好了不同的AI引擎,并且提供了非常多的可选规格,用户可以独占一个容器环境,不受其他人的干扰。只需简单配置,用户即可通过本地IDE连接到该环境进行运行和调试。图1 本地IDE远程访问Notebook开发环境ModelArts的Notebook可以视作是本地PC的延伸,均视作本地开发环境,其读取数据、训练、保存文件等操作与常规的本地训练一致。对于习惯使用本地IDE的开发者,使用远程开发方式,不影响用户的编码习惯,并且可以方便快捷的使用云上的Notebook开发环境。本地IDE当前支持VSCode、PyCharm、SSH工具。还有专门的插件PyCharm Toolkit和VSCode Toolkit,方便将云上资源作为本地的一个扩展。亮点特性2:预置镜像 - 即开即用,优化配置,支持主流AI引擎每个镜像预置的AI引擎和版本是固定的,在创建Notebook实例时明确AI引擎和版本,包括适配的芯片。亮点特性3:提供在线的交互式开发调试工具JupyterLabModelArts集成了基于开源的JupyterLab,可为您提供在线的交互式开发调试。您无需关注安装配置,在ModelArts管理控制台直接使用Notebook,编写和调测模型训练代码,然后基于该代码进行模型的训练。JupyterLab是一个交互式的开发环境,是Jupyter Notebook的下一代产品,可以使用它编写Notebook、操作终端、编辑MarkDown文本、打开交互模式、查看csv文件及图片等功能。
  • [认证交流] 华为云人工智能入门级开发者认证 - HCCDA-AI 第3章华为云EI-API服务介绍-知识传递
    获取您的EI红宝书:https://www.huaweicloud.com/ei/                     华为云EI服务介绍:https://mp.weixin.qq.com/s/f1McTHORZ3OHLSGJHGrc-Q            01 图像识别API服务介绍  https://mp.weixin.qq.com/s/OdfsOTDkBpwLucHhipaXlg            02 图像搜索API服务介绍  https://mp.weixin.qq.com/s/wkelUMwPi7yrgEQfASgODQ            03 内容审核API服务介绍  https://mp.weixin.qq.com/s/HC_aZCfIIF1Ke8ofsUeijw            04 文字识别API服务介绍  https://mp.weixin.qq.com/s/1y6pG2LM83cs4OexHLTBjw            05 自然语言处理API服务介绍  https://mp.weixin.qq.com/s/C196lNKhiA4oeaelvh92hQ            06 语音交互API服务介绍  https://mp.weixin.qq.com/s/QeJ2e7XN9E-Rw3lFSKeA4Q                                            云与数据- HCCDA-AI合集:https://mp.weixin.qq.com/mp/appmsgalbum?__biz=Mzg5Mjc4NjE1Nw==&action=getalbum&album_id=2398219468813811715&scene=173&from_msgid=2247483927&from_itemidx=1&count=3&nolastread=1#wechat_redirect**
  • [认证交流] 华为云人工智能入门级开发者认证 - HCCDA-AI 第2章 人工智能应用集成分析-知识传递
    ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/14/1652462002460141317.png) 获取您的EI红宝书:https://www.huaweicloud.com/ei/ # 1.1 AI技术发展现状及技术挑战 ## 1.1.1 计算机视觉发展现状及技术挑战 ### 是什么? https://www.huaweicloud.com/product/image.html 计算机视觉是使计算机能理解采集设备采集的图像视频的一门学科。形象地说,就是给计算机安装上眼睛(照相机)和大脑(算法),让计算机能够感知环境。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/14/1652461416874478021.png) 如上图所示,真实的世界通过人眼成像,再传递给大脑进行理解,达到理解图像的目的;在机器视觉中,采集设备作为传感装置采集图像,将图像传递给计算机解读,最终达到计算机像人一样“读懂”图片的目的。 ### 能干什么? ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/14/1652461565072415693.png) ### 有什么? ##### ① 视觉任务划分 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/14/1652461621537644789.png) 中级视觉的物体检测包含2个任务:物体定位和分类 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/14/1652461822933594109.png) 有时我们也会说计算机视觉有四大类任务:分类、定位、检测、分割。 ##### ② 视觉的三个层次 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/14/1652461688891753994.png) 底层一般是像素级处理,比如亮度增强、直方图、直方图均化等; 中层即从中分析一些边缘、朝向、纹理等这些特征,可以对图片进行一个分割; 高层需要我们从中得到一些语义信息,比如图片中间是老虎,下边是沙滩,绿色的是草地,这可能是一个野外场景 ### 面临的挑战? ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/14/1652461373371901001.png) ## 1.1.2 自然语言处理发展现状及技术挑战 ### 是什么? https://www.huaweicloud.com/product/nlpf.html 自然语言处理的处理主要包括两个部分:自然语言理解、自然语言生成 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/14/1652461221554996108.png) ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/14/1652461261899121273.png) 自然语言理解(Natural Language Understanding,NLU) 使计算机理解自然语言(人类语言文字)等,重在理解。具体来说,就是理解语言、文本等,提取出有用的信息,用于下游的任务。如情感识别、意图识别、信息检索(包括个性化搜索和语义搜索,文本匹配等)、信息抽取(命名实体提取、关系抽取、事件抽取等)。 自然语言生成(Natural Language Generation, NLG) 提供结构化的数据、文本、图表、音频、视频等,生成人类可以理解的自然语言形式的文本。NLG又可以分为三大类,文本到文本(text-to-text),如翻译、摘要等;文本到其他(text-to-other),如文本生成图片;其他到文本(other-to-text),如视频生成文本。 ### 能干什么? 例: 智能问答 舆情分析 文本分类 实体抽取 摘要生成 AI写诗 机器翻译 内容审核 文本互译 ...... ### 面临的挑战? ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/14/1652460754955869960.png) ## 1.1.3 语音处理发展现状及技术挑战 ### 是什么? https://www.huaweicloud.com/product/rasr.html ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/14/1652460634874321882.png) ### 能干什么? 例: 实时字幕 会议记录 语音搜索 语音导航 有声阅读 ### 面临的挑战? ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/14/1652460728571303721.png) # 1.2 AI应用需求分析 ## 1.2.1 传统软件应用开发与AI应用开发对比 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/14/1652459466560286171.png) ## 1.2.2 为什么需要进行需求分析 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/14/1652460021313211343.png) ### 1.2.2.1 AI应用开发需求分析步骤 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/14/1652459658947449743.png) ### 案例:实例演练--智能人体测温监测系统 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/14/1652459719675956096.png) ##### ① 需求背景 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/14/1652459902567976285.png) ##### ② 需求价值 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/14/1652459918708130176.png) ##### ③ 需求描述 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/14/1652459926968703140.png) ##### ④ 问题抽象 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/14/1652459936087416782.png) ##### ⑤ 可行性分析 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/14/1652459955955590397.png) 人工智能入门级开发者认证:https://edu.huaweicloud.com/certificationindex/developer/aaabf9760a3f4578aa620155e1fcae86 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/14/1652462051683666717.png)
  • [认证交流] 华为云人工智能入门级开发者认证 - HCCDA-AI 更多Other章节 -- 云与数据
    ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/15/1652596136464466668.png) - **获取您的EI红宝书:https://www.huaweicloud.com/ei/** ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/15/1652596251686657653.png) ![公众号.jpg](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/15/1652596841773138256.jpg) - **云与数据** https://mp.weixin.qq.com/mp/appmsgalbum?__biz=Mzg5Mjc4NjE1Nw==&action=getalbum&album_id=2398219468813811715&scene=173&from_msgid=2247483927&from_itemidx=1&count=3&nolastread=1#wechat_redirect**
  • [认证交流] 华为云人工智能入门级开发者认证 - HCCDA-AI 第1章 人工智能概览-知识传递
    获取您的EI红宝书:https://www.huaweicloud.com/ei/1.1 人工智能定义   人工智能 (Artificial Intelligence)是研究、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。                                1.1.1 两个智能:强人工智能 vs 弱人工智能          强:有可能制造出真正的推理和解决问题的智能机器;有知觉;有自我意识;有自己的价值观和世界观体系          弱:不能制造出真正的推理和解决问题的智能机器;看起来智能但并不拥有智能;无自主意识  1.1.2 三个阶段:  1.1.3 四个要素:数据、算法、算力、场景    AI、机器学习、深度学习的关系1.2 人工智能发展历史    1.3 人工智能产业生态  https://report.iresearch.cn/report/202201/3925.shtml(下载链接)  https://report.iresearch.cn/report/202203/3962.shtml(下载链接) 1.3.3 人工智能技术架构   1、基础架构层          大数据:数据是真实世界不同现象的抽象表达,我们可以处理这大数据并能挖掘有价值的信息,知识甚至“智慧”          计算机硬件:CPU、GPU、Ascend910  2、算法层          机器学习:脑海里寻找一个问题答案的过程就是一个机器学习的过程          神经网络和深度学习:人类神经网络、感知器、深度神经网络 (前馈网络,反馈网络,图网络)  3、技术方向          计算机视觉:内容审核、图像搜索、语义分割、人脸检测、车辆检测、图像分类          语音处理:          自然语言处理:   4、应用领域          智慧城市:全城感知、全城预警、全城检索、全城协同          金融:智能投顾、智能投研、智能理赔、智能支付(人脸、指纹、虹膜、声纹)、智能风控          零售:设计、生产制造、收益管理、供应链管理、电商、线下零售          医疗:语音录入病历、医疗影像分析、综合型诊疗、身体健康管理、医疗机器人、医学药物研发          农业:数据分析与预测、降低农药成本、智降低农业收割成本、临空系统1.4 人工智能落地挑战 1.4.1 数据的挑战  1、数据获取          数据积累不足          数据质量差          数据安全合规          数据归属权   2、数据治理          多源异构数据          非结构化数据          海量数据存储与应用   3、数据标注          小场景数据采集          复杂业务场景理解          数据安全 1.4.2 缺乏解释性          深度学习系统的弱解释性给现有的AI系统带来了安全性、稳定性的挑战 1.4.3 算法的偏见          算法的偏见主要源于数据的偏见(如:数据名词认知观点不一致,造成歧视,产生差异) 1.4.4 隐私问题          人工智能算法都是数据驱动,获取大量的用户数据1.5 人工智能发展趋势          1.5.1更完善的人工智能基础数据服务:  1.5.2 更安全的数据共享:          联邦学习在保证数据隐私安全的前提下,利用不同数据源合作训练模型,进一步突破数据的瓶颈 1.5.3 端-边-云全面发展的算力:          应用于云端、边缘设备、移动终端的人工智能芯片规模不断增长 1.5.4 大模型与轻量化:          应对移动终端及各种边缘设备部署的挑战             1.5.5 更易用的框架:          MindSpore、TensorFlow 2.x、Pytorch等主流开发框架都在朝易用、全能的方向演进,不断降低人工智能的开发门槛1.5.6 不断突破的应用场景:          缓解心理问题、自动车险定损、后端办公自动化、…… 1.6 华为AI解决方案          1.6.1 全栈全场景AI解决方案介绍全栈(Full Stack):          技术功能视角;指包括云底座、芯片(昇腾)、开发/训练/推理框架MindSpore和AI使能能力在内的全堆栈方案全场景(All Scenarios):          指包括公有云、私有云、各种边缘计算、物联网行业终端以及消费类终端等部署环境MindSpore:          支持端、边、云独立的和协同的统一训练和推理框架CANN:          芯片算子库和高度自动化算子开发工具Ascend:          基于统一、可扩展架构的系列化AI芯片(Ascend 310和Ascend 910芯片是一款华为自研的云端AI芯片)  1.6.2 企业智能AI开放能力介绍               1. ModelArts          面向AI开发者的一站式开发平台,提供海量数据预处理及半自动化标注、大规模分布式训练、自动化模型生成及端-边-云模型按需部署能力,帮助用户快速创建和部署模型,管理全周期AI工作流。             面向不同经验的AI开发者,提供便捷易用的使用流程          1、面向业务开发者,不需关注模型或编码,可使用自动学习流程快速构建AI应用;          2、面向AI初学者,不需关注模型开发,使用预置算法构建AI应用;          3、面向AI工程师,提供多种开发环境,多种操作流程和模式,方便开发者编码扩展,快速构建模型及应用。  2.ModelArts Pro           面向企业可以拿来即用的专业AI开发套件。基于华为云的先进算法和快速训练能力,ModelArts Pro提供预置工作流和模型,提升企业AI应用的开发效率,降低开发难度。            同时,支持客户自主进行工作流编排,快速实现应用的开发、共享和发布,共建开放生态,实现普惠行业AI落地,真正实现赋能行业AI 应用开发者,全面提升行业AI 开发效率和落地效果。ModelArts Pro套件包括自然语言处理套件、文字识别套件、视觉套件等,能够快速响应不同行业、不同场景的AI落地需求。  3.HiLens  4.AI Gallery          http://huaweicloud.ai  5.盘古大模型          盘古大模型承载在AI Gallery平台,从AI Gallery订阅之后,即可在ModelArts中使用          华为云盘古大模型可以实现一个AI大模型在众多场景通用、泛化和规模化复制,减少对数据标注的依赖。相对于以前的作坊式开发,AI工业化开发效率可以提升10~100倍,同时AI模型具备更佳的性能。  6.智能体          华为云智能体以云为基础,以AI为核心,通过统一的平台和架构,将云、大数据、AI等创新技术与行业机理、专家知识融合,提供一体化协同的智能服务,挖掘数据价值,助力政企智能升级,构筑领先优势  城市智能体:( 1+ X + N    平台+引擎+应用)          城市AI开发运营平台 + (数据管理引擎、全域感知引擎、知识计算引擎、机器人引擎 、调度引擎等)+  一网通办、一网通管、一号通、智慧供热、智慧公交  交通智能体:(宏观--中观--微观)          市级交通大屏          区级交通大屏          路口交通大屏          诊断数据大屏  工业智能体:          焦化配煤(质量预测精度提升)、炼钢配料(成分预测准确率提升)、板材切割(利用率提升)  医疗智能体:(医院、制药公司、研究机构)          靶基因发现、新应用发现、生物标志物研院、AI辅助药物设计等          在线推理 -- AI预测服务、开发环境 -- Notebook分析服务人工智能入门级开发者认证:https://edu.huaweicloud.com/certificationindex/developer/aaabf9760a3f4578aa620155e1fcae86
  • [互动交流] 【ModelArts产品】【notebook功能】no module named matplotlib
    【操作步骤&问题现象】救助!这是什么原因啊【截图信息】【日志信息】(可选,上传日志内容或者附件)
总条数:3403 到第
上滑加载中