• [自动学习] ModelArts控制台中自动学习图像分类及物体检测图片有那些要求
         在 ModelArts控制台中自动学习图像分类中图片有那些要求,网上下载了几十张图片,有好几张感觉是有限制的,具体限制条件是有那些了?
  • [其他] 书籍“ModelArts人工智能应用开发指南” 人工智能应用快速开发声音分类,文本分类模板开发学习分享
    基于ModelArts人工智能快速应用开发,声音分类模板开发与文本分类模板开发,自动学习三步骤1,数据准备与图像分类,目标检测相似,在ModelArts自动学习上基于,声音分类,文本分类,创建一个项目,然后将声音分类,和文本分类的数据进行标准2,自动模型分类训练ModelArts利用声音分类与文本分类算法,并根据输入的数据自动训练声音分类模型,文本分类模型,类似于图像分类,训练之前可以配置更多自己需要的参数,增加训练次数等3,应用部署和测试同样的将训练好的模型部署为一个推理服务,类似于图像分类,目标检测,对模型精准度满意后,可进行部署,和在线测试
  • [问题求助] 【Modelarts CANN20.1推理】【模型推理】AI市场模型在Ascend310上的推理
    【功能模块】AI市场训练好的模型,怎么移植到Ascend310 CANN20.1版本上进行推理,有没有好一点的案例分享等等,需要CANN20.1版本或者CANN20.0版本【操作步骤&问题现象】1、2、【截图信息】【日志信息】(可选,上传日志内容或者附件)
  • [其他] 书籍“ModelArts人工智能应用开发指南” 人工智能应用快速开发目标检测学习分享
    目标检测任务比图像分类稍微复杂一些,需要对图像中感兴趣的目标检测物体进行定位和分类目标检测的用途广泛(人脸检测,车辆识别等)基于ModelArts平台,目标检测的开发流程和图像分类非常相似快速1,数据集准备,首先在目标检测模板创建一个项目,上传图像,并开始标注,如图像中的人脸,需将每张图像的目标类别(人脸标志)用矩形框标注出来,并给具体标签,大概标注十几张至二十几张图像后,便可得一个简易的人脸识别物体检测数据集2,模型自动训练ModelArts利用目标检测算法,并根据输入的数据自动训练目标检测模型,类似于图像分类,训练之前可以配置更多自己需要的参数,增加训练次数等3,应用部署和测试类似于图像分类,对模型精准度满意后,可进行部署,和上传图像在线测试
  • [部署上线] 【ModelArts产品】【在线服务功能】部署成功无法预测
    【功能模块】部署上线-在线服务【操作步骤&问题现象】1、本地跑customize_service 选择本地的语音输入和模型所在位置可以成功预测结果。但是在线服务无法预测2、我想输入语音 .wav 文件,输出检测出的changepoint时间点,表现形式如下:[0.751010820897104, 0.796449856300083, 0.7358620045566927, ……]3、由于AI论文复现活动给出的例子是图片输入,输入.wav格式语音文件的config.json文件的编写格式我不太确定是否正确,如果可以希望专家帮忙看下,万分感谢!!!4、如果问题出在customize_service文件,那我应该怎么改才可以成功预测。希望专家能够解答,万分感谢!!!【截图信息】一、自己按教程改写的config.json文件:{     "model_algorithm": "speaker change detect",     "model_type": "TensorFlow",     "runtime": "python3.6",     "apis": [{             "procotol": "http",             "url": "/",             "method": "post",             "request": {                 "Content-type": "multipart/form-data",                 "data": {                     "type": "object",                     "properties": {                         "wav": {                             "type": "file"                         }                     }                 }             },             "response": {                 "Content-type": "multipart/form-data",                 "data": {                     "type": "object",                     "properties": {                         "change_point": {                             "type": "list",             "item": [{                "type": "number"                         }]                         }                     }                 }             }         }     ],    "dependencies": [{        "installer": "pip",        "packages": [{                "package_name": "tensorflow"            },{"package_name": "tqdm"},{"package_name": "sklearn"}             ,{"package_name": "scipy"},{"package_name": "python_speech_features"}             ,{"package_name": "matplotlib"}        ]    }] }二、以下是我导入到ModelArts中模型包含的全部文件:      请问我保存模型使用的是.ckpt方式是否影响在ModelArts部署?三、在线服务预测出错结果显示,以及日志标红部分:(1).预测出错结果显示{    "error_code": "ModelArts.4302",    "error_msg": "Gateway forwarding error. Failed to invoke backend service due to connection refused. "}(2).日志标红部分【日志信息】(可选,上传日志内容或者附件)
  • [其他] ModelArts上自动学习预测分析为啥需要gitee网站上下载工程呢
           ModelArts上自动学习预测分析为啥需要gitee网站上下载工程呢?这个工程不能编译到ModelArts里吗?看了好几个文档都要求去工程。假如是自己整理数据集来训练,那工程也需要网上下载吗?或者是说网站上没有的话?如何处理?
  • [其他] 最早社区的MLS服务与现在ModelArts的区别?
          机器学习服务(Machine Learning Service,简称MLS)是一项数据挖掘分析平台服务,旨在帮助用户通过机器学习技术发现已有数据中的规律,从而创建机器学习模型,并基于机器学习模型处理新的数据,为业务应用生成预测结果。     但是,MLS服务仅提供机器学习技术,而ModelArts集成了深度学习和机器学习技术,同时ModelArts是一站式的AI开发平台,从数据标注、算法开发、模型训练及部署,管理全周期的AI流程。直白点解释,ModelArts包含并支持MLS中的功能特性。机器学习技术相关的功能可以直接在ModelArts中使用。
  • 华为云ModelArts新成绩,获评人工智能领域最佳产品
    12月18日,2020 ICT影响力峰会·中国软件大会在北京举办,华为云一站式AI开发平台ModelArts凭借领先的技术创新和产品竞争力荣获2020中国软件和信息服务业“人工智能领域最佳产品”。中国软件大会作为我国软件和信息技术服务产业一年一度最高规格的精英盛会,以“筑强软件之基,拥抱数字蝶变”为主,全面系统总结行业年度成就,展现行业领导地位和技术权威观点言论的最佳舞台。
  • [技术干货] 书籍“ModelArts人工智能应用开发指南” 人工智能应用快速开发基于图像分类模板的开发学习分享
    人工智能应用快速开发,ModelArts提供丰富的模板并具备一定的自动化能力,ModelArts使得开发人工智能应用更加便捷,ModelArts目前提供图像分类,目标检测,声音分类,文本分类等多种简单的模板,以及零售商品识别,OCR等复杂模板模板类型 简单模板(行业相关性较弱,包含环节数较少,业务技能要求较多,较为通用)   复杂模板(行业相关性较强,包含环节数较多,业务技能要求较少)图像分类容易理解,就是自动识别图像所属的类别(标签)(近期较热门的美食分类,垃圾分类,OCR任务中的文字分类环节)图像分类数据集两个要素,图像和标签1,数据集准备首先在图像分类模板创建一个项目,上传图像(支持JPG,BMP,PNG,JPRG),可先手动标注,达到智能标注的要求后,可启动智能标注(建议数据集数量庞大时使用)在ModelArts中,在“数据管理”页面,完成数据导入、数据标注等操作,为模型构建做好数据准备。ModelArts以数据集为数据基础,进行模型开发或训练等操作。2,自动模型训练,数据集准备完毕后,可以点击“开始训练”按钮启动模型训练(可按照此链接操作 https://bbs.huaweicloud.com/blogs/192400 )3,应用部署和测试对模型精准度满意后,可进行部署,和在线测试,列如,选择V001的训练版本,再点击部署,可将其生产的模型直接部署到云上,成为一个推理服务,部署成功后,可上传一个新的图像,并得到推理结果
  • [其他] modelarts日志的时间小瑕疵
    自动学习。一个UTC时间,在“日志”里:(非本地时区)2020-12-19 13:16:03 UTC [ThreadPoolEx] - /home/mind/app.py[line:56] - INFO: loading model successfully, model name: exeML-weapon_ExeML_418628f0一个GMT+8(也等于UTC+8小时)时间,在“事件”里:(本地时区)[exeML-weapon_ExeML_418628f0 0.0.3] start model success2020/12/19 21:16:20 GMT+08:00二边时间不一致,需要自己转换一下,我觉得二边一致的话(都使用本地时区),对用户更友好一点。不过也可以不必在意这些细节啦,哈哈
  • [MDG] 【MDG西南大学站】基于ModelArts的人脸表情识别
    本次MDG西南大学线下活动,主要以《人脸表情识别》代码开发案例让同学们线下实际感受华为云ModelArts的代码开发流程,由浅入深带领同学们一起学习ModelArts,感受ModelArts的开发乐趣,传播MDG社区文化与魅力。在这里你能够站在华为云生态的角度了解云端一站式AI开发的流程学会基于华为云ModelArts进行《人脸表情识别》案例的AI开发过程了解到当下最火热的AI知识与AI社区文化一次和西南大学优秀学长学姐交流对话的机会一系列精美的华为周边小礼品   时间地点分享嘉宾:任云潇主持人:潘永斌时间:2020.12.19(星期六)15:00-16:00沙龙地点:线下分享 报名成功,根据报名顺序,邀请进活动群后告知。面向人群:西南大学在校师生本次开发现场将提供网络环境和动手实验课程,开发者需自行携带可连接互联网的PC 设备嘉宾介绍西南大学含弘学院本科生,多次做为主讲嘉宾参与过华为云AI技术直播活动,已取得英国帝国理工学院硕士offer,研究方向为医疗图像的病灶检测。曾参加2020年Robomaster机甲大赛获得全国一等奖,多次于全国数学建模大赛中崭露头角,参与过涵盖国家重点研发项目在内的多个科研项目。 西南大学电子信息工程学院硕士生,华为云云享专家,华为云校园大使,华为全国十大开发者社区之星唯一学生获得者,已取得20余个互联网秋招offer,累计获得过数十项华为,阿里巴巴,微软等企业在内的专业技能认证。研究方向为计算机视觉,自然语言处理,图像描述,曾参与过国家重点研发项目在内的多个科研项目。活动流程轻松的氛围,技术宅的聚会!让我们相聚线下,共同开启华为云MDG西南大学线下站开发之旅。签到华为云ModelArts一站式AI开发平台介绍MDG开发者社区介绍基于ModelArts的《人脸表情识别》案例讲解现场实操讨论与交流合影留念温馨提示1、本次活动免费;2、本次开发现场将提供⽹络环境和动⼿实验课程,开发者需⾃⾏携带可连接互联⽹的PC设备;3、本次MDG西南大学线下活动,因疫情影响,此次线下分享活动面向对象为西南大学在校师生。并且根据报名顺序,邀请进入活动群。(限额60人)
  • [干货分享] 书籍“ModelArts人工智能应用开发指南”人工智能历史发展学习分享
    人工智能已经有70多年的历史,三个学派,符号主义学派,联结主义学派和行为主义学派,人工智能已经在很多产品和商业场景中国发挥了巨大的作用,如语音识别,人脸识别,机器翻译,数据分析等。人工智能应用特点 灵活性,性能(高效,功耗低,内存小,成本低),鲁棒性,公平性,可解析性,安全性人工智能应用的商业化场景,自动驾驶,语音助手,智能制造业,医疗,地理,天文,金融,数字政府等1956年夏季,John McCarthy、Marvin Minsky、Claude Shannon等人在美国举办的达特茅斯会议上首次提出了“人工智能”的概念。这是人类历史上第1个有真正意义的关于人工智能的研讨会,也是人工智能学科诞生的标志,具有十分重要的意义。人工智能概念一经提出,便收获了空前的反响,人工智能历史上的第1股浪潮就这样顺理成章地形成了,该浪潮随即席卷全球。当时,普通大众和研究人工智能的科学家都极为乐观,相信人工智能技术在几年内必将取得重大突破和快速进展,甚至预言在20年内智能机器能完全取代人在各个领域的工作。1973年《莱特希尔报告》的出现将其终结,该报告用翔实的数据明确指出人工智能的任何部分都没有达到科学家一开始承诺达到的影响力水平,至此人工智能泡沫被无情地戳破,在人们幡然醒悟的同时,人工智能历史上的第1个寒冬到来,人们对人工智能的热情逐渐消退,社会各界的关注度和资金投入也逐年减少。20世纪80年代,专家系统(Expert  System)出现又让企业家和科学家看到了人工智能学科的新希望,继而形成人工智能历史上的第2股浪潮。
  • [其他] 学习ModelArts控制台操作行人跌倒打卡贴
       学习ModelArts控制台操作行人跌倒打卡贴,有个疑问这种模型订阅的以后是否可以支持选择不同的算法来进行优化了。
  • [其他] ModelArts控制台口罩佩戴的识别学习打卡贴
    ModelArts控制台口罩佩戴的识别打卡,感受就是对于明星的人物识别准确率是可以的,但是卡通人物识别就不是很准确了,预测截图为证,下图例行贴几个预测结果截图:
  • [AI大赛] ModelArts AI市场算法Panoptic Deeplab使用指导
    本文档是ModelArts AI市场算法 Panoptic Deeplab(以下简称为本算法)的详细使用方法。目前算法还有待完善,将在未来进行积极更新。本算法使用Cityscapes高质量标注数据集中的train集和val集,使用train集训练,在val集上测试达到了mIOU=80.3的准确率。1 准备数据集本算法支持的数据集格式为Cityscapes数据集。Cityscapes数据集包含来自50个不同城市的街道场景中记录的各种立体声视频序列集,以及较大的20000个弱注释帧集和5000个帧的高质量像素级注释。因此,该数据集比已有的类似数据集大一个数量级。有关带注释的类的详细信息和注释示例可在数据集官网上找到。Cityscapes 数据集旨在用于:(1) 评估视觉算法在语义城市场景理解的主要任务上的性能:像素级,实例级和全景语义标记;(2) 支持旨在利用大量(弱)注释数据的研究,例如用于训练深度神经网络。1.1 下载数据集可点此链接下载gtFine_trainvaltest.zip 和 leftImg8bit_trainvaltest.zip 两个文件,如下图所示:gtFine_trainvaltest.zip解压后的目录结构如下:gtFine/   train/   val/   test/leftImg8bit_trainvaltest.zip解压后的目录结构如下:leftImg8bit/   train/   val/   test/将这两个文件解压后组织成如下结构:cityscapes/   gtFine/     train/     val/     test/   leftImg8bit/     train/     val/     test/接下来使用开源的cityscapesScripts来进行数据集处理(推荐在Linux系统下进行处理)。首先从GitHub上下载处理脚本git clone https://github.com/mcordts/cityscapesScripts cd cityscapesScript接下来运行脚本export CITYSCAPES_DATASET=/path/to/abovementioned/cityscapes && python cityscapesscripts/preparation/createTrainIdLabelImgs.py export CITYSCAPES_DATASET=/path/to/abovementioned/cityscapes && python cityscapesscripts/preparation/createPanopticImgs.py最终得到的数据集结构如下:cityscapes/   gtFine/     train/       aachen/         *_color.png, *_instanceIds.png, *_labelIds.png, *_polygons.json,         *_labelTrainIds.png       ...     val/     test/     cityscapes_panoptic_train.json     cityscapes_panoptic_train/     cityscapes_panoptic_val.json     cityscapes_panoptic_val/     cityscapes_panoptic_test.json     cityscapes_panoptic_test/   leftImg8bit/     train/     val/     test/1.2 安装OBS Browser+并上传数据集ModelArts使用对象存储服务(OBS)来存储数据,实现安全、高可靠和低成本的存储需求。OBS Browser+是一款用于访问和管理对象存储服务(Object Storage Service,OBS)的图形化工具,支持完善的桶管理和对象管理操作。OBS Browser+的图形化界面可以非常方便地让用户在本地对OBS进行管理,例如:创建桶、上传下载文件、浏览文件等。具体操作步骤如下:(1)点此下载OBS Browser+,下载完成后解压缩,双击exe进行安装,安装完成后运行;(2)登录界面如下图所示,需要您填写账号名、Access Key ID(AK)和Secret Accsee Key(SK),参考此文档,获取AK和SK,华为云上的许多产品都需要用到访问密钥,请妥善保存该密钥文件,然后参考下图填写您的华为云账号名及刚获取的AK和SK,点击登录;(3)参考下图,点击“创建桶”,输入桶名称,注意:区域要选择华北-北京四、标准存储、私有、关闭多AZ,桶名需自定义,OBS桶名要全局唯一,如提示桶名已存在,则需要您修改为其他名称,比如本文设置桶名为paper-reproduction-01。您设置的桶名必须与此不同,如在下文的操作指导中看到paper-reproduction-01,请主动将桶名替换为您自己的桶名,下文将不再进行提示;(4)点击桶名称,进入到桶中,点击“新建文件夹”,输入文件夹名称,如“train_input”,点击进入文件夹,再新建“datasets”,点击“上传”->“添加文件夹”-> 选择本地下载好的数据集压缩包(之所以选压缩包格式是因为如果数据集比较大,上传压缩包比上传文件夹快很多) –> 确定,如下图所示;由于本算法目前只支持使用数据集文件夹(后续会添加压缩包支持),可以先上传数据集压缩包,然后使用ModelArts中的notebook开发环境进行解压后将解压的包拷贝回OBS。您也可以直接通过添加文件夹来上传cityscapes文件夹。(5)点击OBS Browser+左侧的“任务管理”,可查看数据上传进度。如下图所示,点击设置,在基础设置中,设置最大并发数为最大值50,可以加快数据上传速度2. 订阅本算法点击本页面右上方的【订阅】按钮。然后点击页面下方的【下一步】按钮,再点击【确认付款】按钮,最后点击【确定】按钮进入我的订阅页面,可以看到刚刚订阅的算法。点击【应用控制台】超链接,选择华北-北京四区域,进入算法管理页面。如下图所示,点击“同步”按钮,同步算法,可以点击刷新按钮,刷新状态。当状态变成就绪时,表示同步成功。3. 创建训练作业点击上图中的“创建训练作业”,按照下表填写训练作业参数:参数名参数值算法名称默认值即可,无需修改数据来源数据存储位置,选择obs://paper-reproduction-01/algorithms/train_input/datasets/模型输出选择obs://paper-reproduction-01/algorithms/train_outputnum_gpus8load_weight空evalFalseconfig空(若需要自定义参数,可以填写例如:obs://paper-reproduction-01/config的路径)iteration2500learning_rate0.000001ims_per_batch8作业日志路径选择obs://paper-reproduction-01/algorithms/logs资源池公共资源池规格modelarts.bm.gpu.8v100计算节点个数1点击下一步,提交,训练作业的状态会经历“初始化”、“部署中”、“运行中”和“运行成功”四个状态。训练作业运行成功后,在上表中指定的“模型输出”路径下会自动生成model目录,该目录下有模型文件、ModelArts平台推理脚本(config.json、customize_service.py)和其他运行模型必备的文件。对算法参数的几点说明: 本算法目前支持1-8卡训练,默认1卡当eval=True时,进行评估,load_weight填写想要评估的模型在obs上的路径,若load_weight为默认值,则默认评估本算法内置的达到论文精度的模型当eval=False时,进行训练,load_weight填写想要断点续训的模型在obs上的路径,若load_weight为默认值,则默加载本算法内置的达到论文精度的模型,若load_weight为空,则默认从零开始训练(train from scratch)。若想要获得算法中的达到论文复现精度的模型model_final.pth及配置文件,只需要将eval填写为True,load_weight保持默认,在模型输出路径就能够看到model文件夹,其中包含有该模型。4. 模型导入准备好模型及相关的必备文件后,您可以将生成的模型导入至ModelArts模型管理。具体操作如下:(1)在ModelArts控制台的左侧导航栏点击“模型管理” -> “模型”,点击右侧页面中的“导入”。在导入模型页面填写名称,选择元模型来源,可以直接从训练中选择,也可以从OBS中选择。如果是从OBS中选择,则需要选择到model目录的上一级目录;例如,本次可选择的目录为obs://paper-reproduction-01/algorithms/train_output,如下图所示:注意:选择好元模型路径后,“AI引擎”会自动填充。如未能自动填充,请检查元模型路径是否是model目录的上一级目录,或者model目录下是否包含模型配置文件config.json。(2)点击“立即创建”,需要一点时间来等待模型导入和构建,当模型版本状态为“正常”后,即表示模型导入成功。5. 创建在线服务在ModelArts上,可以将模型部署为在线服务,然后上传图片进行预测,直接在网页端观察预测结果。部署为在线服务具体步骤如下:(1)在ModelArts左侧导航栏中选择“部署上线 -> 在线服务”,然后点击页面中的“部署”;(2)在部署页面填写参数,其中在“模型列表”选择要导入的模型及版本,计算节点规格选择CPU即可;(3)点击“下一步”,参数确认无误后,点击“提交”。提交后,您可以在在线服务列表中查看部署进度,当状态变为“运行中”后,点击服务名称,进入详情页面,点击“预测”,上传图片进行测试。6. 创建批量服务在ModelArts上,还可以将模型部署为批量服务,从OBS加载测试集图片进行预测,然后将预测结果输出到OBS。部署为批量服务具体步骤如下:(1)在ModelArts左侧导航栏中选择“部署上线 -> 批量服务”,然后点击页面中的“部署”;(2)在部署页面填写参数,其中在“模型列表”选择要导入的模型及版本,填写输入数据目录和输出数据目录,计算节点规格选择“CPU 2核 8GB”,计算节点个数设为1;(3)点击“下一步”,参数确认无误后,点击“提交”。提交后,您可以在批量服务列表中查看部署进度,当状态变为“运行中”后,表示正在预测中,当状态变为“运行完成”,表示这批图片已经预测结束,预测结果是一批txt文件,保存在上图指定的OBS输出数据目录位置中,可以前往该目录查看结果。7. 评估结果重新创建一个训练作业,eval填写True,load_weight填写想要评估的文件,其他保持默认,就可以进行评估。评估后在输出目录会有如下结构pred_results/     infer_results/     CityScapesInstanceEval/ #实例分割结果     CityScapesSemSegEval/   #语义分割结果     PanopticEval/           #全景分割结果     predictions.json        #预测列表 eval_result.txt             #评估结果 model/                      #用于部署在线服务的model文件夹
总条数:2968 到第
上滑加载中