• [问题求助] ModelArts训练bert模型错误:The list of path names matching the patterns
    【操作步骤&问题现象】我正在ModelArts平台上使用MindSpore版本的bert模型进行训练,但在上传workspace过程中遇到了这样的错误ValueError: The list of path names matching the patterns is empty.请问这是什么问题,又该如何解决呢,望高人解答【截图信息】这是我的参数配置:【日志信息】(可选,上传日志内容或者附件)
  • [其他] 运行第一条Workflow简介
    Workflow的构成工作流是对一个有向无环图的描述。开发者可以通过 Workflow 进行有向无环图(Directed Acyclic Graph,DAG)的开发。一个DAG是由节点和节点之间的关系描述组成的。开发者通过定义节点的执行内容和节点的执行顺序定义DAG。如下图,绿色的矩形表示为一个节点,节点与节点之间的连线则是节点的关系描述。整个DAG的执行其实就是有序的任务执行模板。图1 工作流数据准备:前往AI Gallery下载常见生活垃圾图片数据集。选择下载方式为“ModelArts数据集”,选择目标区域“华北-北京四”,目标位置为数据集的输出路径,数据集名称建议修改为可识别的有含义的名称。订阅工作流:前往AI Gallery订阅图像分类-ResNet_v1_50工作流。运行工作流:订阅完成后,单击“运行”进入配置页面,选择云服务区域“华北-北京四”,版本选择1.0.0,工作空间默认为default,也可修改成其它工作空间,单击“导入”即可。说明:工作流运行的工作空间需要与创建的数据集所在工作空间保持一致,否则工作流配置时无法选到准备好的数据集。完成全局配置:导入完成后会自动跳转至workflow的详情页面,在详情页单击右上方的“配置”按钮完成配置。表1 配置参数说明参数配置说明运行配置该参数为输出根目录配置,整个工作流的输出均会被保存在该目录下。资源配置训练资源规格配置,建议选用GPU规格。数据标注节点配置选择预先创建的数据集即可,版本可以不用选择。task_name填写需要创建的标注任务名称即可。说明:首次运行需要配置,会自动创建新的标注任务,后续不建议进行修改,使用同一个标注任务进行数据标注。训练相关参数配置算法超参相关的配置,每个参数的具体含义已在输入框下方进行说明(可直接使用默认值)。模型名称参数配置配置生成的模型名称,工作流多次运行使用同一个模型名称会自动新增版本。工作流运行完成后用户可以在Modelarts界面的AI应用进行查看。配置完成后单击右上方“保存配置”按钮,保存完成后单击“启动”开始运行工作流。工作流运行配置:工作流在运行过程中,需要用户在数据标注节点以及服务部署节点完成相关操作或者配置。数据标注节点:标注节点启动后会等待用户确认数据标注是否完成,用户需单击“详情”前往数据集页面查看该数据集是否已完成标注。确认数据标注完成后返回执行页面,单击“继续运行”。服务部署节点:“选择模型模板”默认选择最新模型版本,“计算节点规格”选择GPU类型,参数可单击开启“是否自动停止”,默认不开启。配置完成后单击“继续运行”即可,等待服务部署完成。测试推理服务:工作流运行完成后,在服务部署节点右侧单击“详情”进行跳转或者在ModelArts管理控制台,选择“部署上线>在线服务”,找到部署的推理服务,单击服务名称,进入服务详情,单击“预测”。
  • [其他] ModelArts配置子用户使用部分云服务的权限
    前提ModelArts作为华为云的顶层服务,其部分功能依赖于华为云其它服务的访问权限,这里说说对于子用户使用ModelArts时,如何根据需要开通的功能配置子账号相应权限。背景说明子用户的权限,由主用户来控制,主用户通过IAM的权限配置功能设置用户组的权限,从而控制用户组内的子用户的权限。详细步骤Step1 创建用户组并加入用户主用户账号下面可以创建多个子用户,并对子用户的权限进行分组管理。此步骤介绍如何创建用户组、子用户、并将子用户加入用户组中。主用户登录华为云的管理控制台,单击右上角用户名,在下拉框中选择“统一身份认证”,进入IAM服务。图1 登录控制台创建用户组。在左侧菜单栏中,选择“用户组”。单击右上角“创建用户组”,在“用户组名称”中填入“用户组02”,然后单击“确定”完成用户组创建。图2 创建用户组创建完成后,返回用户组列表。通过用户组管理,将已有子用户加入到用户组中。如果没有子用户账号,可以创建子用户并加入用户组。创建子用户账号并加入用户组。在IAM左侧菜单栏中,选择“用户”,单击右上角“创建用户”,在“创建用户”页面中,添加多个用户。请根据界面提示,填写必选参数,然后单击“下一步”。图3 创建多个用户在“加入用户组”步骤中,选择“用户组02”,然后单击“创建用户”。图4 加入用户组系统将逐步创建好前面设置的2个用户。Step2 为用户组配置IAM权限主用户为子用户授予ModelArts、OBS等云服务的使用权限后,子用户才可以使用这些云服务。此步骤介绍如何为用户组中的所有子用户授予使用ModelArts、OBS、SWR等各类云服务的权限。主用户在IAM服务的用户组列表页面,单击“授权”,进入到授权页面,为子用户配置权限。图5 为用户组授权图6 进入授权页面配置授权前,请先了解ModelArts各模块使用到的最小权限要求,如表1所示。配置ModelArts使用权限。如下图,搜索ModelArts。ModelArts FullAccess权限和ModelArts CommonOperations权限只能二选一,不能同时选。选择说明如下:ModelArts CommonOperations没有任何专属资源池的创建、更新、删除权限,只有使用权限。推荐给子用户配置此权限。如果需要给子用户开通专属资源池的创建、更新、删除权限,此处要勾选ModelArts FullAccess,请谨慎配置。图7 配置ModelArts使用权限配置OBS使用权限。如下图,搜索OBS,勾选“ OBS Administrator”。ModelArts训练作业中需要依赖OBS做数据中转,需要配置OBS的使用权限。图8 配置OBS使用权限配置SWR使用权限。如下图,搜索SWR,勾选“ SWR FulAccess”。ModelArts的自定义镜像功能依赖镜像服务SWR FullAccess权限。图9 配置SWR使用权限(可选)配置密钥管理权限。如果需要使用ModelArts Notebook的SSH访问功能,依赖密钥管理权限。如下图,搜索DEW,勾选“DEW KeypairFullAccess”。此处需要注意以下Region配置的是DEW密钥管理权限:华北-北京一、华北-北京四、华东-上海一、华东-上海二、华南-广州、西南-贵阳一、中国-香港、亚太-新加坡。其他Region配置的是KMS密钥管理权限。本示例中使用“华南-广州”Region举例,所以需要配置DEW密钥管理权限。图10 DEW密钥管理权限图11 KMS密钥管理权限(可选)配置智能边缘平台使用权限。ModelArts的边缘服务依赖华为云的智能边缘平台,要求配置Tenant Administrator权限。注意:Tenant Administrator权限比较大,包含全部云服务的管理权限,而不仅仅是使用Modelarts服务。请谨慎配置。图12 配置智能边缘平台使用权限(可选) 配置CES云监控和SMN消息通知使用权限。ModelArts推理部署的在线服务详情页面内有调用次数详情,点击可查看该在线服务的调用次数随时间详细分布的情况。如果想进一步通过CES云监控查看ModelArts的在线服务和对应模型负载运行状态的整体情况,需要给子用户授予CES权限。如果只是查看监控,给子用户授予CES ReadOnlyAccess权限即可。图13 CES云监控CES ReadOnlyAccess权限如果还需要在CES上设置监控告警,则需要再加上CES FullAccess 权限,以及SMN消息通知权限。图14 CES云监控设置监控告警权限图15 SMN消息通知权限(可选)配置VPC权限。如果用户在创建专属资源池过程中,需要开启自定义网络配置,此处需要授予用户VPC权限。图16 配置VPC权限单击左上角的“查看已选”,确认已勾选的权限。图17 查看已选权限再单击“下一步”,设置最小授权范围。单击“展开其他方案”,选中“指定区域项目资源”,勾选“cn-south-1 [华南-广州]”,单击“确定”。本示例中以只允许用户使用“华南-广州”Region的服务为例。图18 选择授权的区域范围提示授权成功,查看授权信息,单击“完成”。此处的授权生效需要15-30分钟。Step3 为用户组配置ModelArts的委托访问授权配置完IAM权限之后,需要在ModelArts页面为子用户设置Modelarts访问授权,允许ModelArts访问OBS、SWR、IEF等依赖服务。此方式只允许主用户为子用户进行配置。因此,本示例中,管理员帐号需为所有用户完成访问授权的配置。使用主用户的账号登录ModelArts服务管理控制台。请注意选择左上角的区域,例如“华南-广州”。图19 ModelArts控制台在左侧导航栏单击“全局配置”,进入“全局配置”页面。单击“添加授权”。在“授权”页面,在“用户名”下面选择“所有用户”,选择“新增委托”,为该主用户下面的所有子用户配置委托访问授权。普通用户:普通用户的委托权限包括了用户使用ModelArts完成AI开发的所有必要功能权限,如数据的访问、训练任务的创建和管理等。一般用户选择此项即可。自定义:如果对用户有更精细化的权限管理需求,可使用自定义模式灵活按需配置ModelArts创建的委托权限。可以根据实际需在权限列表中勾选要配置的权限。图20 配置委托授权图21 普通用户委托权限勾选“我已经详细阅读并同意《ModelArts服务声明》”,然后单击“创建”,完成委托授权配置。图22 完成委托授权配置Step4 测试用户权限由于Step2 为用户组配置IAM权限中的权限需要等待15-30分钟生效,建议在配置完成后,等待30分钟,再执行如下验证操作。使用用户组02中任意一个子用户登录ModelArts管理控制台。在登录页面,请使用“IAM用户登录”方式进行登录。首次登录会提示修改密码,请根据界面提示进行修改。验证ModelArts权限。在左上角选择区域,区域需与授权配置中的区域相同。本示例以“华南-广州”为例。在ModelArts左侧菜单栏中,选择“开发环境>Notebook”,界面未提示权限不足,表明ModelArts的使用权限和委托授权配置成功。如果提示如图所示信息,说明未配置ModelArts委托访问授权,请参考Step3 为用户组配置ModelArts的委托访问授权,使用主用户为子用户配置ModelArts委托访问授权。图23 提示权限不足在ModelArts左侧菜单栏中,选择“开发环境>Notebook”,单击“创建”,如果可以正常打开创建页面,说明具备ModelArts的操作权限。您也可以尝试其他功能,例如“训练管理>训练作业”等,如能正常打开创建页面,即可正常使用ModelArts。验证OBS权限。在左上角的服务列表中,选择OBS服务,进入OBS管理控制台。在OBS管理控制台中,单击右上角的“创建桶”,如果能正常打开页面,表示当前用户具备OBS的操作权限。验证SWR权限。在左上角的服务列表中,选择SWR服务,进入SWR管理控制台。在SWR管理控制台中,如果能正常打开页面,表示当前用户具备SWR的操作权限。依次验证其他可选权限。验证结束,当前用户同时具备ModelArts部分功能的操作权限,可正常开始使用ModelArts服务。
  • [部署上线] 【modelarts】【模型判分失败】提交模型判分失败
    在线预测和批量预测结果都正常,但提交模型后判分失败,提示批量推理服务运行失败。deploy service failed。
  • [开发环境] 无法打开modelarts的开发环境notebook
    【功能模块】modelarts【操作步骤&问题现象】1、无法打开modelarts的开发环境notebook2、2022年6月14日:我发现了是控制台-北京四的问题,我在控制台广州是可以的!!!请问北京四最近是在维护吗?【截图信息】【日志信息】(可选,上传日志内容或者附件)
  • [技术干货] 华为云人工智能入门级开发者认证 HCCDA-AI - 知识传递 & 领取考试劵
    【第1章 人工智能概览-知识传递】华为云人工智能入门级开发者认证 - HCCDA-AI 第1章 人工智能概览-知识传递-云社区-华为云 (huaweicloud.com)【第②章 人工智能应用集成分析】华为云人工智能入门级开发者认证 - 第②章 人工智能应用集成分析-云社区-华为云 (huaweicloud.com)【第③章 华为云EI服务介绍】 华为云人工智能入门级开发者认证 - 第③章 华为云EI服务介绍-云社区-华为云 (huaweicloud.com)【第④章 ModelArts服务介绍】 华为云人工智能入门级开发者认证 - 第④章 ModelArts服务介绍-云社区-华为云 (huaweicloud.com)【第⑤章 HiLens服务介绍】 华为云人工智能入门级开发者认证 - 第⑤章 HiLens服务介绍-云社区-华为云 (huaweicloud.com)【第⑥章 人工智能应用集成产品测试】 华为云人工智能入门级开发者认证 - 第⑥章 人工智能应用集成产品测试-云社区-华为云 (huaweicloud.com)                                                     获取您的EI红宝书:https://www.huaweicloud.com/ei/                                                             感兴趣的请关注:微信公众号:合集  #HCCDA-AI (qq.com
  • [API使用] 【ModelArts产品】【CV.Resize功能】Resize: load image failed.
    【功能模块】我自定义myDataSet类,然后使用data = GeneratorDataset()加载数据,在使用data.map(Resize())时报错“Resize: load image failed.”我的代码和数据在附件中给出。请问大家,我这个什么原因?【操作步骤&问题现象】1、2、【截图信息】加载数据输出是这样的然后Resize,再输出【日志信息】(可选,上传日志内容或者附件)
  • [获奖公告] 【体验官2022年第1季度积分排名公示】
    感谢各位体验官的积极参与,以下为2022年第1季度积分榜(积分统计截止体验活动ModelArts AI开发平台全流程开发体验,共5期)公示时间(6.1-6.6)公示期间无异议,以下结果为最终排名积分说明:1.完成调研问卷得1积分,被评为优秀调研任务或参与线上连线得2积分2.参与体验任务得3积分,评为优秀报告得5积分。3.第1期调研活动因被取消,所以不算在本次积分统计中。4.本次优化任务,是之前2位体验官在活动中表现优异,提出了大量的优化建议,产品部决定直接定向邀约2位体验官进行产品迭代后的功能验证。微信昵称总积分参与次数调研2:弹性云服务器ECS及控制台首页使用调研访谈调研3:华为云对象存储及控制台首页使用用户调查访谈调研4:华为云CBR云备份服务用户访谈优化任务:DRS产品验证与优化体验任务1:ModelArts AI开发平台全流程开发体验@~@831 2 5姚圣伟632 22 苏冰63222  leo@微客派52  2 3李林高51    5朱自立51    5武汉-窵禠42  22 huqi8842 1  3A-Louis31    3Larry-济南-EasyRedmine31    3映在天空中的宇宙31    3孙小北31    3Angelababybody31    3葛伟杰31    3冯慧轩31    3马钧31    3Micker22 11  法凯212    嘉鹏22 11  立国111    Cx330111    小修11  1  我们将对季度积分排名前三的体验官颁发礼品第一名:富士INSTAX 一次成像相机 mini7第二名:雷柏机械键盘V700第三名:智能床头灯以上积分如有问题请联系开发者1号小助手,谢谢。
  • [沙箱纠错] ModelArts服务应用-商超商品识别_步骤
    按照实验香蕉没有识别出来
  • [其他问题] 【ModelArts产品-可视化作业】【mindinsight】运行作业一直报错error_code:CF2.E00003或50
    【功能模块】mindinsight【操作步骤&问题现象】1、使用HCSO-ModelArts,创建可视化作业,作业类型选择mindinsight2、启动作业,运行界面跳转报错 502或者error_code:CF2.E00003【截图信息】
  • [干货汇总] 基于华为云ModelArts的水表读数识别开发实践
    >【摘要】 这是水表读数识别项目,实现了如何端到端完成水表读数识别项目。涉及领域包括图像分类、语义分割、OCR文本检测、OCR文本识别。本文分享自华为云社区《[基于华为云ModelArts的水表读数识别开发实践【华为云至简致远】](https://bbs.huaweicloud.com/blogs/358446)》,作者: Tianyi_Li 。# 水表读数识别**项目简介:**这里实现了如何端到端完成水表读数识别项目。涉及领域包括图像分类、语义分割、OCR文本检测、OCR文本识别。本案例提供的方法较多,涉及多个模型,但不需要运行所有的模型。如果都测试一遍,默认创建的5GB磁盘规格可能不够用。**磁盘空间不够时可以将不需要的数据和模型文件删除,腾出空间;或者创建NoteBook时将磁盘规格增加到10GB。****解决方案流程:**一、使用语义分割或者OCR文本检测算法识别水表读数所在的四边形区域,并对四边形进行仿射变换转换成矩形,保存成新的图片数据。二、如果文本区域的图片翻转严重,那第一步抠图生成的数据可能会有180度的翻转。因为文本识别的算法对翻转180度的场景效果不佳,所以再训练一个识别文本翻转的分类模型(本案例图片旋转角度微小,不需要此步骤,内容可供参考)。三、利用步骤一中检测并抠图出来的文本数据训练OCR文本识别算法,识别图片中的文本内容,即数字。数据集为华为云AI Gallery上提供的数据集。详情可参见本案例的关联资产。**下载该项目依赖脚本:**```!wget --no-check-certificate https://modelarts-cnnorth4-market.obs.cn-north-4.myhuaweicloud.com/moxing-apps/notebooks/WaterMeter_Identification/deps.zip -O deps.zip!unzip -qo deps.zip!rm -f deps.zip!ls```!(https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20226/10/1654828290640769180.png)该案例效果图如下```import cv2import matplotlib.pyplot as pltplt.figure(figsize=(10, 10))plt.imshow(cv2.imread('./imgs/result1.PNG'))plt.show()```!(https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20226/10/1654828313147600490.png)# 1.准备环境**请在本页面的右上角确认您所选择的kernel是PyTorch-1.4,选择的规格是GPU,如下图所示:**!(https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20226/10/1654830674303482240.png)如果没有V100,也可以选择P100,如图所示,看看配置:!(https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20226/10/1654830683253159783.png)**运行时依赖**- moxing>=2.0.1- torch>=1.4- 1.4.0>mmcv-full>=1.3.8 (如果环境中没有mmcv-full,安装可能会消耗10几分钟)- tensorboard- 将环境中的pycocotools替换成mmpycocotools- 其他依赖安装- lanms安装```!pip uninstall -y moxing!pip install --upgrade pip!pip install "mmcv-full>=1.3.8,
  • [技术干货] 【modelarts产品】【AI模型转换功能】modelatrs训练的模型,如何变成算法包上传到IVS1800里
    如题
  • [技术干货] 修改本地训练脚本让其适合在ModelArts上运行
     1、数据集准备:下载二进制的cifar10数据集。分成两个文件夹train和eval原始代码参数中的—run_distribute和—device_num都是可以区分是否是分布式训练。 2、华云上页面传过来的产生都是string类型的,无法识别bool类型。故这两个参数的处理方法是使用默认值,不要再华为云页面传这两个参数。 3、华为云上通过环境变量’RANK_SIZE’可以获取到卡的数量。4、华为云中这两个参数的固定为’—data_url’和‘—train_url’5、数据和脚本都是存放到obs中,而训练是运行在容器中的,故需要obs和容器进行数据交换,使用moxing接口。由于容器中的/cache目录是比较大的,一般都把数据存储在该目录下。6、对应单机多卡,一个容器中启动多个训练进程,为了避免多个训练进程下载的数据在相同的目录下避免冲突,顾修改如下的:local_train_url的数据路径,根据不同的device_id下载在不同的目录中。7、由于8张卡保存的checkpoit文件和路径都是相同的,为了避免冲突,只需要其中一张卡保存checkpoit文件到输出路径。8、dataset.py中通过RANK_SIZE获取device_num,和DEVICE_ID获取卡的id更多请参考:【五一两日集训营】MindSpore之ResNet50讲解与实践视频:https://www.bilibili.com/video/BV1nK4y1b7X2?spm_id_from=333.337.search-card.all.click https://bbs.huaweicloud.com/forum/thread-107285-1-1.html
  • [技术干货] 【modelarts】【codelab】试用的p100 gpu不生效,还是cpu机器
    切换gpu后还是只有cpu,右侧性能显示里也只有cpu利用率没有gpu。【功能模块】【操作步骤&问题现象】1、2、【截图信息】【日志信息】(可选,上传日志内容或者附件)
  • [其他] ModelArts的数据标注简介
    人工标注对于不同类型的数据,用户可以选择不同的标注类型。当前ModelArts支持如下类型的标注作业:    图片        图像分类:识别一张图片中是否包含某种物体。        物体检测:识别出图片中每个物体的位置及类别。        图像分割:根据图片中的物体划分出不同区域。    音频        声音分类:对声音进行分类。        语音内容:对语音内容进行标注。        语音分割:对语音进行分段标注。    文本        文本分类:对文本的内容按照标签进行分类处理。        命名实体:针对文本中的实体片段进行标注,如“时间”、“地点”等。        文本三元组:针对文本中的实体片段和实体之间的关系进行标注。    视频    视频标注:识别出视频中每个物体的位置及分类。目前仅支持mp4格式。智能标注除了人工标注外,ModelArts还提供了智能标注功能,快速完成数据标注,为您节省70%以上的标注时间。智能标注是指基于当前标注阶段的标签及图片学习训练,选中系统中已有的模型进行智能标注,快速完成剩余图片的标注操作。目前只有“图像分类”和“物体检测”类型的数据集支持智能标注功能。团队标注数据标注任务中,一般由一个人完成,但是针对数据集较大时,需要多人协助完成。ModelArts提供了团队标注功能,可以由多人组成一个标注团队,针对同一个数据集进行标注管理。团队标注功能当前仅支持“图像分类”、“物体检测”、“文本分类”、“命名实体”、“文本三元组”、“语音分割”类型的数据集。不同类型数据集支持的功能列表其中,不同类型的数据集,支持不同的功能数据集类型标注类型人工标注智能标注团队标注图片图像分类支持支持支持物体检测支持支持支持图像分割支持--音频声音分类支持--语音内容支持--语音分割支持-支持文本文本分类支持-支持命名实体支持-支持文本三元组支持-支持视频视频标注支持--自由格式----表格----
总条数:1764 到第
上滑加载中