• 【有奖体验】git clone开启云上AI开发
    直播视频回顾:cid:link_1活动时间:10月15日-11月30日参与方式:点击报名:cid:link_2根据【案例指导】,学习并完成案例,并截图到本帖评论区。案例指导地址:cid:link_0​本案例需要使用付费资源,为此准备了低价套餐包给各位开发者领取使用。购买套餐包并且体验完案例的开发者,均可获得AI盲盒。低价套餐包(3小时GPU+3小时CPU)购买地址: cid:link_3​登录问卷,提交后自动开奖。注意先参与抽奖后购买套餐包视为无效参与。cid:link_4获奖公示: 肖*英 130***206定制保温杯 姚* 159***213AI定制衣服 韩* 153***465定制保温杯 袁* 137***335AI定制手提袋 夏* 195***122AI定制手提袋 孙*北 138***260AI定制衣服 岳*艳 189***581定制保温杯 谢*高 150***530深度学习或机器学习或Python书 王* 152***638定制保温杯 刘* 173***942华为 FreeBuds 4i 无线耳机 房*彬 176***996定制保温杯活动规则1)请务必使用个人账号参与活动(IAM、企业账号等账号参与无效);2)所有获得华为奖项的获奖用户,请于获奖后3日内完成实名认证,否则视为放弃奖励;3)本次活动如一个实名认证对应多个账号,只有一个账号可领取奖励;一个实名认证账号只能对应一个收件人,如同一账号填写多个不同收件人或不同账号填写同一收件人,均不予发放奖励;4)为保证您顺利领取活动奖品,请您提前填写奖品收货信息,如您没有填写,视为放弃奖励。活动获奖信息填写时间截止2022年12月15日,如未填写视为弃奖,请知;5)本次活动,实物奖品预计于2022年12月30日前完成发放,发放时间根据实际情况动态调整,如有延期敬请见谅;6)本次活动幸运奖将采用巨公摇号平台(https://www.jugong.wang/random-portal/)进行抽取,如您对评奖方式有异议,请勿参加本次活动;7)其他事宜请参考【华为云社区常规活动规则】,本活动最终解释权归华为云所有。https://bbs.huaweicloud.com/forum/thread-5766-1-1.html
  • 【有奖体验】Workflow初体验
    了解Workflow的功能与构成后,可通过订阅workflow的方式尝试运行首条工作流,进一步了解Workflow的运行过程。直播视频回顾:cid:link_0活动时间:10月17日-11月30日参与方式:点击报名:cid:link_1根据【案例指导】,学习并完成案例;cid:link_3运行完所有命令后,截图发布到本贴评论区,活动结束后随机抽奖。活动抽奖:1、超过55人体验,随机抽20个幸运观众,送AI盲盒2、超过99人体验,随机抽40个幸运观众,送AI盲盒/移动电源 / 体脂秤。(总共20个AI盲盒、20个移动电源 / 体脂秤)活动已结束,参与人数未达到活动抽奖要求,不给予抽奖 活动规则:1)请务必使用个人账号参与活动(IAM、企业账号等账号参与无效);2)所有获得华为奖项的获奖用户,请于获奖后3日内完成实名认证,否则视为放弃奖励;3)本次活动如一个实名认证对应多个账号,只有一个账号可领取奖励;一个实名认证账号只能对应一个收件人,如同一账号填写多个不同收件人或不同账号填写同一收件人,均不予发放奖励;4)为保证您顺利领取活动奖品,请您提前填写奖品收货信息,如您没有填写,视为放弃奖励【点击此处填写信息】。活动获奖信息填写时间截止2022年12月15日,如未填写视为弃奖,请知;5)本次活动,实物奖品预计于2022年12月30日前完成发放,发放时间根据实际情况动态调整,如有延期敬请见谅;6)本次活动幸运奖将采用巨公摇号平台(https://www.jugong.wang/random-portal/)进行抽取,如您对评奖方式有异议,请勿参加本次活动;7)其他事宜请参考【华为云社区常规活动规则】,本活动最终解释权归华为云所有。https://bbs.huaweicloud.com/forum/thread-5766-1-1.html
  • [热门活动] 【技术宝典体验任务】AI让你遇见10年后的自己
    Hello World你好,未来10年后的我程序员用AI技术遇见了未来10年的自己如果你也感兴趣,上传自己的照片,来看看未来的自己脱发了没?本次案例可选择限时免费体验土豪请随意参与活动前请先报名向云而生·1024程序员节活动:【点击报名】活动奖励:我们将在所有完成【技术宝典体验任务】的开发者中随机抽取80位开发者每人奖励无线鼠标1个活动时间:2022年10月12日~ 2022年11月30日 参与方式:开发者按照案例指导完成实验,并根据将完成实验后的截图回复至活动帖评论区,视为完成任务。案例指导链接:cid:link_0​欢迎加入AI交流群活动规则:a. 回复非示例要求图片,视为无效楼层。b. 本次体验活动结束后,将符合抽奖条件的用户名单导入至巨公摇号平台(https://www.jugong.wang/random-portal/)内,抽取各奖项,并截屏公示抽奖过程。如您不同意此抽奖规则,请勿参加本次活动。 Tips:1、请务必使用个人账号参与活动(IAM、企业账号等账号参与无效)。2、所有获得奖项的获奖用户,请于获奖后3日内完成实名认证,否则视为放弃奖励。3、收货信息填写说明:1)为保证您顺利领取活动奖品,请您提前填写奖品收货信息,如您没有填写,视为放弃奖励。收货信息请【点击此处填写】cid:link_12)填写时间截至2022年12月15日16:00。3)在华为伙伴暨开发者社区活动中完成一次填写即可。我们最终将会按照您填写的信息发放奖励。4、活动规则请戳cid:link_3
  • [其他] ModelArts最新动态合集
    训练作业卡死检测训练作业在运行中可能会因为某些未知原因导致作业卡死,如果不能及时发现,就会导致无法及时释放资源,从而造成极大的资源浪费。为了节省训练资源成本,提高使用体验,ModelArts提供了卡死检测功能,能自动识别作业是否卡死,并在日志详情界面上展示,同时能配置通知及时提醒用户作业卡死。具体说明如下:训练作业卡死检测_AI开发平台ModelArts_模型训练_训练进阶_华为云 (huaweicloud.com)使用自定义镜像创建新版训练作业基本描述:ModelArts平台提供了Tensorflow,Pytorch,MindSpore等常用深度学习任务的基础镜像,镜像里已经安装好运行任务所需软件。当基础镜像里的软件无法满足您的程序运行需求时,您可以基于这些基础镜像制作一个新的镜像并进行训练。具体说明如下:使用自定义镜像训练模型(新版训练)在Notebook中构建并调试推理镜像用户可以在ModelArts的开发环境Notebook中使用基础镜像构建一个新的推理镜像,调试成功后,使用该进行创建AI应用,并部署为在线服务。具体说明如下:基于推理基础镜像构建新镜像并创建AI应用补齐调用在线服务接口的多语言示例ModelArts支持通过API接口进行在线服务预测,为更好的指导开发者使用,本次补齐多种认证方式下的Python和Java语言的请求示例。具体说明如下:访问在线服务用户可以在Notebook实例中更改SSH配置信息在创建Notebook实例时,如果配置了SSH远程开发,当用户需要更换密钥对或白名单时,则可以在Notebook的实例详情页修改SSH的配置信息。具体说明如下:修改Notebook SSH的配置信息查看所有子账号的Notebook实例给子用户授予“listAllNotebooks”和“listUsers”权限时,在Notebook页面上,打开“查看所有”,可以看到IAM项目下所有子用户创建的Notebook实例 。具体说明如下:查看所有子账号的Notebook实例
  • ModelArts训练中途卡死解决办法
    问题现象1检测每个节点日志是否有报错信息,某个节点报错但作业未退出导致整个训练作业卡死。解决方案查看报错原因,解决报错。问题现象2作业卡在sync-batch-norm中或者训练速度变慢。pytorch如果开了sync-batch-norm,多机会慢,因开了sync-batch-norm以后,每一个iter里面每个batch-norm层都要做同步,通信量很大,而且要所有节点同步。解决方案关掉 sync-batch-norm,或者升pytorch版本,升级pytorch到1.10。问题现象3作业卡在tensorboard中,如下图所示:解决方案存储路径设为本地路径,如cache/tensorboard,不要使用OBS路径。问题现象4使用pytorch中的dataloader读数据时,作业卡在读数据过程中,日志停在训练的过程中并不再更新日志。解决方案用dataloader读数据时,适当减小Numwork,如下图所示:更多信息,请参见:https://zhuanlan.zhihu.com/p/133707658
  • ModelArts训练前卡死解决办法
    作业为多节点训练,且还未开始训练时发生卡死,可以在代码中加入os.environ["NCCL_DEBUG"] = "INFO",查看NCCL DEBUG信息。问题现象1日志中还未出现NCCL DEBUG信息时已卡死。解决方案检查代码,检查是否有参数中未传入“master_ip”和“rank”参数等问题。问题现象2若发现有的节点含有GDR信息(分布式)。而有的节点无GDR信息,导致卡死的原因可能为GDR。解决方案在程序开头设置os.environ["NCCL_NET_GDR_LEVEL"] = '0'或者寻找运维人员将机器添加GDR。问题现象3NCCL信息中报出Got completion with error 12, opcode 1, len 32478, vendor err 129等通信信息时,说明当前网络不是很稳定。解决方案可加入3个环境变量。NCCL_IB_GID_INDEX=3: 使用RoCE v2协议,默认使用RoCE v1,但是v1在交换机上没有拥塞控制,可能丢包,而且后面的交换机不会支持v1,就无法启动。NCCL_IB_TC=128:数据包走交换机的队列4通道,这是RoCE协议标准。NCCL_IB_TIMEOUT=22:把超时时间设置长一点,正常情况下网络不稳定会有5s钟左右的间断,超过5秒就返回timeout了,改成22预计有二十秒左右,算法为4.096 µs * 2 ^ timeout。更多信息请参见:https://docs.nvidia.com/deeplearning/nccl/user-guide/docs/env.html#nccl-ib-timeout
  • [其他] 拷贝数据卡死解决办法
    问题现象调用mox.file.copy_parallel拷贝数据时卡死。解决方案拷贝文件和文件夹均可采用:import moxing as mox mox.file.set_auth(is_secure=False)拷贝单个大文件5G以上时可采用:from moxing.framework.file import file_io查看当前moxing调用的接口版本:file_io._LARGE_FILE_METHOD,如果输出值为1则为V1版本,如果输出值为2,则为V2版本。V1版本修改:file_io._NUMBER_OF_PROCESSES=1V2版本修改:可以 file_io._LARGE_FILE_METHOD = 1,将模式设置成V1然后用V1的方式修改规避,也可以直接file_io._LARGE_FILE_TASK_NUM=1。拷贝文件夹时可采用:mox.file.copy_parallel(threads=0,is_processing=False)
  • [其他] 训练作业卡死检测
    什么是训练作业卡死检测训练作业在运行中可能会因为某些未知原因导致作业卡死,如果不能及时发现,就会导致无法及时释放资源,从而造成极大的资源浪费。为了节省训练资源成本,提高使用体验,ModelArts提供了卡死检测功能,能自动识别作业是否卡死,并在日志详情界面上展示,同时能配置通知及时提醒用户作业卡死。注意:由于检测规则的局限性,当前卡死检测存在一定的误检率。如果是作业代码本身逻辑(如长时间sleep)导致的卡死,请忽略。如果对于误检有疑问或者卡死问题无法自行解决,您可以前往ModelArts开发者论坛进行提问或者搜索问题。检测规则卡死检测主要是通过监控作业进程的状态和资源利用率来判定作业是否卡死。会启动一个进程来周期性地监控上述两个指标的变化情况。进程状态:只要训练作业中存在进程IO有变化,进入下一个检测周期。如果在多个检测周期内,作业所有进程IO都没有变化,则进入资源利用率检测阶段。资源利用率:在作业进程IO没有变化的情况下,采集一定时间段内的GPU利用率,并根据这段时间内的GPU利用率的方差和中位数来判断资源使用率是否有变化。如果没有变化,则判定作业卡死。约束限制目前卡死检测仅支持资源类型为GPU的训练作业。操作步骤卡死检测无需额外配置,作业运行中会自动执行检测。检测到作业卡死后会在训练作业详情页提示作业疑似卡死。如需检测到卡死后发送通知(短信、邮件等)请在训练作业创建页面配置事件通知。
  • [技术干货] 跟我做线性回归从零开始
    这个活动非常容易完成,只是对于新手来说,对实验的环境陌生而望而生畏。跟我来完成这个简单的小实验吧!首先,点击活动贴里面的《线性回归的从零开始实现》案例介绍:没错,奏是这么简单,这里就是实验环境的全部了。首先生成实验环境,ModelArt是收费的,严格的说,GPU是收费的,但是cpu是可以有一个小时的免费时长。cpu相比于GPU,缺点是慢,而且有些实验必须由GPU来完成,但是活动的这个实验没关系,我们用cpu来完成实验,不用选择,直接等待1-3分钟,环境自动生成,左上角有倒计时显示“剩余时间:59分钟”。然后,直接点击文档中的步骤1,一个播放的三角号,第一部是加载视频,我点完并没有执行成功,这个没关系,原理的东西网上一大堆。然后,就按照文档中的顺序点击执行python的命令行,每一步执行都需要等待结果反馈出来,需要点耐心。最后一步:到这里了,最后一步需要新增一个cell(就是前面执行的一小节代码哦,加个cell就是加代码框进来:手动敲进去:!env | grep PROJECT_ID然后点击执行,这里是上面工具栏上的执行按钮,等它吐出结果,截图贴在开始的活动贴就ok了。
  • [热门活动] 新活动有好礼,快来参加啊!!!
    【华为云·微话题(第55期)】月见中秋悦见AI,你也可以拥有超级大月亮~cid:link_0
  • [赛事资讯] 十万元现金奖励 “智联重庆 渝见未来”华为开发者暨智能网联大赛正式开赛!
    一等奖奖金十万元、华为资源加持……第二届“智联重庆・渝见未来”华为开发者暨智能网联大赛(以下简称“大赛”)即日起正式开赛。本次大赛以“智能网联”为主题,围绕智能网联产业链上下游,向全国征集智能网联、人工智能云计算、智能制造、工业互联网等相关技术方案。大赛由重庆市经济和信息化委员会、重庆两江新区管理委员会、重庆市教育委员会指导,华为技术有限公司、中软国际主办,重庆大学、重庆理工大学、华为(重庆)人工智能创新中心承办。 旨在聚焦智能网联应用落地的全场景创新,探讨产学研融合发展新路径,提升产业效率,增强优势产业集聚,为重庆打造“智慧名城”、建设“制造重镇”添砖加瓦,为成渝地区双城经济圈建设助力。 为了充分挖掘行业人才,让选手更好地展示想法与能力,本届赛事特别分为“创意创新赛道”和“算法赛道”两条赛道,前者国内外企业、高等院校、科研单位、创业团队、个人均可参与,后者仅限国内外全日制专科、本科在校学生参与。创意创新赛道,重在创新,不限赛题,不限形式,向所有优秀企业敞开大门。该赛道鼓励企业团队充分发挥自己的创新能力,提交结合行业场景的自选赛题(智能制造、智能网联、云计算、人工智能、工业互联网等)参赛作品,提交作品形式不限(论文、解决方案PPT、演示DEMO、视频等)。组委会将从作品创意性、前瞻性、市场推广前景、社会价值、技术优越性、实现过程等多个方面进行综合评分。算法赛道,重在想法与实践,激发大学生思辨与操作能力,推动数字化人才储备。赛题为“视频检测下车道与转向车流量统计”,大赛将为参赛选手提供交叉路口视频,参赛选手基于该素材自建模型统计进口车道及转向流量数据,并根据所提供的相应打标数据调整模型。判分系统会自动对模型效果进行判分。两条赛道将分别决出六支获奖队伍,一二三等奖各1、2、3名。创意创新赛道一等奖奖金10万元+奖牌,二等奖奖金2万元+奖牌,三等奖奖金1万元+奖牌,除赛事奖金外,优秀作品还有机会在两江新区与华为共建AI展厅中展示。对相关企业团队来说,获胜是在行业中崭露头角、展示风采的机会,也是拓展合作伙伴,获得产业支持的契机。算法赛道一等奖奖金2万元+奖牌,二等奖奖金1万元+奖牌,三等奖奖金5000元+奖牌,更有90%以上的项目可获优秀奖。无论获胜与否,这次参赛经历都将提升大学生团队协作和建模能力,成为同学们了解行业,向专业人才迈进的第一步。赛事免费报名,手机用户直接扫描下方二维码,电脑用户登录华为云官网-开发者-大赛平台,点击“我要参赛”,在“进行中”一栏下面选择赛事、赛道。创新创意赛道报名链接:cid:link_0算法赛道报名链接:cid:link_1(手机用户报名)(电脑用户报名)需要注意的是:创意创新赛道报名截止时间为10月7日,算法赛道报名截止时间为10月20日。对于算法赛道的选手,每支队伍由1-5名学生组成,参赛开发平台为华为云提供的人工智能开发平台,选手所需云资源将由华为云免费提供。
  • [其他] 人工智能2022年8月高热贴合集
    人工智能2022年8月高热贴合集以下是人工智能板块在2022年8月份的高热贴的合集。本月论坛进行了改版,改版后最初还是不太适应,新特性还没有充分使用,所以对于改版后的效果,短时间内也不好进行评论。板块进行了一些调整,在左边栏可以直接看到所有的“产品和服务”分类,也就是之前的主版块。板块名称修改:EI企业智能 修改为 人工智能子板块调整:从EI企业智能 主板块移出:DWS、DGC、FusionInsight、MRS、数据湖探索 等子板块 到 大数据 主板块中本月AI开发平台ModelArts板块的热度高。以往华为Hilens&ModelBox的热度还可以的,这个月就比较冷清。AI开发平台ModelArtsModelArts下发边缘服务失败:cid:link_12ModelArts在线服务停止失败:Failed to stop service automatically, error message: ModelArts.0010:cid:link_0ckpt转AIR模型,无模型输出,也没有报错(获取模型):cid:link_1Notebook老是弹出错误提醒 File Save Error for model_train.ipynb->Failed to fetch,什么问题?怎么处理这个问题?cid:link_2训练作业模型如何离线部署在本地:cid:link_3有些模型只能在tensorflow1.5下跑,有的可以在tensorflow2上跑,这块你们有区分吗:cid:link_4数据集无法上传图片进行标注,上传图片时报错:ModelArts:请求错误:cid:link_5ModelArts.2763 : 选择的支持实例无效,请检查请求中信息的合法性:cid:link_6[ModelArts]模型初始化时,报错Device 0 call rtSetDevice failed, ret[507033](昇腾设备):cid:link_7[ModelArts][parallel][分布式训练]如何在ModelArts上获得RANK_TABLE_FILE,达到并行训练的目的:cid:link_8在modelarts上加载模型时,报错Create python object failed, only support to create 'Cell' or 'Primitive' object.:cid:link_9【modelarts】【自定义镜像】自定义pytorch镜像, ssh连接报错:cid:link_13modelarts上训练yolov4 tiny报错:cid:link_10华为HiLens & ModelBoxHilens Kit在网管注册时,通过华为云账号注册一直失败,请问要怎么解决?cid:link_11
  • [专题汇总] ModelArts技术干货分享合集
    由于论坛页面样式改版,可能有很多小伙伴还在慢慢的摸索过程中,为了提升大家的效率 特地整理了一下modelarts区干活合集。希望能帮到大家 谢谢。1.基于ModelArts训练自动驾驶-车道线检测模型 https://bbs.huaweicloud.com/forum/thread-195854-1-1.html 2.ModelArts模型到端侧的落地 - ModelBox端云协同AI开发套件(RK3568)体验 https://bbs.huaweicloud.com/forum/thread-195580-1-1.html  3.基于ModelArts生成“最伟大的作品”歌词 https://bbs.huaweicloud.com/forum/thread-195456-1-1.html  4.使用PyCharm ToolKit工具快速实现模型训练和部署 https://bbs.huaweicloud.com/forum/thread-194351-1-1.html  5.机器学习基础(推荐先学习基础) https://bbs.huaweicloud.com/forum/thread-193942-1-1.html  6.基于ModelArts实现"魔法换天"视频操作 https://bbs.huaweicloud.com/forum/thread-192935-1-1.html  7.VS Code一键连接Notebook https://bbs.huaweicloud.com/forum/thread-192866-1-1.html  8.使用kenlm训练语言模型,并对句子进行打分 https://bbs.huaweicloud.com/forum/thread-189755-1-1.html  9.基于华为云ModelArts深度学习算法的语音识别实践 https://bbs.huaweicloud.com/forum/thread-189298-1-1.html  10.强大的视频抠图(RVM)在AI Gallery的Notebook案例使用(推荐) https://bbs.huaweicloud.com/forum/thread-189183-1-1.html  11.ModelArts新人学习合集(建议收藏) https://bbs.huaweicloud.com/forum/thread-188537-1-1.html(推荐)  12.LSTM + Transformer (RTLM)语言模型 https://bbs.huaweicloud.com/forum/thread-186619-1-1.html  13.RVM(视频人像抠图)论文介绍 https://bbs.huaweicloud.com/forum/thread-186436-1-1.html  14.自动学习项目中,进行增量训练的方法 https://bbs.huaweicloud.com/forum/thread-186407-1-1.html  15.使用A3C算法玩乒乓球游戏案例实操 https://bbs.huaweicloud.com/forum/thread-186406-1-1.html 
  • [问题求助] Ascend910训练和Ascend310推理的样例中创建训练作业,选择数据集提示未拆分,但找不到拆分数据集的地方
    我按照 https://support.huaweicloud.com/bestpractice-modelarts/modelarts_10_0026.html#modelarts_10_0026__zh-cn_topic_0235073536_section87421022184315 提供的样例实践过程中,发现下载数据集、订阅算法后,创建训练作业时,提示“该算法不支持为拆分数据”。但找不到在哪里拆分数据。按照文章里面探索描述的,可以在发布数据集时设置拆分数据,但是目前的发布数据集页面并没有拆分数据的功能。而且几次尝试,都发布失败。下面附上界面图。请专家指教该如何处理?是不是功能更新后,文档没有更新呢?谢谢~
  • [问题求助] 在ModelArts训练resnet模型报错
    模型是从ModelZoo下载的,数据集用的Cifar-10。日志里并没有定位具体问题。之前解决了一些日志定位的bug。目前的部分日志如下:omponent=ma-training-toolkit Platform=ModelArts-Service [2022-08-22T09:13:34+08:00][ModelArts Service Log][sidecar] training is completed [2022-08-22T09:13:34+08:00][ModelArts Service Log][sidecar] the reason for the failure of the training job is under analysis time="2022-08-22T09:13:34+08:00" level=warning msg="the log-preview-size parameter exceeds the limit and will be set to the default value 5242880" file="cli.go:192" Command=analyze Component=ma-training-toolkit Platform=ModelArts-Service [2022-08-22T09:13:34+08:00][ModelArts Service Log][sidecar] stop toolkit_obs_upload_by_channels_pid = 49 by signal SIGTERM time="2022-08-22T09:13:34+08:00" level=info msg="the periodic upload task exiting..." file="upload.go:216" Command=obs/upload_by_channels Component=ma-training-toolkit Platform=ModelArts-Service Task=log_url time="2022-08-22T09:13:34+08:00" level=info msg="the periodic upload task exiting..." file="upload.go:216" Command=obs/upload_by_channels Component=ma-training-toolkit Platform=ModelArts-Service Task=srt_log_collection time="2022-08-22T09:13:34+08:00" level=info msg="the periodic upload task exiting..." file="upload.go:216" Command=obs/upload_by_channels Component=ma-training-toolkit Platform=ModelArts-Service Task=train_url 
总条数:3416 到第 页
上滑加载中