开发第一条Workflow在训练资源配置的时候，出现问题：ListTrainingJobFlavors查询训练作业支持的公共规格列表{"flavor_id": "modelarts.p3.large.public"} {"flavor_id": "modelarts.p3.8xlarge.public" } {"flavor_id": "modelarts.p3.large.public.free"} 都试过，都不行

如图，ModelArts每个用户只限创建一个基于此免费规格的实例选不了，但是我只有一个实例啊？这个实例指什么？

这是我之前发的一个issue，关于air转om的问题。cid:link_0最后在本地虚拟机环境将cann版本升级到达最新，转换成功。然后拿om去modelarts上创建应用（obs导入和选择昇腾模板都试过）并部署，在部署阶段报了这个问题：home/mind/model/1/model.om initialize failure!由于能力有限，没有发现其它有用信息，详细日志可以看我提的另一个issue哈，cid:link_1小白一个，希望有大神能帮忙看下，不胜感激！

本算法的预训练模型使用的是华为云EI服务产品部自研的视觉算法， 在ImageNet线性评估上取得了SOTA的结果。相比于视觉任务常用到的ImageNet预训练模型，华为的自研算法学习到的表征泛化能力更强，可以大幅提升下游各项任务性能，例如图像分类、物体检测、图像分割等场景。直播视频回顾：cid:link_1活动时间：10月27日-11月30日参与方式：点击报名：cid:link_2根据【案例指导】，学习并完成案例；cid:link_0运行完所有命令后，截图发布到本贴评论区，活动结束后随机抽奖。活动抽奖：1、超过55人体验，随机抽20个幸运观众，送AI盲盒2、超过99人体验，随机抽40个幸运观众，送AI盲盒/华为手环/小霸王游戏机/华为路由器。（总共20个AI盲盒、20个华为手环/小霸王游戏机/华为路由器）活动已结束，参与人数未达到活动抽奖要求，不给予抽奖 活动规则：1）请务必使用个人账号参与活动（IAM、企业账号等账号参与无效）；2）所有获得华为奖项的获奖用户，请于获奖后3日内完成实名认证，否则视为放弃奖励；3）本次活动如一个实名认证对应多个账号，只有一个账号可领取奖励；一个实名认证账号只能对应一个收件人，如同一账号填写多个不同收件人或不同账号填写同一收件人，均不予发放奖励；4）为保证您顺利领取活动奖品，请您提前填写奖品收货信息，如您没有填写，视为放弃奖励【点击此处填写信息】。活动获奖信息填写时间截止2022年12月15日，如未填写视为弃奖，请知；5）本次活动，实物奖品预计于2022年12月30日前完成发放，发放时间根据实际情况动态调整，如有延期敬请见谅；6）本次活动幸运奖将采用巨公摇号平台（https://www.jugong.wang/random-portal/）进行抽取，如您对评奖方式有异议，请勿参加本次活动；7）其他事宜请参考【华为云社区常规活动规则】，本活动最终解释权归华为云所有。https://bbs.huaweicloud.com/forum/thread-5766-1-1.html

直播视频回顾：cid:link_1活动时间：10月15日-11月30日参与方式：点击报名：cid:link_2根据【案例指导】，学习并完成案例，并截图到本帖评论区。案例指导地址：cid:link_0​本案例需要使用付费资源，为此准备了低价套餐包给各位开发者领取使用。购买套餐包并且体验完案例的开发者，均可获得AI盲盒。低价套餐包（3小时GPU+3小时CPU）购买地址： cid:link_3​登录问卷，提交后自动开奖。注意先参与抽奖后购买套餐包视为无效参与。cid:link_4获奖公示： 肖*英 130***206定制保温杯 姚* 159***213AI定制衣服 韩* 153***465定制保温杯 袁* 137***335AI定制手提袋 夏* 195***122AI定制手提袋 孙*北 138***260AI定制衣服 岳*艳 189***581定制保温杯 谢*高 150***530深度学习或机器学习或Python书 王* 152***638定制保温杯 刘* 173***942华为 FreeBuds 4i 无线耳机 房*彬 176***996定制保温杯活动规则1）请务必使用个人账号参与活动（IAM、企业账号等账号参与无效）；2）所有获得华为奖项的获奖用户，请于获奖后3日内完成实名认证，否则视为放弃奖励；3）本次活动如一个实名认证对应多个账号，只有一个账号可领取奖励；一个实名认证账号只能对应一个收件人，如同一账号填写多个不同收件人或不同账号填写同一收件人，均不予发放奖励；4）为保证您顺利领取活动奖品，请您提前填写奖品收货信息，如您没有填写，视为放弃奖励。活动获奖信息填写时间截止2022年12月15日，如未填写视为弃奖，请知；5）本次活动，实物奖品预计于2022年12月30日前完成发放，发放时间根据实际情况动态调整，如有延期敬请见谅；6）本次活动幸运奖将采用巨公摇号平台（https://www.jugong.wang/random-portal/）进行抽取，如您对评奖方式有异议，请勿参加本次活动；7）其他事宜请参考【华为云社区常规活动规则】，本活动最终解释权归华为云所有。https://bbs.huaweicloud.com/forum/thread-5766-1-1.html

了解Workflow的功能与构成后，可通过订阅workflow的方式尝试运行首条工作流，进一步了解Workflow的运行过程。直播视频回顾：cid:link_0活动时间：10月17日-11月30日参与方式：点击报名：cid:link_1根据【案例指导】，学习并完成案例；cid:link_3运行完所有命令后，截图发布到本贴评论区，活动结束后随机抽奖。活动抽奖：1、超过55人体验，随机抽20个幸运观众，送AI盲盒2、超过99人体验，随机抽40个幸运观众，送AI盲盒/移动电源 / 体脂秤。（总共20个AI盲盒、20个移动电源 / 体脂秤）活动已结束，参与人数未达到活动抽奖要求，不给予抽奖 活动规则：1）请务必使用个人账号参与活动（IAM、企业账号等账号参与无效）；2）所有获得华为奖项的获奖用户，请于获奖后3日内完成实名认证，否则视为放弃奖励；3）本次活动如一个实名认证对应多个账号，只有一个账号可领取奖励；一个实名认证账号只能对应一个收件人，如同一账号填写多个不同收件人或不同账号填写同一收件人，均不予发放奖励；4）为保证您顺利领取活动奖品，请您提前填写奖品收货信息，如您没有填写，视为放弃奖励【点击此处填写信息】。活动获奖信息填写时间截止2022年12月15日，如未填写视为弃奖，请知；5）本次活动，实物奖品预计于2022年12月30日前完成发放，发放时间根据实际情况动态调整，如有延期敬请见谅；6）本次活动幸运奖将采用巨公摇号平台（https://www.jugong.wang/random-portal/）进行抽取，如您对评奖方式有异议，请勿参加本次活动；7）其他事宜请参考【华为云社区常规活动规则】，本活动最终解释权归华为云所有。https://bbs.huaweicloud.com/forum/thread-5766-1-1.html

Hello World你好，未来10年后的我程序员用AI技术遇见了未来10年的自己如果你也感兴趣，上传自己的照片，来看看未来的自己脱发了没？本次案例可选择限时免费体验土豪请随意参与活动前请先报名向云而生·1024程序员节活动：【点击报名】活动奖励：我们将在所有完成【技术宝典体验任务】的开发者中随机抽取80位开发者每人奖励无线鼠标1个活动时间：2022年10月12日~ 2022年11月30日 参与方式：开发者按照案例指导完成实验，并根据将完成实验后的截图回复至活动帖评论区，视为完成任务。案例指导链接：cid:link_0​欢迎加入AI交流群活动规则：a. 回复非示例要求图片，视为无效楼层。b. 本次体验活动结束后，将符合抽奖条件的用户名单导入至巨公摇号平台（https://www.jugong.wang/random-portal/）内，抽取各奖项，并截屏公示抽奖过程。如您不同意此抽奖规则，请勿参加本次活动。 Tips：1、请务必使用个人账号参与活动（IAM、企业账号等账号参与无效）。2、所有获得奖项的获奖用户，请于获奖后3日内完成实名认证，否则视为放弃奖励。3、收货信息填写说明：1）为保证您顺利领取活动奖品，请您提前填写奖品收货信息，如您没有填写，视为放弃奖励。收货信息请【点击此处填写】cid:link_12）填写时间截至2022年12月15日16:00。3）在华为伙伴暨开发者社区活动中完成一次填写即可。我们最终将会按照您填写的信息发放奖励。4、活动规则请戳cid:link_3

训练作业卡死检测训练作业在运行中可能会因为某些未知原因导致作业卡死，如果不能及时发现，就会导致无法及时释放资源，从而造成极大的资源浪费。为了节省训练资源成本，提高使用体验，ModelArts提供了卡死检测功能，能自动识别作业是否卡死，并在日志详情界面上展示，同时能配置通知及时提醒用户作业卡死。具体说明如下：训练作业卡死检测_AI开发平台ModelArts_模型训练_训练进阶_华为云 (huaweicloud.com)使用自定义镜像创建新版训练作业基本描述：ModelArts平台提供了Tensorflow，Pytorch，MindSpore等常用深度学习任务的基础镜像，镜像里已经安装好运行任务所需软件。当基础镜像里的软件无法满足您的程序运行需求时，您可以基于这些基础镜像制作一个新的镜像并进行训练。具体说明如下：使用自定义镜像训练模型（新版训练）在Notebook中构建并调试推理镜像用户可以在ModelArts的开发环境Notebook中使用基础镜像构建一个新的推理镜像，调试成功后，使用该进行创建AI应用，并部署为在线服务。具体说明如下：基于推理基础镜像构建新镜像并创建AI应用补齐调用在线服务接口的多语言示例ModelArts支持通过API接口进行在线服务预测，为更好的指导开发者使用，本次补齐多种认证方式下的Python和Java语言的请求示例。具体说明如下：访问在线服务用户可以在Notebook实例中更改SSH配置信息在创建Notebook实例时，如果配置了SSH远程开发，当用户需要更换密钥对或白名单时，则可以在Notebook的实例详情页修改SSH的配置信息。具体说明如下：修改Notebook SSH的配置信息查看所有子账号的Notebook实例给子用户授予“listAllNotebooks”和“listUsers”权限时，在Notebook页面上，打开“查看所有”，可以看到IAM项目下所有子用户创建的Notebook实例 。具体说明如下：查看所有子账号的Notebook实例

问题现象1检测每个节点日志是否有报错信息，某个节点报错但作业未退出导致整个训练作业卡死。解决方案查看报错原因，解决报错。问题现象2作业卡在sync-batch-norm中或者训练速度变慢。pytorch如果开了sync-batch-norm，多机会慢，因开了sync-batch-norm以后，每一个iter里面每个batch-norm层都要做同步，通信量很大，而且要所有节点同步。解决方案关掉 sync-batch-norm，或者升pytorch版本，升级pytorch到1.10。问题现象3作业卡在tensorboard中，如下图所示：解决方案存储路径设为本地路径，如cache/tensorboard，不要使用OBS路径。问题现象4使用pytorch中的dataloader读数据时，作业卡在读数据过程中，日志停在训练的过程中并不再更新日志。解决方案用dataloader读数据时，适当减小Numwork，如下图所示：更多信息，请参见：https://zhuanlan.zhihu.com/p/133707658

作业为多节点训练，且还未开始训练时发生卡死，可以在代码中加入os.environ["NCCL_DEBUG"] = "INFO"，查看NCCL DEBUG信息。问题现象1日志中还未出现NCCL DEBUG信息时已卡死。解决方案检查代码，检查是否有参数中未传入“master_ip”和“rank”参数等问题。问题现象2若发现有的节点含有GDR信息（分布式）。而有的节点无GDR信息，导致卡死的原因可能为GDR。解决方案在程序开头设置os.environ["NCCL_NET_GDR_LEVEL"] = '0'或者寻找运维人员将机器添加GDR。问题现象3NCCL信息中报出Got completion with error 12, opcode 1, len 32478, vendor err 129等通信信息时，说明当前网络不是很稳定。解决方案可加入3个环境变量。NCCL_IB_GID_INDEX=3： 使用RoCE v2协议，默认使用RoCE v1，但是v1在交换机上没有拥塞控制，可能丢包，而且后面的交换机不会支持v1，就无法启动。NCCL_IB_TC=128：数据包走交换机的队列4通道，这是RoCE协议标准。NCCL_IB_TIMEOUT=22：把超时时间设置长一点，正常情况下网络不稳定会有5s钟左右的间断，超过5秒就返回timeout了，改成22预计有二十秒左右，算法为4.096 µs * 2 ^ timeout。更多信息请参见：https://docs.nvidia.com/deeplearning/nccl/user-guide/docs/env.html#nccl-ib-timeout

问题现象调用mox.file.copy_parallel拷贝数据时卡死。解决方案拷贝文件和文件夹均可采用：import moxing as mox mox.file.set_auth(is_secure=False)拷贝单个大文件5G以上时可采用：from moxing.framework.file import file_io查看当前moxing调用的接口版本：file_io._LARGE_FILE_METHOD，如果输出值为1则为V1版本，如果输出值为2，则为V2版本。V1版本修改：file_io._NUMBER_OF_PROCESSES=1V2版本修改：可以 file_io._LARGE_FILE_METHOD = 1，将模式设置成V1然后用V1的方式修改规避，也可以直接file_io._LARGE_FILE_TASK_NUM=1。拷贝文件夹时可采用：mox.file.copy_parallel(threads=0,is_processing=False)

什么是训练作业卡死检测训练作业在运行中可能会因为某些未知原因导致作业卡死，如果不能及时发现，就会导致无法及时释放资源，从而造成极大的资源浪费。为了节省训练资源成本，提高使用体验，ModelArts提供了卡死检测功能，能自动识别作业是否卡死，并在日志详情界面上展示，同时能配置通知及时提醒用户作业卡死。注意：由于检测规则的局限性，当前卡死检测存在一定的误检率。如果是作业代码本身逻辑（如长时间sleep）导致的卡死，请忽略。如果对于误检有疑问或者卡死问题无法自行解决，您可以前往ModelArts开发者论坛进行提问或者搜索问题。检测规则卡死检测主要是通过监控作业进程的状态和资源利用率来判定作业是否卡死。会启动一个进程来周期性地监控上述两个指标的变化情况。进程状态：只要训练作业中存在进程IO有变化，进入下一个检测周期。如果在多个检测周期内，作业所有进程IO都没有变化，则进入资源利用率检测阶段。资源利用率：在作业进程IO没有变化的情况下，采集一定时间段内的GPU利用率，并根据这段时间内的GPU利用率的方差和中位数来判断资源使用率是否有变化。如果没有变化，则判定作业卡死。约束限制目前卡死检测仅支持资源类型为GPU的训练作业。操作步骤卡死检测无需额外配置，作业运行中会自动执行检测。检测到作业卡死后会在训练作业详情页提示作业疑似卡死。如需检测到卡死后发送通知（短信、邮件等）请在训练作业创建页面配置事件通知。

这个活动非常容易完成，只是对于新手来说，对实验的环境陌生而望而生畏。跟我来完成这个简单的小实验吧！首先，点击活动贴里面的《线性回归的从零开始实现》案例介绍：没错，奏是这么简单，这里就是实验环境的全部了。首先生成实验环境，ModelArt是收费的，严格的说，GPU是收费的，但是cpu是可以有一个小时的免费时长。cpu相比于GPU,缺点是慢，而且有些实验必须由GPU来完成，但是活动的这个实验没关系，我们用cpu来完成实验，不用选择，直接等待1-3分钟，环境自动生成，左上角有倒计时显示“剩余时间：59分钟”。然后，直接点击文档中的步骤1，一个播放的三角号，第一部是加载视频，我点完并没有执行成功，这个没关系，原理的东西网上一大堆。然后，就按照文档中的顺序点击执行python的命令行，每一步执行都需要等待结果反馈出来，需要点耐心。最后一步：到这里了，最后一步需要新增一个cell(就是前面执行的一小节代码哦，加个cell就是加代码框进来：手动敲进去：!env | grep PROJECT_ID然后点击执行，这里是上面工具栏上的执行按钮，等它吐出结果，截图贴在开始的活动贴就ok了。

【华为云·微话题（第55期）】月见中秋悦见AI，你也可以拥有超级大月亮~cid:link_0

一等奖奖金十万元、华为资源加持……第二届“智联重庆･渝见未来”华为开发者暨智能网联大赛（以下简称“大赛”）即日起正式开赛。本次大赛以“智能网联”为主题，围绕智能网联产业链上下游，向全国征集智能网联、人工智能云计算、智能制造、工业互联网等相关技术方案。大赛由重庆市经济和信息化委员会、重庆两江新区管理委员会、重庆市教育委员会指导，华为技术有限公司、中软国际主办，重庆大学、重庆理工大学、华为（重庆）人工智能创新中心承办。 旨在聚焦智能网联应用落地的全场景创新，探讨产学研融合发展新路径，提升产业效率，增强优势产业集聚，为重庆打造“智慧名城”、建设“制造重镇”添砖加瓦，为成渝地区双城经济圈建设助力。 为了充分挖掘行业人才，让选手更好地展示想法与能力，本届赛事特别分为“创意创新赛道”和“算法赛道”两条赛道，前者国内外企业、高等院校、科研单位、创业团队、个人均可参与，后者仅限国内外全日制专科、本科在校学生参与。创意创新赛道，重在创新，不限赛题，不限形式，向所有优秀企业敞开大门。该赛道鼓励企业团队充分发挥自己的创新能力，提交结合行业场景的自选赛题（智能制造、智能网联、云计算、人工智能、工业互联网等）参赛作品，提交作品形式不限（论文、解决方案PPT、演示DEMO、视频等）。组委会将从作品创意性、前瞻性、市场推广前景、社会价值、技术优越性、实现过程等多个方面进行综合评分。算法赛道，重在想法与实践，激发大学生思辨与操作能力，推动数字化人才储备。赛题为“视频检测下车道与转向车流量统计”，大赛将为参赛选手提供交叉路口视频，参赛选手基于该素材自建模型统计进口车道及转向流量数据，并根据所提供的相应打标数据调整模型。判分系统会自动对模型效果进行判分。两条赛道将分别决出六支获奖队伍，一二三等奖各1、2、3名。创意创新赛道一等奖奖金10万元+奖牌，二等奖奖金2万元+奖牌，三等奖奖金1万元+奖牌，除赛事奖金外，优秀作品还有机会在两江新区与华为共建AI展厅中展示。对相关企业团队来说，获胜是在行业中崭露头角、展示风采的机会，也是拓展合作伙伴，获得产业支持的契机。算法赛道一等奖奖金2万元+奖牌，二等奖奖金1万元+奖牌，三等奖奖金5000元+奖牌，更有90%以上的项目可获优秀奖。无论获胜与否，这次参赛经历都将提升大学生团队协作和建模能力，成为同学们了解行业，向专业人才迈进的第一步。赛事免费报名，手机用户直接扫描下方二维码，电脑用户登录华为云官网-开发者-大赛平台，点击“我要参赛”，在“进行中”一栏下面选择赛事、赛道。创新创意赛道报名链接：cid:link_0算法赛道报名链接：cid:link_1（手机用户报名）（电脑用户报名）需要注意的是：创意创新赛道报名截止时间为10月7日，算法赛道报名截止时间为10月20日。对于算法赛道的选手，每支队伍由1-5名学生组成，参赛开发平台为华为云提供的人工智能开发平台，选手所需云资源将由华为云免费提供。