作业为多节点训练，且还未开始训练时发生卡死，可以在代码中加入os.environ["NCCL_DEBUG"] = "INFO"，查看NCCL DEBUG信息。问题现象1日志中还未出现NCCL DEBUG信息时已卡死。解决方案检查代码，检查是否有参数中未传入“master_ip”和“rank”参数等问题。问题现象2若发现有的节点含有GDR信息（分布式）。而有的节点无GDR信息，导致卡死的原因可能为GDR。解决方案在程序开头设置os.environ["NCCL_NET_GDR_LEVEL"] = '0'或者寻找运维人员将机器添加GDR。问题现象3NCCL信息中报出Got completion with error 12, opcode 1, len 32478, vendor err 129等通信信息时，说明当前网络不是很稳定。解决方案可加入3个环境变量。NCCL_IB_GID_INDEX=3： 使用RoCE v2协议，默认使用RoCE v1，但是v1在交换机上没有拥塞控制，可能丢包，而且后面的交换机不会支持v1，就无法启动。NCCL_IB_TC=128：数据包走交换机的队列4通道，这是RoCE协议标准。NCCL_IB_TIMEOUT=22：把超时时间设置长一点，正常情况下网络不稳定会有5s钟左右的间断，超过5秒就返回timeout了，改成22预计有二十秒左右，算法为4.096 µs * 2 ^ timeout。更多信息请参见：https://docs.nvidia.com/deeplearning/nccl/user-guide/docs/env.html#nccl-ib-timeout

问题现象调用mox.file.copy_parallel拷贝数据时卡死。解决方案拷贝文件和文件夹均可采用：import moxing as mox mox.file.set_auth(is_secure=False)拷贝单个大文件5G以上时可采用：from moxing.framework.file import file_io查看当前moxing调用的接口版本：file_io._LARGE_FILE_METHOD，如果输出值为1则为V1版本，如果输出值为2，则为V2版本。V1版本修改：file_io._NUMBER_OF_PROCESSES=1V2版本修改：可以 file_io._LARGE_FILE_METHOD = 1，将模式设置成V1然后用V1的方式修改规避，也可以直接file_io._LARGE_FILE_TASK_NUM=1。拷贝文件夹时可采用：mox.file.copy_parallel(threads=0,is_processing=False)

什么是训练作业卡死检测训练作业在运行中可能会因为某些未知原因导致作业卡死，如果不能及时发现，就会导致无法及时释放资源，从而造成极大的资源浪费。为了节省训练资源成本，提高使用体验，ModelArts提供了卡死检测功能，能自动识别作业是否卡死，并在日志详情界面上展示，同时能配置通知及时提醒用户作业卡死。注意：由于检测规则的局限性，当前卡死检测存在一定的误检率。如果是作业代码本身逻辑（如长时间sleep）导致的卡死，请忽略。如果对于误检有疑问或者卡死问题无法自行解决，您可以前往ModelArts开发者论坛进行提问或者搜索问题。检测规则卡死检测主要是通过监控作业进程的状态和资源利用率来判定作业是否卡死。会启动一个进程来周期性地监控上述两个指标的变化情况。进程状态：只要训练作业中存在进程IO有变化，进入下一个检测周期。如果在多个检测周期内，作业所有进程IO都没有变化，则进入资源利用率检测阶段。资源利用率：在作业进程IO没有变化的情况下，采集一定时间段内的GPU利用率，并根据这段时间内的GPU利用率的方差和中位数来判断资源使用率是否有变化。如果没有变化，则判定作业卡死。约束限制目前卡死检测仅支持资源类型为GPU的训练作业。操作步骤卡死检测无需额外配置，作业运行中会自动执行检测。检测到作业卡死后会在训练作业详情页提示作业疑似卡死。如需检测到卡死后发送通知（短信、邮件等）请在训练作业创建页面配置事件通知。

这个活动非常容易完成，只是对于新手来说，对实验的环境陌生而望而生畏。跟我来完成这个简单的小实验吧！首先，点击活动贴里面的《线性回归的从零开始实现》案例介绍：没错，奏是这么简单，这里就是实验环境的全部了。首先生成实验环境，ModelArt是收费的，严格的说，GPU是收费的，但是cpu是可以有一个小时的免费时长。cpu相比于GPU,缺点是慢，而且有些实验必须由GPU来完成，但是活动的这个实验没关系，我们用cpu来完成实验，不用选择，直接等待1-3分钟，环境自动生成，左上角有倒计时显示“剩余时间：59分钟”。然后，直接点击文档中的步骤1，一个播放的三角号，第一部是加载视频，我点完并没有执行成功，这个没关系，原理的东西网上一大堆。然后，就按照文档中的顺序点击执行python的命令行，每一步执行都需要等待结果反馈出来，需要点耐心。最后一步：到这里了，最后一步需要新增一个cell(就是前面执行的一小节代码哦，加个cell就是加代码框进来：手动敲进去：!env | grep PROJECT_ID然后点击执行，这里是上面工具栏上的执行按钮，等它吐出结果，截图贴在开始的活动贴就ok了。

【华为云·微话题（第55期）】月见中秋悦见AI，你也可以拥有超级大月亮~cid:link_0

一等奖奖金十万元、华为资源加持……第二届“智联重庆･渝见未来”华为开发者暨智能网联大赛（以下简称“大赛”）即日起正式开赛。本次大赛以“智能网联”为主题，围绕智能网联产业链上下游，向全国征集智能网联、人工智能云计算、智能制造、工业互联网等相关技术方案。大赛由重庆市经济和信息化委员会、重庆两江新区管理委员会、重庆市教育委员会指导，华为技术有限公司、中软国际主办，重庆大学、重庆理工大学、华为（重庆）人工智能创新中心承办。 旨在聚焦智能网联应用落地的全场景创新，探讨产学研融合发展新路径，提升产业效率，增强优势产业集聚，为重庆打造“智慧名城”、建设“制造重镇”添砖加瓦，为成渝地区双城经济圈建设助力。 为了充分挖掘行业人才，让选手更好地展示想法与能力，本届赛事特别分为“创意创新赛道”和“算法赛道”两条赛道，前者国内外企业、高等院校、科研单位、创业团队、个人均可参与，后者仅限国内外全日制专科、本科在校学生参与。创意创新赛道，重在创新，不限赛题，不限形式，向所有优秀企业敞开大门。该赛道鼓励企业团队充分发挥自己的创新能力，提交结合行业场景的自选赛题（智能制造、智能网联、云计算、人工智能、工业互联网等）参赛作品，提交作品形式不限（论文、解决方案PPT、演示DEMO、视频等）。组委会将从作品创意性、前瞻性、市场推广前景、社会价值、技术优越性、实现过程等多个方面进行综合评分。算法赛道，重在想法与实践，激发大学生思辨与操作能力，推动数字化人才储备。赛题为“视频检测下车道与转向车流量统计”，大赛将为参赛选手提供交叉路口视频，参赛选手基于该素材自建模型统计进口车道及转向流量数据，并根据所提供的相应打标数据调整模型。判分系统会自动对模型效果进行判分。两条赛道将分别决出六支获奖队伍，一二三等奖各1、2、3名。创意创新赛道一等奖奖金10万元+奖牌，二等奖奖金2万元+奖牌，三等奖奖金1万元+奖牌，除赛事奖金外，优秀作品还有机会在两江新区与华为共建AI展厅中展示。对相关企业团队来说，获胜是在行业中崭露头角、展示风采的机会，也是拓展合作伙伴，获得产业支持的契机。算法赛道一等奖奖金2万元+奖牌，二等奖奖金1万元+奖牌，三等奖奖金5000元+奖牌，更有90%以上的项目可获优秀奖。无论获胜与否，这次参赛经历都将提升大学生团队协作和建模能力，成为同学们了解行业，向专业人才迈进的第一步。赛事免费报名，手机用户直接扫描下方二维码，电脑用户登录华为云官网-开发者-大赛平台，点击“我要参赛”，在“进行中”一栏下面选择赛事、赛道。创新创意赛道报名链接：cid:link_0算法赛道报名链接：cid:link_1（手机用户报名）（电脑用户报名）需要注意的是：创意创新赛道报名截止时间为10月7日，算法赛道报名截止时间为10月20日。对于算法赛道的选手，每支队伍由1-5名学生组成，参赛开发平台为华为云提供的人工智能开发平台，选手所需云资源将由华为云免费提供。

人工智能2022年8月高热贴合集以下是人工智能板块在2022年8月份的高热贴的合集。本月论坛进行了改版，改版后最初还是不太适应，新特性还没有充分使用，所以对于改版后的效果，短时间内也不好进行评论。板块进行了一些调整，在左边栏可以直接看到所有的“产品和服务”分类，也就是之前的主版块。板块名称修改：EI企业智能 修改为 人工智能子板块调整：从EI企业智能 主板块移出：DWS、DGC、FusionInsight、MRS、数据湖探索 等子板块 到 大数据 主板块中本月AI开发平台ModelArts板块的热度高。以往华为Hilens&ModelBox的热度还可以的，这个月就比较冷清。AI开发平台ModelArtsModelArts下发边缘服务失败：cid:link_12ModelArts在线服务停止失败：Failed to stop service automatically, error message: ModelArts.0010：cid:link_0ckpt转AIR模型，无模型输出，也没有报错（获取模型）：cid:link_1Notebook老是弹出错误提醒 File Save Error for model_train.ipynb->Failed to fetch，什么问题？怎么处理这个问题？cid:link_2训练作业模型如何离线部署在本地：cid:link_3有些模型只能在tensorflow1.5下跑，有的可以在tensorflow2上跑，这块你们有区分吗：cid:link_4数据集无法上传图片进行标注，上传图片时报错：ModelArts:请求错误：cid:link_5ModelArts.2763 : 选择的支持实例无效，请检查请求中信息的合法性：cid:link_6[ModelArts]模型初始化时，报错Device 0 call rtSetDevice failed, ret[507033]（昇腾设备）：cid:link_7[ModelArts][parallel][分布式训练]如何在ModelArts上获得RANK_TABLE_FILE，达到并行训练的目的：cid:link_8在modelarts上加载模型时，报错Create python object failed, only support to create 'Cell' or 'Primitive' object.：cid:link_9【modelarts】【自定义镜像】自定义pytorch镜像, ssh连接报错：cid:link_13modelarts上训练yolov4 tiny报错：cid:link_10华为HiLens & ModelBoxHilens Kit在网管注册时，通过华为云账号注册一直失败，请问要怎么解决？cid:link_11

由于论坛页面样式改版，可能有很多小伙伴还在慢慢的摸索过程中，为了提升大家的效率 特地整理了一下modelarts区干活合集。希望能帮到大家 谢谢。1.基于ModelArts训练自动驾驶-车道线检测模型 https://bbs.huaweicloud.com/forum/thread-195854-1-1.html 2.ModelArts模型到端侧的落地 - ModelBox端云协同AI开发套件（RK3568）体验 https://bbs.huaweicloud.com/forum/thread-195580-1-1.html  3.基于ModelArts生成“最伟大的作品”歌词 https://bbs.huaweicloud.com/forum/thread-195456-1-1.html  4.使用PyCharm ToolKit工具快速实现模型训练和部署 https://bbs.huaweicloud.com/forum/thread-194351-1-1.html  5.机器学习基础(推荐先学习基础) https://bbs.huaweicloud.com/forum/thread-193942-1-1.html  6.基于ModelArts实现"魔法换天"视频操作 https://bbs.huaweicloud.com/forum/thread-192935-1-1.html  7.VS Code一键连接Notebook https://bbs.huaweicloud.com/forum/thread-192866-1-1.html  8.使用kenlm训练语言模型，并对句子进行打分 https://bbs.huaweicloud.com/forum/thread-189755-1-1.html  9.基于华为云ModelArts深度学习算法的语音识别实践 https://bbs.huaweicloud.com/forum/thread-189298-1-1.html  10.强大的视频抠图(RVM)在AI Gallery的Notebook案例使用(推荐) https://bbs.huaweicloud.com/forum/thread-189183-1-1.html  11.ModelArts新人学习合集（建议收藏） https://bbs.huaweicloud.com/forum/thread-188537-1-1.html(推荐)  12.LSTM + Transformer (RTLM)语言模型 https://bbs.huaweicloud.com/forum/thread-186619-1-1.html  13.RVM（视频人像抠图）论文介绍 https://bbs.huaweicloud.com/forum/thread-186436-1-1.html  14.自动学习项目中，进行增量训练的方法 https://bbs.huaweicloud.com/forum/thread-186407-1-1.html  15.使用A3C算法玩乒乓球游戏案例实操 https://bbs.huaweicloud.com/forum/thread-186406-1-1.html 

我按照 https://support.huaweicloud.com/bestpractice-modelarts/modelarts_10_0026.html#modelarts_10_0026__zh-cn_topic_0235073536_section87421022184315 提供的样例实践过程中，发现下载数据集、订阅算法后，创建训练作业时，提示“该算法不支持为拆分数据”。但找不到在哪里拆分数据。按照文章里面探索描述的，可以在发布数据集时设置拆分数据，但是目前的发布数据集页面并没有拆分数据的功能。而且几次尝试，都发布失败。下面附上界面图。请专家指教该如何处理？是不是功能更新后，文档没有更新呢？谢谢~

模型是从ModelZoo下载的，数据集用的Cifar-10。日志里并没有定位具体问题。之前解决了一些日志定位的bug。目前的部分日志如下：omponent=ma-training-toolkit Platform=ModelArts-Service [2022-08-22T09:13:34+08:00][ModelArts Service Log][sidecar] training is completed [2022-08-22T09:13:34+08:00][ModelArts Service Log][sidecar] the reason for the failure of the training job is under analysis time="2022-08-22T09:13:34+08:00" level=warning msg="the log-preview-size parameter exceeds the limit and will be set to the default value 5242880" file="cli.go:192" Command=analyze Component=ma-training-toolkit Platform=ModelArts-Service [2022-08-22T09:13:34+08:00][ModelArts Service Log][sidecar] stop toolkit_obs_upload_by_channels_pid = 49 by signal SIGTERM time="2022-08-22T09:13:34+08:00" level=info msg="the periodic upload task exiting..." file="upload.go:216" Command=obs/upload_by_channels Component=ma-training-toolkit Platform=ModelArts-Service Task=log_url time="2022-08-22T09:13:34+08:00" level=info msg="the periodic upload task exiting..." file="upload.go:216" Command=obs/upload_by_channels Component=ma-training-toolkit Platform=ModelArts-Service Task=srt_log_collection time="2022-08-22T09:13:34+08:00" level=info msg="the periodic upload task exiting..." file="upload.go:216" Command=obs/upload_by_channels Component=ma-training-toolkit Platform=ModelArts-Service Task=train_url 

ModelArts是面向AI开发者的一站式开发平台，提供海量数据预处理及半自动化标注、大规模分布式训练、自动化模型生成及端-边-云模型按需部署能力，帮助用户快速创建和部署模型，管理全周期AI工作流。“一站式”是指AI开发的各个环节，包括数据处理、算法开发、模型训练、模型部署都可以在ModelArts上完成。从技术上看，ModelArts底层支持各种异构计算资源，开发者可以根据需要灵活选择使用，而不需要关心底层的技术。同时，ModelArts支持Tensorflow、PyTorch、MindSpore等主流开源的AI开发框架，也支持开发者使用自研的算法框架，匹配您的使用习惯。ModelArts的理念就是让AI开发变得更简单、更方便。面向不同经验的AI开发者，提供便捷易用的使用流程。例如，面向业务开发者，不需关注模型或编码，可使用自动学习流程快速构建AI应用；面向AI初学者，不需关注模型开发，使用预置算法构建AI应用；面向AI工程师，提供多种开发环境，多种操作流程和模式，方便开发者编码扩展，快速构建模型及应用。2022年05月序号功能名称功能描述阶段相关文档1上线Workflow工作流功能开发者可以基于ModelArts提供的Workflow工作流可视化运行AI开发全流程，也可以基于Python SDK开发自己的工作流。公测Workflow介绍2新版训练模式选择功能针对MindSpore类引擎，ModelArts提供训练模式选择，支持用户根据实际场景获取不同的诊断信息。公测训练模式选择3新版训练支持使用自定义镜像创建算法和训练作业新版训练管理中，支持使用自定义镜像的方式创建并运行训练作业。公测使用自定义镜像创建新版训练作业4支持使用VS Code一键连接Notebook在开发环境Console控制台上提供“VS Code”按钮，已开启SSH的实例可通过“VS Code”自动打开VS Code并连接实例。公测VS Code一键连接Notebook5新版训练故障自动恢复功能在训练模型因硬件故障而导致训练失败时，提供容错检查和自动恢复能力。公测训练故障自动恢复6新版训练上线事件查看功能在训练作业运行周期中，可通过查看事件功能，了解训练作业运行过程，遇到任务异常时，更加准确的排查定位问题。公测训练作业事件

一直处于同步中

【功能模块】modelarts开发环境notebook【操作步骤&问题现象】1、使用ssh连接notebook报错，连接其他官方notebook正常【截图信息】【日志信息】（可选，上传日志内容或者附件）notebook情况

在第二步骤中，出现了使用界面和文档不一致的情况，按照文档执行出现了错误，不知道该如何继续。

ModelArts是面向AI开发者的一站式开发平台，提供海量数据预处理及半自动化标注、大规模分布式训练、自动化模型生成及端-边-云模型按需部署能力，帮助用户快速创建和部署模型，管理全周期AI工作流。“一站式”是指AI开发的各个环节，包括数据处理、算法开发、模型训练、模型部署都可以在ModelArts上完成。从技术上看，ModelArts底层支持各种异构计算资源，开发者可以根据需要灵活选择使用，而不需要关心底层的技术。同时，ModelArts支持Tensorflow、PyTorch、MindSpore等主流开源的AI开发框架，也支持开发者使用自研的算法框架，匹配您的使用习惯。ModelArts的理念就是让AI开发变得更简单、更方便。面向不同经验的AI开发者，提供便捷易用的使用流程。例如，面向业务开发者，不需关注模型或编码，可使用自动学习流程快速构建AI应用；面向AI初学者，不需关注模型开发，使用预置算法构建AI应用；面向AI工程师，提供多种开发环境，多种操作流程和模式，方便开发者编码扩展，快速构建模型及应用。AI开发平台ModelArts最新动态2022年05月序号功能名称功能描述阶段相关文档1上线Workflow工作流功能开发者可以基于ModelArts提供的Workflow工作流可视化运行AI开发全流程，也可以基于Python SDK开发自己的工作流。公测Workflow介绍2新版训练模式选择功能针对MindSpore类引擎，ModelArts提供训练模式选择，支持用户根据实际场景获取不同的诊断信息。公测训练模式选择3新版训练支持使用自定义镜像创建算法和训练作业新版训练管理中，支持使用自定义镜像的方式创建并运行训练作业。公测使用自定义镜像创建新版训练作业4支持使用VS Code一键连接Notebook在开发环境Console控制台上提供“VS Code”按钮，已开启SSH的实例可通过“VS Code”自动打开VS Code并连接实例。公测VS Code一键连接Notebook5新版训练故障自动恢复功能在训练模型因硬件故障而导致训练失败时，提供容错检查和自动恢复能力。公测训练故障自动恢复6新版训练上线事件查看功能在训练作业运行周期中，可通过查看事件功能，了解训练作业运行过程，遇到任务异常时，更加准确的排查定位问题。公测训练作业事件