- # 作用：出现异常可以启动设置成TRACE进行调试，但是会影响性能NCCL_DEBUG=INFO# 出现NCCL timeout 可以适当调大NCCL_IB_TIMEOUT=18NCCL_IB_RETRY_CNT=16# 请不要修改，ModelArts会提前预置好NCCL_IB_HCA=^mlx5_bond_0NCCL_SOCKET_IFNAME="=bond0,eth0,enp218s0,... # 作用：出现异常可以启动设置成TRACE进行调试，但是会影响性能NCCL_DEBUG=INFO# 出现NCCL timeout 可以适当调大NCCL_IB_TIMEOUT=18NCCL_IB_RETRY_CNT=16# 请不要修改，ModelArts会提前预置好NCCL_IB_HCA=^mlx5_bond_0NCCL_SOCKET_IFNAME="=bond0,eth0,enp218s0,...
- 背景：算法来源：图像分类-ResNet_v1_50 (huaweicloud.com)算法名称：图像分类-ResNet_v1_50使用自己的数据去训练，训练失败，界面上提示显存不足可能的原因：1. 显存不足原因：batch_size过大解决办法：逐步减少batch_size2. 图片有问题在日志里面观察到如下错误比如：tensorflow.python.framework.errors_im... 背景：算法来源：图像分类-ResNet_v1_50 (huaweicloud.com)算法名称：图像分类-ResNet_v1_50使用自己的数据去训练，训练失败，界面上提示显存不足可能的原因：1. 显存不足原因：batch_size过大解决办法：逐步减少batch_size2. 图片有问题在日志里面观察到如下错误比如：tensorflow.python.framework.errors_im...
- 背景在训练过程中如果需要访问第三方服务的时候，可能会出现 no such host或者其他找不到域名，解析不了域名的问题。分析方法1. 明确具体是哪个host无法解析2. 明确此host来源3. 根据如下可能的原因，进行针对性修改a. 域名真的不存在b. dns服务器配置错误c. dns服务器异常几种情况：1. 分布式作业中出现worker1或者其他worker的域名无法解析原因：这种... 背景在训练过程中如果需要访问第三方服务的时候，可能会出现 no such host或者其他找不到域名，解析不了域名的问题。分析方法1. 明确具体是哪个host无法解析2. 明确此host来源3. 根据如下可能的原因，进行针对性修改a. 域名真的不存在b. dns服务器配置错误c. dns服务器异常几种情况：1. 分布式作业中出现worker1或者其他worker的域名无法解析原因：这种...
- 有的用户同样超参、数据、规格、代码的作业之前都是能正常运行的，但是在某个时间之后突然都失败。 有的用户同样超参、数据、规格、代码的作业之前都是能正常运行的，但是在某个时间之后突然都失败。
- 计算卡不对外出售硬件，只出售资源--两种形式：买时长&包月包周期 或 专属资源池（一般8卡起步） 2023年7月底，发行910B，性能对标V100（FP32，Tops105）建议使用mindspore框架，有对昇腾硬件的专属优化，云端运行在欧拉系统上，但是感知不到；但是也可以替换掉ModelArts, 使用客户自有的框架，云这边只作为GPU提供商提供裸机用ModelArts无法搜索到Obs... 计算卡不对外出售硬件，只出售资源--两种形式：买时长&包月包周期 或 专属资源池（一般8卡起步） 2023年7月底，发行910B，性能对标V100（FP32，Tops105）建议使用mindspore框架，有对昇腾硬件的专属优化，云端运行在欧拉系统上，但是感知不到；但是也可以替换掉ModelArts, 使用客户自有的框架，云这边只作为GPU提供商提供裸机用ModelArts无法搜索到Obs...
- 观察自定义镜像的moxing版本是否比较低，比如低于2.x.x版本。如果自定义镜像中的moxing版本比较低，针对大规模数据下载容易造成下载性能差，下载卡死的问题。推荐安装比较新的moxing版本。自定义镜像如何安装Moxing？_AI开发平台ModelArts_常见问题_训练作业_功能咨询_华为云 (huaweicloud.com) 观察自定义镜像的moxing版本是否比较低，比如低于2.x.x版本。如果自定义镜像中的moxing版本比较低，针对大规模数据下载容易造成下载性能差，下载卡死的问题。推荐安装比较新的moxing版本。自定义镜像如何安装Moxing？_AI开发平台ModelArts_常见问题_训练作业_功能咨询_华为云 (huaweicloud.com)
- 本文给出Atlas800(鲲鹏920+昇腾910处理器)训练服务器硬件相关指南，包括三维视图、备件信息，HCCL常用方法以及网卡配置信息。 本文给出Atlas800(鲲鹏920+昇腾910处理器)训练服务器硬件相关指南，包括三维视图、备件信息，HCCL常用方法以及网卡配置信息。
- 训练作业创建中一般原因 训练作业创建中一般原因
- 记录自己的学习过程 记录自己的学习过程
- 本篇笔记记录了将迁移好的Pytorch训练代码如何部署到Modelarts平台完成训练。完整的记录了，从环境搭建、代码准备、代码运行、结果保存的全过程，以及其中需要用的软件工具，重点是注册镜像等Modelarts的操作等，方便新手小伙伴们参考。 本篇笔记记录了将迁移好的Pytorch训练代码如何部署到Modelarts平台完成训练。完整的记录了，从环境搭建、代码准备、代码运行、结果保存的全过程，以及其中需要用的软件工具，重点是注册镜像等Modelarts的操作等，方便新手小伙伴们参考。
- ModelArts GPU VNT1裸金属支持的镜像详情 ModelArts GPU VNT1裸金属支持的镜像详情
- ModelArts NPU Snt9裸金属支持的镜像详情 ModelArts NPU Snt9裸金属支持的镜像详情
- - 准备工作:1.注册华为云账号，获取AK/SAK，授权ModelArts，并申请华为云代金券 2.获取训练数据集，并进行数据预处理，比如离线制作成tfrecords(建议，可选) 3.将数据集(训练脚本)上传到OBS 4.安装PycharmIDE及ToolKit插件 5.对Tensorflow训练代码进行NPU的迁移&适配创建并提交训练任务 1.Pycharm打开训练工程代码，配置训练参数... - 准备工作:1.注册华为云账号，获取AK/SAK，授权ModelArts，并申请华为云代金券 2.获取训练数据集，并进行数据预处理，比如离线制作成tfrecords(建议，可选) 3.将数据集(训练脚本)上传到OBS 4.安装PycharmIDE及ToolKit插件 5.对Tensorflow训练代码进行NPU的迁移&适配创建并提交训练任务 1.Pycharm打开训练工程代码，配置训练参数...
- 镜像1. Ubuntu18.04 纯净版软件类型版本详情操作系统Ubuntu 18.04 server 64bit内核版本4.15.0-45-generic架构类型x86mlnx-ofed-linux5.7-1.0.2.0RoCE路由配置不支持自动配置，需创建后手动配置.镜像2. Euler 2.3纯净版软件类型版本详情操作系统EulerOS 2.0(SP3)内核版本3.10.0-514.4... 镜像1. Ubuntu18.04 纯净版软件类型版本详情操作系统Ubuntu 18.04 server 64bit内核版本4.15.0-45-generic架构类型x86mlnx-ofed-linux5.7-1.0.2.0RoCE路由配置不支持自动配置，需创建后手动配置.镜像2. Euler 2.3纯净版软件类型版本详情操作系统EulerOS 2.0(SP3)内核版本3.10.0-514.4...
- GPU A系列裸金属服务器若配置ROCE网络，则无法再华为云CCE界面直接纳管已创建好的裸金属， 需要通过以下接口纳管： GPU A系列裸金属服务器若配置ROCE网络，则无法再华为云CCE界面直接纳管已创建好的裸金属， 需要通过以下接口纳管：
上滑加载中
推荐直播
-
基于OpenHarmony的计算机学科人才培养经验分享2024/11/28 周四 19:00-21:00
华为开发者布道师、兰州大学信息科学与工程学院教授周睿
老师们、同学们，这里有不容错过的精彩！ 想了解计算机类人才培养存在哪些挑战？想知道OpenHarmony如何应用于人才培养？本次直播，为你分享基于它的科创实践、专业社团实践和教学实践途径，培养学术型、应用型和复合型精英人才。快来报名，开启提升之旅！
即将直播 -
全面解析华为云EI-API服务：理论基础与实践应用指南2024/11/29 周五 18:20-20:20
Alex 华为云学堂技术讲师
本期直播给大家带来的是理论与实践结合的华为云EI-API的服务介绍。从“主要功能，应用场景，实践案例，调用流程”四个维度来深入解析“语音交互API，文字识别API，自然语言处理API，图像识别API及图像搜索API”五大场景下API服务，同时结合实验，来加深开发者对API服务理解。
去报名 -
昇腾云服务ModelArts深度解析：理论基础与实践应用指南2024/12/03 周二 14:30-16:30
Alex 华为云学堂技术讲师
如何快速创建和部署模型，管理全周期AI工作流呢？本期直播聚焦华为昇腾云服务ModelArts一站式AI开发平台功能介绍，同时结合基于ModelArts 的实践性实验，帮助开发者从理论到实验更好地理解和使用ModelArts。
去报名
热门标签