- 本次案例以PaddleOCRv4的模型为例,介绍将模型迁移到NPU上的流程。迁移过程要保证原模型的功能在新的硬件上不会出现错误,可以借助各种日志辅助定位,此处尤其需要注意的是偶发性错误与长跑时才会出现的错误。 安装PaddleOCR套件# 下载 PaddleOCR 套件源码git clone https://github.com/PaddlePaddle/PaddleOCR# 进入 Padd... 本次案例以PaddleOCRv4的模型为例,介绍将模型迁移到NPU上的流程。迁移过程要保证原模型的功能在新的硬件上不会出现错误,可以借助各种日志辅助定位,此处尤其需要注意的是偶发性错误与长跑时才会出现的错误。 安装PaddleOCR套件# 下载 PaddleOCR 套件源码git clone https://github.com/PaddlePaddle/PaddleOCR# 进入 Padd...
- 训练常用环境变量本节介绍的环境变量建议在训练前提前设置好。 NPU私有格式0为关闭,建议关闭:export FLAGS_npu_storage_format=0 NPU在线编译false为关闭,建议小模型关闭,大模型打开:export FLAGS_npu_jit_compile=false aclnn_scale在大模型场景设置False性能更好,小模型场景设置True性能更好:expor... 训练常用环境变量本节介绍的环境变量建议在训练前提前设置好。 NPU私有格式0为关闭,建议关闭:export FLAGS_npu_storage_format=0 NPU在线编译false为关闭,建议小模型关闭,大模型打开:export FLAGS_npu_jit_compile=false aclnn_scale在大模型场景设置False性能更好,小模型场景设置True性能更好:expor...
- CANN环境准备 CANN镜像加载镜像下载完成后,使用 docker load 命令将下载好的镜像导入到昇腾主机上:docker load -i paddle-npu_cann80RC1-ubuntu20-aarch64-gcc84-py39.tar导入成功后,使用 docker images 查看镜像名称与标签:registry.baidubce.com/device/paddle-np... CANN环境准备 CANN镜像加载镜像下载完成后,使用 docker load 命令将下载好的镜像导入到昇腾主机上:docker load -i paddle-npu_cann80RC1-ubuntu20-aarch64-gcc84-py39.tar导入成功后,使用 docker images 查看镜像名称与标签:registry.baidubce.com/device/paddle-np...
- 全文给出三种模型的代码示例,以GraphSage为例主要讲解 GraphSage因为昇腾暂时还不支持PyG的torch_scatter,torch_sparse等加速库,所以还不能使用mini-batch方式训练GNN,此处都是in-memory的全图训练方式。首先构建一个GraphSAGE网络以下代码是一个两层的GraphSAGE网络,利用PyG提供的SAGEConv进行构建。class ... 全文给出三种模型的代码示例,以GraphSage为例主要讲解 GraphSage因为昇腾暂时还不支持PyG的torch_scatter,torch_sparse等加速库,所以还不能使用mini-batch方式训练GNN,此处都是in-memory的全图训练方式。首先构建一个GraphSAGE网络以下代码是一个两层的GraphSAGE网络,利用PyG提供的SAGEConv进行构建。class ...
- 环境昊算平台910b NPUdocker容器 下载中心Ascend/pytorch安装torch_npu插件-安装步骤-配置与安装-开发文档-昇腾社区 安装流程查阅所需的对应版本PyTorch Extension版本号采用{PyTorch版本}-{昇腾版本}命名规则,前者为PyTorch Extension匹配的PyTorch版本,后者用于匹配CANN版本,详细匹配如下:CANN版本支持的... 环境昊算平台910b NPUdocker容器 下载中心Ascend/pytorch安装torch_npu插件-安装步骤-配置与安装-开发文档-昇腾社区 安装流程查阅所需的对应版本PyTorch Extension版本号采用{PyTorch版本}-{昇腾版本}命名规则,前者为PyTorch Extension匹配的PyTorch版本,后者用于匹配CANN版本,详细匹配如下:CANN版本支持的...
- 环境昊算平台910b NPUdocker容器 安装步骤安装依赖-安装CANN(物理机场景)-软件安装-开发文档-昇腾社区apt安装miniconda安装 Apt首先进行换源,参考昇腾NPU容器内 apt 换源 Miniconda安装minicondamkdir -p ~/miniconda3wget https://repo.anaconda.com/miniconda/Miniconda... 环境昊算平台910b NPUdocker容器 安装步骤安装依赖-安装CANN(物理机场景)-软件安装-开发文档-昇腾社区apt安装miniconda安装 Apt首先进行换源,参考昇腾NPU容器内 apt 换源 Miniconda安装minicondamkdir -p ~/miniconda3wget https://repo.anaconda.com/miniconda/Miniconda...
- 环境昊算平台910b NPUdocker容器 下载中心社区版资源下载-资源下载中心-昇腾社区资源下载 安装流程此处以8.0.0.beta1为例下载对应版本Toolkithttps://ascend-repo.obs.cn-east-2.myhuaweicloud.com/CANN/CANN%208.0.0/Ascend-cann-toolkit_8.0.0_linux-aarch64.ru... 环境昊算平台910b NPUdocker容器 下载中心社区版资源下载-资源下载中心-昇腾社区资源下载 安装流程此处以8.0.0.beta1为例下载对应版本Toolkithttps://ascend-repo.obs.cn-east-2.myhuaweicloud.com/CANN/CANN%208.0.0/Ascend-cann-toolkit_8.0.0_linux-aarch64.ru...
- 环境昊算NPU云910b 问题缺少vim等,同时无法apt安装新的依赖 解决办法使用vi修改/etc/apt/sources.list.d/debian.sourcesTypes: debURIs: http://deb.debian.org/debianSuites: bookworm bookworm-updates bookworm-backportsComponents: main... 环境昊算NPU云910b 问题缺少vim等,同时无法apt安装新的依赖 解决办法使用vi修改/etc/apt/sources.list.d/debian.sourcesTypes: debURIs: http://deb.debian.org/debianSuites: bookworm bookworm-updates bookworm-backportsComponents: main...
- 环境昊算npu云910b 报错情况终端输入npu-smi info后报错:npu-smi: error while loading shared libraries: libc_sec.so: cannot open shared object file: No such file or directory 解决方案调用ldd /usr/local/bin/npu-smi查看缺少哪些文件r... 环境昊算npu云910b 报错情况终端输入npu-smi info后报错:npu-smi: error while loading shared libraries: libc_sec.so: cannot open shared object file: No such file or directory 解决方案调用ldd /usr/local/bin/npu-smi查看缺少哪些文件r...
- 前言本文重点介绍Paddle与NPU的适配工作,PaddlePaddle是一个深度学习框架,类似于pytorch;PaddleCustomDeviece是适配层代码,类似于pytorch adapter;模型侧代码根据领域分为PaddleNLP、PaddleMix、PaddleClas、PaddleOCR等。 前言本文重点介绍Paddle与NPU的适配工作,PaddlePaddle是一个深度学习框架,类似于pytorch;PaddleCustomDeviece是适配层代码,类似于pytorch adapter;模型侧代码根据领域分为PaddleNLP、PaddleMix、PaddleClas、PaddleOCR等。
- 开源for Huawei(参考:https://developer.huaweicloud.com/programs/opensource/contributing/) 通过和公司、高校、社区的开发者合作,完成鲲鹏、昇腾、欧拉、鸿蒙、高斯、云服务等与开源软件的适配开发,帮助繁荣Huawei的基础生态,同时让开源软件能够更加简单、高效的运行于华为云上。 开源for Huawei(参考:https://developer.huaweicloud.com/programs/opensource/contributing/) 通过和公司、高校、社区的开发者合作,完成鲲鹏、昇腾、欧拉、鸿蒙、高斯、云服务等与开源软件的适配开发,帮助繁荣Huawei的基础生态,同时让开源软件能够更加简单、高效的运行于华为云上。
- DeepSeek模型MOE结构代码详解;TinyVue v3.22.0 正式发布;基于昇腾服务器微调glm4-9b-chat案例。 DeepSeek模型MOE结构代码详解;TinyVue v3.22.0 正式发布;基于昇腾服务器微调glm4-9b-chat案例。
- 在自然语言处理领域,模型微调是一种强大的技术,可以让预训练模型适应特定的任务和数据集。本文将详细介绍如何使用 昇腾LLM分布式训练框架MindSpeed-LLM 进行 ChatGLM3-6B 模型的微调迁移,并结合工具进行性能分析和数据解析。 一、迁移准备 参考文档主要参考 昇腾LLM分布式训练框架MindSpeed-LLM 中的使用方式和流程进行迁移。 二、迁移步骤首先需要在安装好相关组件... 在自然语言处理领域,模型微调是一种强大的技术,可以让预训练模型适应特定的任务和数据集。本文将详细介绍如何使用 昇腾LLM分布式训练框架MindSpeed-LLM 进行 ChatGLM3-6B 模型的微调迁移,并结合工具进行性能分析和数据解析。 一、迁移准备 参考文档主要参考 昇腾LLM分布式训练框架MindSpeed-LLM 中的使用方式和流程进行迁移。 二、迁移步骤首先需要在安装好相关组件...
- 一、华为Ascend 310B与PyTorch兼容性1. 硬件与软件支持华为Ascend 310B是一款专为AI推理设计的高能效、高集成度的AI处理器,主要用于边缘计算场景。虽然Ascend 310B本身没有直接运行PyTorch的原生能力,但借助华为的异构计算架构(CANN)和相关工具,用户可以在Ascend 310B上运行PyTorch模型。2. 模型转换与环境配置在Ascend 310... 一、华为Ascend 310B与PyTorch兼容性1. 硬件与软件支持华为Ascend 310B是一款专为AI推理设计的高能效、高集成度的AI处理器,主要用于边缘计算场景。虽然Ascend 310B本身没有直接运行PyTorch的原生能力,但借助华为的异构计算架构(CANN)和相关工具,用户可以在Ascend 310B上运行PyTorch模型。2. 模型转换与环境配置在Ascend 310...
- 服务化性能调优 前置准备完成MindIE环境的安装,参考链接下载好要调优的模型权重下载好性能测试数据集 调优流程下面以Llama3-8B为例,讲解调优全流程 1.查看模型权重大小Llama3-8B权重为15GB 2.计算npuMemSize计算公式为:Floor[(单卡显存-空闲占用-权重/NPU卡数)* 系数],系数取值为0.8单卡空闲显存:61GB空闲占用:约3GBnpuMemSize... 服务化性能调优 前置准备完成MindIE环境的安装,参考链接下载好要调优的模型权重下载好性能测试数据集 调优流程下面以Llama3-8B为例,讲解调优全流程 1.查看模型权重大小Llama3-8B权重为15GB 2.计算npuMemSize计算公式为:Floor[(单卡显存-空闲占用-权重/NPU卡数)* 系数],系数取值为0.8单卡空闲显存:61GB空闲占用:约3GBnpuMemSize...
上滑加载中
推荐直播
-
昇腾AI算法挑战赛-核心算子如何优化?专家带你深度解析2025/11/17 周一 16:00-17:00
王老师 华为算子专家
昇腾AI算法挑战赛进阶赛战鼓催征!本期直播间,我们特邀华为算子专家王老师,为你深度剖析Matmul、wholereducesum等核心算子的底层原理与优化技巧,直击赛题核心。想提升代码效率、冲击更高排名?锁定直播,带你破局!
回顾中 -
AI编码实干派,“码”力全开2026/02/26 周四 15:00-16:30
谈宗玮/于邦旭/丁俊卿/陈云亮/王一男
【中国,深圳,2026年2月26日】,以“AI编码实干派,码力全开”为主题的华为云码道(CodeArts)代码智能体新春发布会在线上成功召开。华为云码道公测版正式发布,为开发者和企业提供具备工程化能力的智能编码解决方案。
回顾中 -
华为云码道-玩转OpenClaw,开启在线养虾模式2026/03/11 周三 19:00-20:00
刘昱,华为云高级工程师/谈心,华为云技术专家/李海仑,上海圭卓智能科技有限公司CEO
OpenClaw 火爆开发者圈,华为云码道最新推出 Skill ——开发者只需输入一句口令,即可部署一个功能完整的「小龙虾」智能体。直播带你玩转华为云码道,玩转OpenClaw
回顾中
热门标签