- 本次案例以PaddleOCRv4的模型为例,介绍将模型迁移到NPU上的流程。迁移过程要保证原模型的功能在新的硬件上不会出现错误,可以借助各种日志辅助定位,此处尤其需要注意的是偶发性错误与长跑时才会出现的错误。 安装PaddleOCR套件# 下载 PaddleOCR 套件源码git clone https://github.com/PaddlePaddle/PaddleOCR# 进入 Padd... 本次案例以PaddleOCRv4的模型为例,介绍将模型迁移到NPU上的流程。迁移过程要保证原模型的功能在新的硬件上不会出现错误,可以借助各种日志辅助定位,此处尤其需要注意的是偶发性错误与长跑时才会出现的错误。 安装PaddleOCR套件# 下载 PaddleOCR 套件源码git clone https://github.com/PaddlePaddle/PaddleOCR# 进入 Padd...
- 训练常用环境变量本节介绍的环境变量建议在训练前提前设置好。 NPU私有格式0为关闭,建议关闭:export FLAGS_npu_storage_format=0 NPU在线编译false为关闭,建议小模型关闭,大模型打开:export FLAGS_npu_jit_compile=false aclnn_scale在大模型场景设置False性能更好,小模型场景设置True性能更好:expor... 训练常用环境变量本节介绍的环境变量建议在训练前提前设置好。 NPU私有格式0为关闭,建议关闭:export FLAGS_npu_storage_format=0 NPU在线编译false为关闭,建议小模型关闭,大模型打开:export FLAGS_npu_jit_compile=false aclnn_scale在大模型场景设置False性能更好,小模型场景设置True性能更好:expor...
- CANN环境准备 CANN镜像加载镜像下载完成后,使用 docker load 命令将下载好的镜像导入到昇腾主机上:docker load -i paddle-npu_cann80RC1-ubuntu20-aarch64-gcc84-py39.tar导入成功后,使用 docker images 查看镜像名称与标签:registry.baidubce.com/device/paddle-np... CANN环境准备 CANN镜像加载镜像下载完成后,使用 docker load 命令将下载好的镜像导入到昇腾主机上:docker load -i paddle-npu_cann80RC1-ubuntu20-aarch64-gcc84-py39.tar导入成功后,使用 docker images 查看镜像名称与标签:registry.baidubce.com/device/paddle-np...
- 全文给出三种模型的代码示例,以GraphSage为例主要讲解 GraphSage因为昇腾暂时还不支持PyG的torch_scatter,torch_sparse等加速库,所以还不能使用mini-batch方式训练GNN,此处都是in-memory的全图训练方式。首先构建一个GraphSAGE网络以下代码是一个两层的GraphSAGE网络,利用PyG提供的SAGEConv进行构建。class ... 全文给出三种模型的代码示例,以GraphSage为例主要讲解 GraphSage因为昇腾暂时还不支持PyG的torch_scatter,torch_sparse等加速库,所以还不能使用mini-batch方式训练GNN,此处都是in-memory的全图训练方式。首先构建一个GraphSAGE网络以下代码是一个两层的GraphSAGE网络,利用PyG提供的SAGEConv进行构建。class ...
- 环境昊算平台910b NPUdocker容器 下载中心Ascend/pytorch安装torch_npu插件-安装步骤-配置与安装-开发文档-昇腾社区 安装流程查阅所需的对应版本PyTorch Extension版本号采用{PyTorch版本}-{昇腾版本}命名规则,前者为PyTorch Extension匹配的PyTorch版本,后者用于匹配CANN版本,详细匹配如下:CANN版本支持的... 环境昊算平台910b NPUdocker容器 下载中心Ascend/pytorch安装torch_npu插件-安装步骤-配置与安装-开发文档-昇腾社区 安装流程查阅所需的对应版本PyTorch Extension版本号采用{PyTorch版本}-{昇腾版本}命名规则,前者为PyTorch Extension匹配的PyTorch版本,后者用于匹配CANN版本,详细匹配如下:CANN版本支持的...
- 环境昊算平台910b NPUdocker容器 安装步骤安装依赖-安装CANN(物理机场景)-软件安装-开发文档-昇腾社区apt安装miniconda安装 Apt首先进行换源,参考昇腾NPU容器内 apt 换源 Miniconda安装minicondamkdir -p ~/miniconda3wget https://repo.anaconda.com/miniconda/Miniconda... 环境昊算平台910b NPUdocker容器 安装步骤安装依赖-安装CANN(物理机场景)-软件安装-开发文档-昇腾社区apt安装miniconda安装 Apt首先进行换源,参考昇腾NPU容器内 apt 换源 Miniconda安装minicondamkdir -p ~/miniconda3wget https://repo.anaconda.com/miniconda/Miniconda...
- 环境昊算平台910b NPUdocker容器 下载中心社区版资源下载-资源下载中心-昇腾社区资源下载 安装流程此处以8.0.0.beta1为例下载对应版本Toolkithttps://ascend-repo.obs.cn-east-2.myhuaweicloud.com/CANN/CANN%208.0.0/Ascend-cann-toolkit_8.0.0_linux-aarch64.ru... 环境昊算平台910b NPUdocker容器 下载中心社区版资源下载-资源下载中心-昇腾社区资源下载 安装流程此处以8.0.0.beta1为例下载对应版本Toolkithttps://ascend-repo.obs.cn-east-2.myhuaweicloud.com/CANN/CANN%208.0.0/Ascend-cann-toolkit_8.0.0_linux-aarch64.ru...
- 环境昊算NPU云910b 问题缺少vim等,同时无法apt安装新的依赖 解决办法使用vi修改/etc/apt/sources.list.d/debian.sourcesTypes: debURIs: http://deb.debian.org/debianSuites: bookworm bookworm-updates bookworm-backportsComponents: main... 环境昊算NPU云910b 问题缺少vim等,同时无法apt安装新的依赖 解决办法使用vi修改/etc/apt/sources.list.d/debian.sourcesTypes: debURIs: http://deb.debian.org/debianSuites: bookworm bookworm-updates bookworm-backportsComponents: main...
- 环境昊算npu云910b 报错情况终端输入npu-smi info后报错:npu-smi: error while loading shared libraries: libc_sec.so: cannot open shared object file: No such file or directory 解决方案调用ldd /usr/local/bin/npu-smi查看缺少哪些文件r... 环境昊算npu云910b 报错情况终端输入npu-smi info后报错:npu-smi: error while loading shared libraries: libc_sec.so: cannot open shared object file: No such file or directory 解决方案调用ldd /usr/local/bin/npu-smi查看缺少哪些文件r...
- 前言本文重点介绍Paddle与NPU的适配工作,PaddlePaddle是一个深度学习框架,类似于pytorch;PaddleCustomDeviece是适配层代码,类似于pytorch adapter;模型侧代码根据领域分为PaddleNLP、PaddleMix、PaddleClas、PaddleOCR等。 前言本文重点介绍Paddle与NPU的适配工作,PaddlePaddle是一个深度学习框架,类似于pytorch;PaddleCustomDeviece是适配层代码,类似于pytorch adapter;模型侧代码根据领域分为PaddleNLP、PaddleMix、PaddleClas、PaddleOCR等。
- 开源for Huawei(参考:https://developer.huaweicloud.com/programs/opensource/contributing/) 通过和公司、高校、社区的开发者合作,完成鲲鹏、昇腾、欧拉、鸿蒙、高斯、云服务等与开源软件的适配开发,帮助繁荣Huawei的基础生态,同时让开源软件能够更加简单、高效的运行于华为云上。 开源for Huawei(参考:https://developer.huaweicloud.com/programs/opensource/contributing/) 通过和公司、高校、社区的开发者合作,完成鲲鹏、昇腾、欧拉、鸿蒙、高斯、云服务等与开源软件的适配开发,帮助繁荣Huawei的基础生态,同时让开源软件能够更加简单、高效的运行于华为云上。
- DeepSeek模型MOE结构代码详解;TinyVue v3.22.0 正式发布;基于昇腾服务器微调glm4-9b-chat案例。 DeepSeek模型MOE结构代码详解;TinyVue v3.22.0 正式发布;基于昇腾服务器微调glm4-9b-chat案例。
- 在自然语言处理领域,模型微调是一种强大的技术,可以让预训练模型适应特定的任务和数据集。本文将详细介绍如何使用 昇腾LLM分布式训练框架MindSpeed-LLM 进行 ChatGLM3-6B 模型的微调迁移,并结合工具进行性能分析和数据解析。 一、迁移准备 参考文档主要参考 昇腾LLM分布式训练框架MindSpeed-LLM 中的使用方式和流程进行迁移。 二、迁移步骤首先需要在安装好相关组件... 在自然语言处理领域,模型微调是一种强大的技术,可以让预训练模型适应特定的任务和数据集。本文将详细介绍如何使用 昇腾LLM分布式训练框架MindSpeed-LLM 进行 ChatGLM3-6B 模型的微调迁移,并结合工具进行性能分析和数据解析。 一、迁移准备 参考文档主要参考 昇腾LLM分布式训练框架MindSpeed-LLM 中的使用方式和流程进行迁移。 二、迁移步骤首先需要在安装好相关组件...
- 一、华为Ascend 310B与PyTorch兼容性1. 硬件与软件支持华为Ascend 310B是一款专为AI推理设计的高能效、高集成度的AI处理器,主要用于边缘计算场景。虽然Ascend 310B本身没有直接运行PyTorch的原生能力,但借助华为的异构计算架构(CANN)和相关工具,用户可以在Ascend 310B上运行PyTorch模型。2. 模型转换与环境配置在Ascend 310... 一、华为Ascend 310B与PyTorch兼容性1. 硬件与软件支持华为Ascend 310B是一款专为AI推理设计的高能效、高集成度的AI处理器,主要用于边缘计算场景。虽然Ascend 310B本身没有直接运行PyTorch的原生能力,但借助华为的异构计算架构(CANN)和相关工具,用户可以在Ascend 310B上运行PyTorch模型。2. 模型转换与环境配置在Ascend 310...
- 服务化性能调优 前置准备完成MindIE环境的安装,参考链接下载好要调优的模型权重下载好性能测试数据集 调优流程下面以Llama3-8B为例,讲解调优全流程 1.查看模型权重大小Llama3-8B权重为15GB 2.计算npuMemSize计算公式为:Floor[(单卡显存-空闲占用-权重/NPU卡数)* 系数],系数取值为0.8单卡空闲显存:61GB空闲占用:约3GBnpuMemSize... 服务化性能调优 前置准备完成MindIE环境的安装,参考链接下载好要调优的模型权重下载好性能测试数据集 调优流程下面以Llama3-8B为例,讲解调优全流程 1.查看模型权重大小Llama3-8B权重为15GB 2.计算npuMemSize计算公式为:Floor[(单卡显存-空闲占用-权重/NPU卡数)* 系数],系数取值为0.8单卡空闲显存:61GB空闲占用:约3GBnpuMemSize...
上滑加载中
推荐直播
-
华为云码道 × 仓颉编程:工程化AI编码探索2026/05/27 周三 19:00-21:00
刘俊杰-华为云仓颉语言专家/李炎-华为云码道技术专家/王智鹏-OpenCangjie开源社区发起人
本场直播围绕华为云仓颉语言与华为云码道的深度结合,展示华为云智能编程从零基础到高效落地的完整生态能力。以华为云码道为引擎,仓颉语言为载体,带给大家日常提效、趣味创新到极速量产的开发体验。
回顾中 -
一个AI团队帮你写代码:华为云码道Agent Space实战2026/06/25 周四 19:00-21:00
张翰文-华为云码道工程师/郭英旭-青软创新科技集团股份有限公司 软件架构师
本场直播聚焦华为云码道Agent Space两大模式:研发办公、代码开发,亲身体验从需求到代码的AI自动化能力。实操演示基于华为 CodeArts CLI,依托 OpenSpec 规格体系从零搭建业务项目。
回顾中
热门标签