- 以下是撰写这份关于人工智能和大模型发展洞察及实践指南的思路,整体分为五个主要部分,分别涵盖人工智能发展、大模型发展、两者关联性、构建多模型运行平台以及成熟落地场景与技术人才配置。一、人工智能发展概述起源与发展历程人工智能的概念最早可追溯到20世纪50年代,当时科学家们开始探索让机器模拟人类智能的可能性,如简单的数学定理证明和逻辑推理程序。随后,经历了专家系统、机器学习、深度学习等多个发展阶段... 以下是撰写这份关于人工智能和大模型发展洞察及实践指南的思路,整体分为五个主要部分,分别涵盖人工智能发展、大模型发展、两者关联性、构建多模型运行平台以及成熟落地场景与技术人才配置。一、人工智能发展概述起源与发展历程人工智能的概念最早可追溯到20世纪50年代,当时科学家们开始探索让机器模拟人类智能的可能性,如简单的数学定理证明和逻辑推理程序。随后,经历了专家系统、机器学习、深度学习等多个发展阶段...
- 第九届微波与THz国际学术研讨会(ICMTT 2026)将于2026年1月9-11日在中国三亚举行。本届大会将继续遵循学术性、国际性的原则,特邀国内外微波与THz领域内的学者专家前来参会,并做出精彩的报告。ICMTT 2026旨在打造一场交流分享最新科研成果和研究方法的学术盛宴!诚邀各位专家和代表的参加。 第九届微波与THz国际学术研讨会(ICMTT 2026)将于2026年1月9-11日在中国三亚举行。本届大会将继续遵循学术性、国际性的原则,特邀国内外微波与THz领域内的学者专家前来参会,并做出精彩的报告。ICMTT 2026旨在打造一场交流分享最新科研成果和研究方法的学术盛宴!诚邀各位专家和代表的参加。
- 深度学习进军网络安全监控:AI能否守护你的数据? 深度学习进军网络安全监控:AI能否守护你的数据?
- 接上一章节内容,将ONNX模型拆分成loop算子部分和非loop算子部分后,分别转换成OM模型,并用for循环替换loop算子计算逻辑,比较OM模型和ONNX模型的推理结果是否一致,验证结果如果一致则证明该方案有效。 onnx模型转om loop算子前面的图-Aatc --model=./mode_loop_input2_i_cond.onnx --framework=5 \ --o... 接上一章节内容,将ONNX模型拆分成loop算子部分和非loop算子部分后,分别转换成OM模型,并用for循环替换loop算子计算逻辑,比较OM模型和ONNX模型的推理结果是否一致,验证结果如果一致则证明该方案有效。 onnx模型转om loop算子前面的图-Aatc --model=./mode_loop_input2_i_cond.onnx --framework=5 \ --o...
- 方案背景当在线推理的速度无法满足客户要求,使用atc工具将onnx转为om模型走离线推理路径时,遇到NPU不支持LOOP算子的问题,本文提供一种解决方案。本方案的设计思路是,onnx文件分成loop算子和不含loop算子的两部分,把loop算子的子图提取出来,单独推理。实际操作中可能需要分成3份乃至更多,因此,本方案使用于关键路径上的loop算子,否则工作量会很大。 构造包含loop算子的... 方案背景当在线推理的速度无法满足客户要求,使用atc工具将onnx转为om模型走离线推理路径时,遇到NPU不支持LOOP算子的问题,本文提供一种解决方案。本方案的设计思路是,onnx文件分成loop算子和不含loop算子的两部分,把loop算子的子图提取出来,单独推理。实际操作中可能需要分成3份乃至更多,因此,本方案使用于关键路径上的loop算子,否则工作量会很大。 构造包含loop算子的...
- ais_bench提供的python API可供使能基于昇腾硬件的离线模型(.om模型)推理。具体介绍可参考[API_GUIDE](https://gitee.com/ascend/tools/blob/master/ais-bench_workload/tool/ais_bench/API_GUIDE.md#api%E7%AE%80%E4%BB%8B)下面列举几个常用的API推理场景使用方... ais_bench提供的python API可供使能基于昇腾硬件的离线模型(.om模型)推理。具体介绍可参考[API_GUIDE](https://gitee.com/ascend/tools/blob/master/ais-bench_workload/tool/ais_bench/API_GUIDE.md#api%E7%AE%80%E4%BB%8B)下面列举几个常用的API推理场景使用方...
- 动态BatchSize OM推理以档位1 2 4 8档为例,设置档位为2,本程序将获取实际模型输入组Batch,每2个输入为一组,进行组Batch。示例命令:python3 -m ais_bench --model ./inference/om/dynamic_batch_size_det.om --input ./inference/input/ --output ./inference... 动态BatchSize OM推理以档位1 2 4 8档为例,设置档位为2,本程序将获取实际模型输入组Batch,每2个输入为一组,进行组Batch。示例命令:python3 -m ais_bench --model ./inference/om/dynamic_batch_size_det.om --input ./inference/input/ --output ./inference...
- 推理环境准备 ais_bench推理工具简介昇腾离线OM模型的推理后端是ACL(Ascend Computing Language),其底层采用C实现,后来在ACL基础上又做了一套Python接口,命名为pyACL,为了方便开发,华为工程师又基于pyacl开发出一款推理工具ais_bench,此工具支持使用命令进行快捷地推理,并测试推理模型的性能(包括吞吐率、时延),同时ais_bench... 推理环境准备 ais_bench推理工具简介昇腾离线OM模型的推理后端是ACL(Ascend Computing Language),其底层采用C实现,后来在ACL基础上又做了一套Python接口,命名为pyACL,为了方便开发,华为工程师又基于pyacl开发出一款推理工具ais_bench,此工具支持使用命令进行快捷地推理,并测试推理模型的性能(包括吞吐率、时延),同时ais_bench...
- 本章节介绍 ONNX 模型如何转化为 OM 模型,并在昇腾AI处理器上做离线推理。昇腾张量编译器(Ascend Tensor Compiler,简称ATC)是异构计算架构CANN体系下的模型转换工具, 它可以将开源框架的网络模型或Ascend IR定义的单算子描述文件(json格式)转换为昇腾AI处理器支持的.om格式离线模型。ATC功能详见:https://www.hiascend.com... 本章节介绍 ONNX 模型如何转化为 OM 模型,并在昇腾AI处理器上做离线推理。昇腾张量编译器(Ascend Tensor Compiler,简称ATC)是异构计算架构CANN体系下的模型转换工具, 它可以将开源框架的网络模型或Ascend IR定义的单算子描述文件(json格式)转换为昇腾AI处理器支持的.om格式离线模型。ATC功能详见:https://www.hiascend.com...
- 本节介绍 PP-OCRv4 模型如何转化为 ONNX 模型。 环境准备需要准备 PaddleOCR、Paddle2ONNX 模型转化环境,和 ONNXRuntime 推理环境。 安装 Paddle2ONNXPaddle2ONNX 支持将 PaddlePaddle 模型格式转化到 ONNX 模型格式,安装命令如下:python3 -m pip install paddle2onnx 安装 ON... 本节介绍 PP-OCRv4 模型如何转化为 ONNX 模型。 环境准备需要准备 PaddleOCR、Paddle2ONNX 模型转化环境,和 ONNXRuntime 推理环境。 安装 Paddle2ONNXPaddle2ONNX 支持将 PaddlePaddle 模型格式转化到 ONNX 模型格式,安装命令如下:python3 -m pip install paddle2onnx 安装 ON...
- 性能优化问题定界在通过分析 profiling 文件找出性能瓶颈后,接下来将介绍相关的优化方法。算子时长主要由计算时间和调度时间两部分构成,下面将分别对计算时间长和调度时间长这两种情况进行探讨。 计算时间长的情况分析与优化计算时间长可能由以下三种情况导致: 算子运行于 AI_CPU若底层未对 AI_CORE 提供支持,就必须开发新的算子;若已有相关支持,计算时间长大概率是由 64 位数据类... 性能优化问题定界在通过分析 profiling 文件找出性能瓶颈后,接下来将介绍相关的优化方法。算子时长主要由计算时间和调度时间两部分构成,下面将分别对计算时间长和调度时间长这两种情况进行探讨。 计算时间长的情况分析与优化计算时间长可能由以下三种情况导致: 算子运行于 AI_CPU若底层未对 AI_CORE 提供支持,就必须开发新的算子;若已有相关支持,计算时间长大概率是由 64 位数据类...
- 性能调优思路性能优化是一项系统性工作,建议采用 “分析 - 定位 - 优化” 的流程,通过性能分析工具定位瓶颈后实施针对性优化。通过 profiling 工具获取算子级性能数据定位性能瓶颈点,主要涉及算子计算时间与调度通信时间。常用优化策略中,计算时间过长需依靠算子自身优化升级,可收集算子的 shape 和 dtype 向算子开发部门提交工单并跟踪进展;调度过程包含多个环节,目前最突出的问... 性能调优思路性能优化是一项系统性工作,建议采用 “分析 - 定位 - 优化” 的流程,通过性能分析工具定位瓶颈后实施针对性优化。通过 profiling 工具获取算子级性能数据定位性能瓶颈点,主要涉及算子计算时间与调度通信时间。常用优化策略中,计算时间过长需依靠算子自身优化升级,可收集算子的 shape 和 dtype 向算子开发部门提交工单并跟踪进展;调度过程包含多个环节,目前最突出的问...
- 本节介绍aclnn算子的三种适配场景。 Paddle-API 与 CANN-Kernel 差异剖析及适配策略对于Paddle-API与CANN-Kernel两者中常见的差别与适配方法如下: Paddle参数缺失或者参数无法直接对应如果Paddle算子只需要CANN提供的某个参数为默认值的功能,则可通过默认赋值的方式完成考虑通过计算取得需要参数 CANN参数缺失CANN算子没有某个Paddle... 本节介绍aclnn算子的三种适配场景。 Paddle-API 与 CANN-Kernel 差异剖析及适配策略对于Paddle-API与CANN-Kernel两者中常见的差别与适配方法如下: Paddle参数缺失或者参数无法直接对应如果Paddle算子只需要CANN提供的某个参数为默认值的功能,则可通过默认赋值的方式完成考虑通过计算取得需要参数 CANN参数缺失CANN算子没有某个Paddle...
- 适配代码仓介绍Paddle 针对除 CPU 和 Nvidia GPU 之外的其他硬件的适配代码,均存于[PaddleCustomDevice代码仓](https://github.com/PaddlePaddle/PaddleCustomDevice)以 NPU 适配代码为例,其路径为PaddleCustomDevice/backends/npu。在此路径下,有两个目录值得重点关注,分别是... 适配代码仓介绍Paddle 针对除 CPU 和 Nvidia GPU 之外的其他硬件的适配代码,均存于[PaddleCustomDevice代码仓](https://github.com/PaddlePaddle/PaddleCustomDevice)以 NPU 适配代码为例,其路径为PaddleCustomDevice/backends/npu。在此路径下,有两个目录值得重点关注,分别是...
- 训练系统的可用性,决定着智能化的速度。无法解决资源利用率低、系统稳定性差、通信带宽瓶颈的传统AI集群,已经不符合大模型的创新趋势。 训练系统的可用性,决定着智能化的速度。无法解决资源利用率低、系统稳定性差、通信带宽瓶颈的传统AI集群,已经不符合大模型的创新趋势。
上滑加载中
推荐直播
-
华为云码道-AI时代应用开发利器2026/03/18 周三 19:00-20:00
童得力,华为云开发者生态运营总监/姚圣伟,华为云HCDE开发者专家
本次直播由华为专家带你实战应用开发,看华为云码道(CodeArts)代码智能体如何在AI时代让你的创意应用快速落地。更有华为云HCDE开发者专家带你用码道玩转JiuwenClaw,让小艺成为你的AI助理。
回顾中 -
Skill 构建 × 智能创作:基于华为云码道的 AI 内容生产提效方案2026/03/25 周三 19:00-20:00
余伟,华为云软件研发工程师/万邵业(万少),华为云HCDE开发者专家
本次直播带来两大实战:华为云码道 Skill-Creator 手把手搭建专属知识库 Skill;如何用码道提效 OpenClaw 小说文本,打造从大纲到成稿的 AI 原创小说全链路。技术干货 + OPC创作思路,一次讲透!
回顾中 -
码道新技能,AI 新生产力——从自动视频生成到开源项目解析2026/04/08 周三 19:00-21:00
童得力-华为云开发者生态运营总监/何文强-无人机企业AI提效负责人
本次华为云码道 Skill 实战活动,聚焦两大 AI 开发场景:通过实战教学,带你打造 AI 编程自动生成视频 Skill,并实现对 GitHub 热门开源项目的智能知识抽取,手把手掌握 Skill 开发全流程,用 AI 提升研发效率与内容生产力。
回顾中
热门标签