- 本次主要讨论下AscendC另外一种开发流程，基于自定义算子工程的算子开发。从算子工程创建、代码编写、编译部署到运行验证的开发全流程，让您对算子开发工程有个宏观的认识，此处我们以输入是动态shape（主要体现在tiling）的Add算子实现为例，为了与内置Add算子区分，定义算子类型为AddCustom。 1、创建工程CANN软件包中提供了工程创建工具msOpGen，开发者可以输入算子原型定... 本次主要讨论下AscendC另外一种开发流程，基于自定义算子工程的算子开发。从算子工程创建、代码编写、编译部署到运行验证的开发全流程，让您对算子开发工程有个宏观的认识，此处我们以输入是动态shape（主要体现在tiling）的Add算子实现为例，为了与内置Add算子区分，定义算子类型为AddCustom。 1、创建工程CANN软件包中提供了工程创建工具msOpGen，开发者可以输入算子原型定...
- 本次主要讨论下AscendC算子的开发流程，基于Kernel直调工程的算子开发。 1 AscendC算子开发的基本流程使用Ascend C完成Add算子核函数开发；使用ICPU_RUN_KF CPU调测宏完成算子核函数CPU侧运行验证；使用<<<>>>内核调用符完成算子核函数NPU侧运行验证。在正式的开发之前，还需要先完成环境准备和算子分析工作，开发Ascend C算子的基本流程如下图所示：... 本次主要讨论下AscendC算子的开发流程，基于Kernel直调工程的算子开发。 1 AscendC算子开发的基本流程使用Ascend C完成Add算子核函数开发；使用ICPU_RUN_KF CPU调测宏完成算子核函数CPU侧运行验证；使用<<<>>>内核调用符完成算子核函数NPU侧运行验证。在正式的开发之前，还需要先完成环境准备和算子分析工作，开发Ascend C算子的基本流程如下图所示：...
- Ascend C是CANN针对算子开发场景推出的编程语言，原生支持C和C++标准规范，兼具开发效率和运行性能。基于Ascend C编写的算子程序，通过编译器编译和运行时调度，运行在昇腾AI处理器上。使用Ascend C，开发者可以基于昇腾AI硬件，高效的实现自定义的创新算法。 Ascend C是CANN针对算子开发场景推出的编程语言，原生支持C和C++标准规范，兼具开发效率和运行性能。基于Ascend C编写的算子程序，通过编译器编译和运行时调度，运行在昇腾AI处理器上。使用Ascend C，开发者可以基于昇腾AI硬件，高效的实现自定义的创新算法。
- 在计算机科学和深度学习领域，算子 tiling（有时也被称作操作符 tiling 或者循环 tiling）是一种优化技术，主要用于提高计算效率，尤其是在处理大规模张量运算时。Tiling 技术通常用于将大的计算任务分解成更小的块，这些小块可以在内存中更高效地处理，或者更适合并行计算环境。 在计算机科学和深度学习领域，算子 tiling（有时也被称作操作符 tiling 或者循环 tiling）是一种优化技术，主要用于提高计算效率，尤其是在处理大规模张量运算时。Tiling 技术通常用于将大的计算任务分解成更小的块，这些小块可以在内存中更高效地处理，或者更适合并行计算环境。
- Ascend Transformer Boost加速库（下文简称为ATB加速库）是一款高效、可靠的加速库，基于华为Ascend AI处理器，专门为Transformer类模型的训练和推理而设计 Ascend Transformer Boost加速库（下文简称为ATB加速库）是一款高效、可靠的加速库，基于华为Ascend AI处理器，专门为Transformer类模型的训练和推理而设计
- Ascend Transformer Boost加速库（下文简称为ATB加速库）是一款高效、可靠的加速库，基于华为Ascend AI处理器，专门为Transformer类模型的训练和推理而设计。 Ascend Transformer Boost加速库（下文简称为ATB加速库）是一款高效、可靠的加速库，基于华为Ascend AI处理器，专门为Transformer类模型的训练和推理而设计。
- PageAttention的引入主要是为了解决大型语言模型（LLM）在服务过程中遇到的内存管理低效问题 PageAttention的引入主要是为了解决大型语言模型（LLM）在服务过程中遇到的内存管理低效问题
- 1 SelfAttention是什么？Self-Attention（自注意力）机制是深度学习领域的一种重要技术，尤其在自然语言处理（NLP）任务中得到广泛应用。它是 Transformer 架构的核心组成部分之一，由 Vaswani 等人在 2017 年提出的论文《Attention is All You Need》中首次介绍。Self-Attention 机制使模型能够在处理序列数据时关... 1 SelfAttention是什么？Self-Attention（自注意力）机制是深度学习领域的一种重要技术，尤其在自然语言处理（NLP）任务中得到广泛应用。它是 Transformer 架构的核心组成部分之一，由 Vaswani 等人在 2017 年提出的论文《Attention is All You Need》中首次介绍。Self-Attention 机制使模型能够在处理序列数据时关...
- 1 Ascend Extension for PyTorchAscend Extension for PyTorch 插件是基于昇腾的深度学习适配框架，使昇腾NPU可以支持PyTorch框架，为PyTorch框架的使用者提供昇腾AI处理器的超强算力。项目源码地址请参见LINK。昇腾为基于昇腾处理器和软件的行业应用及服务提供全栈AI计算基础设施。您可以通过访问昇腾社区，了解关于昇腾的更多信息... 1 Ascend Extension for PyTorchAscend Extension for PyTorch 插件是基于昇腾的深度学习适配框架，使昇腾NPU可以支持PyTorch框架，为PyTorch框架的使用者提供昇腾AI处理器的超强算力。项目源码地址请参见LINK。昇腾为基于昇腾处理器和软件的行业应用及服务提供全栈AI计算基础设施。您可以通过访问昇腾社区，了解关于昇腾的更多信息...
- 1 源码下载Ascend对pytorch代码的适配，可从以下链接中获取。Ascend/pytorch执行如下命令即可。git clone https://gitee.com/ascend/pytorch.git 2 目录结构解析源码下载后，如果需要编译torch-npu，最好保持pytorch的源码版本匹配，以及其编译环境的gcc，g++等与torch-npu的版本匹配，否则会出现各种乱起... 1 源码下载Ascend对pytorch代码的适配，可从以下链接中获取。Ascend/pytorch执行如下命令即可。git clone https://gitee.com/ascend/pytorch.git 2 目录结构解析源码下载后，如果需要编译torch-npu，最好保持pytorch的源码版本匹配，以及其编译环境的gcc，g++等与torch-npu的版本匹配，否则会出现各种乱起...
- Tracing 是一种收集程序执行过程中事件的技术。它记录了程序运行时发生的事件，如函数调用、I/O操作、系统调用等。在Web开发中，Tracing 通常用于收集浏览器渲染页面时的性能数据，包括CPU活动、内存使用情况、网络请求等。 Tracing 是一种收集程序执行过程中事件的技术。它记录了程序运行时发生的事件，如函数调用、I/O操作、系统调用等。在Web开发中，Tracing 通常用于收集浏览器渲染页面时的性能数据，包括CPU活动、内存使用情况、网络请求等。
- 1 并发执行Ascend C和cudnn相似，都是一种多核心编程的范式。想要了解Ascend C，必须得先掌握这种“多核”是怎么实现得。多核执行，说白了就是使用CPU/GPU/Ascend的物理多核并发去执行一段流程，一般情况下，可以通过以下几种方式实现：多线程并行处理：使用多线程可以将循环中的任务分配给多个线程同时执行，提高代码的执行效率。可以使用线程池来管理线程的创建和销毁，避免频繁创... 1 并发执行Ascend C和cudnn相似，都是一种多核心编程的范式。想要了解Ascend C，必须得先掌握这种“多核”是怎么实现得。多核执行，说白了就是使用CPU/GPU/Ascend的物理多核并发去执行一段流程，一般情况下，可以通过以下几种方式实现：多线程并行处理：使用多线程可以将循环中的任务分配给多个线程同时执行，提高代码的执行效率。可以使用线程池来管理线程的创建和销毁，避免频繁创...
- 1 CANN是什么异构计算架构CANN（Compute Architecture for Neural Networks）是华为针对AI场景推出的异构计算架构，向上支持多种AI框架，包括MindSpore、PyTorch、TensorFlow等，向下服务AI处理器与编程，发挥承上启下的关键作用，是提升昇腾AI处理器计算效率的关键平台。同时针对多样化应用场景，提供多层次编程接口，支持用户快速... 1 CANN是什么异构计算架构CANN（Compute Architecture for Neural Networks）是华为针对AI场景推出的异构计算架构，向上支持多种AI框架，包括MindSpore、PyTorch、TensorFlow等，向下服务AI处理器与编程，发挥承上启下的关键作用，是提升昇腾AI处理器计算效率的关键平台。同时针对多样化应用场景，提供多层次编程接口，支持用户快速...
- SenseVoice训练推理适配昇腾 SenseVoice训练推理适配昇腾
- 业务部署时，使用到了与trace信号注册有冲突的功能（比如jvm信号捕获，如图1所示）时，需要通过该环境变量关闭trace的信号注册, 参考https://www.hiascend.com/document/detail/zh/CANNCommunityEdition/80RC3alpha001/apiref/envref/envref_07_0118.html 业务部署时，使用到了与trace信号注册有冲突的功能（比如jvm信号捕获，如图1所示）时，需要通过该环境变量关闭trace的信号注册, 参考https://www.hiascend.com/document/detail/zh/CANNCommunityEdition/80RC3alpha001/apiref/envref/envref_07_0118.html
上滑加载中
推荐直播
-
智能观测进化论系列沙龙（第一期）2025/02/28 周五 14:00-16:30
华为及外部讲师团
本期直播就智能化可观测技术的融合与创新、落地与实践、瓶颈与未来等业界关心的话题进行深入探讨。
回顾中 -
聚焦Deepseek，洞察开发者生态发展2025/02/28 周五 19:00-20:30
蒋涛 csdn创始人
深入剖析Deepseek爆发后，中国开发者生态潜藏的巨大发展潜能与未来走向，精准提炼出可供大家把握的时代机遇，干货满满，不容错过。
回顾中
热门标签