- PageAttention的引入主要是为了解决大型语言模型（LLM）在服务过程中遇到的内存管理低效问题 PageAttention的引入主要是为了解决大型语言模型（LLM）在服务过程中遇到的内存管理低效问题
- 1 SelfAttention是什么？Self-Attention（自注意力）机制是深度学习领域的一种重要技术，尤其在自然语言处理（NLP）任务中得到广泛应用。它是 Transformer 架构的核心组成部分之一，由 Vaswani 等人在 2017 年提出的论文《Attention is All You Need》中首次介绍。Self-Attention 机制使模型能够在处理序列数据时关... 1 SelfAttention是什么？Self-Attention（自注意力）机制是深度学习领域的一种重要技术，尤其在自然语言处理（NLP）任务中得到广泛应用。它是 Transformer 架构的核心组成部分之一，由 Vaswani 等人在 2017 年提出的论文《Attention is All You Need》中首次介绍。Self-Attention 机制使模型能够在处理序列数据时关...
- 1 Ascend Extension for PyTorchAscend Extension for PyTorch 插件是基于昇腾的深度学习适配框架，使昇腾NPU可以支持PyTorch框架，为PyTorch框架的使用者提供昇腾AI处理器的超强算力。项目源码地址请参见LINK。昇腾为基于昇腾处理器和软件的行业应用及服务提供全栈AI计算基础设施。您可以通过访问昇腾社区，了解关于昇腾的更多信息... 1 Ascend Extension for PyTorchAscend Extension for PyTorch 插件是基于昇腾的深度学习适配框架，使昇腾NPU可以支持PyTorch框架，为PyTorch框架的使用者提供昇腾AI处理器的超强算力。项目源码地址请参见LINK。昇腾为基于昇腾处理器和软件的行业应用及服务提供全栈AI计算基础设施。您可以通过访问昇腾社区，了解关于昇腾的更多信息...
- 1 源码下载Ascend对pytorch代码的适配，可从以下链接中获取。Ascend/pytorch执行如下命令即可。git clone https://gitee.com/ascend/pytorch.git 2 目录结构解析源码下载后，如果需要编译torch-npu，最好保持pytorch的源码版本匹配，以及其编译环境的gcc，g++等与torch-npu的版本匹配，否则会出现各种乱起... 1 源码下载Ascend对pytorch代码的适配，可从以下链接中获取。Ascend/pytorch执行如下命令即可。git clone https://gitee.com/ascend/pytorch.git 2 目录结构解析源码下载后，如果需要编译torch-npu，最好保持pytorch的源码版本匹配，以及其编译环境的gcc，g++等与torch-npu的版本匹配，否则会出现各种乱起...
- Tracing 是一种收集程序执行过程中事件的技术。它记录了程序运行时发生的事件，如函数调用、I/O操作、系统调用等。在Web开发中，Tracing 通常用于收集浏览器渲染页面时的性能数据，包括CPU活动、内存使用情况、网络请求等。 Tracing 是一种收集程序执行过程中事件的技术。它记录了程序运行时发生的事件，如函数调用、I/O操作、系统调用等。在Web开发中，Tracing 通常用于收集浏览器渲染页面时的性能数据，包括CPU活动、内存使用情况、网络请求等。
- 1 并发执行Ascend C和cudnn相似，都是一种多核心编程的范式。想要了解Ascend C，必须得先掌握这种“多核”是怎么实现得。多核执行，说白了就是使用CPU/GPU/Ascend的物理多核并发去执行一段流程，一般情况下，可以通过以下几种方式实现：多线程并行处理：使用多线程可以将循环中的任务分配给多个线程同时执行，提高代码的执行效率。可以使用线程池来管理线程的创建和销毁，避免频繁创... 1 并发执行Ascend C和cudnn相似，都是一种多核心编程的范式。想要了解Ascend C，必须得先掌握这种“多核”是怎么实现得。多核执行，说白了就是使用CPU/GPU/Ascend的物理多核并发去执行一段流程，一般情况下，可以通过以下几种方式实现：多线程并行处理：使用多线程可以将循环中的任务分配给多个线程同时执行，提高代码的执行效率。可以使用线程池来管理线程的创建和销毁，避免频繁创...
- 1 CANN是什么异构计算架构CANN（Compute Architecture for Neural Networks）是华为针对AI场景推出的异构计算架构，向上支持多种AI框架，包括MindSpore、PyTorch、TensorFlow等，向下服务AI处理器与编程，发挥承上启下的关键作用，是提升昇腾AI处理器计算效率的关键平台。同时针对多样化应用场景，提供多层次编程接口，支持用户快速... 1 CANN是什么异构计算架构CANN（Compute Architecture for Neural Networks）是华为针对AI场景推出的异构计算架构，向上支持多种AI框架，包括MindSpore、PyTorch、TensorFlow等，向下服务AI处理器与编程，发挥承上启下的关键作用，是提升昇腾AI处理器计算效率的关键平台。同时针对多样化应用场景，提供多层次编程接口，支持用户快速...
- 基于D910B 训练推理SenseVoice 基于D910B 训练推理SenseVoice
- 业务部署时，使用到了与trace信号注册有冲突的功能（比如jvm信号捕获，如图1所示）时，需要通过该环境变量关闭trace的信号注册, 参考https://www.hiascend.com/document/detail/zh/CANNCommunityEdition/80RC3alpha001/apiref/envref/envref_07_0118.html 业务部署时，使用到了与trace信号注册有冲突的功能（比如jvm信号捕获，如图1所示）时，需要通过该环境变量关闭trace的信号注册, 参考https://www.hiascend.com/document/detail/zh/CANNCommunityEdition/80RC3alpha001/apiref/envref/envref_07_0118.html
- 基于D910B 推理paraformer 基于D910B 推理paraformer
- 基于D910B 推理MaskGCT模型，主要包含环境准备，espeak-ng编译安装，MaskGCT依赖的三方库安装和简单的代码修改即可进行推理 基于D910B 推理MaskGCT模型，主要包含环境准备，espeak-ng编译安装，MaskGCT依赖的三方库安装和简单的代码修改即可进行推理
- 基于深度开放的代码样例详细解读，使能开发者快速上手！ 基于深度开放的代码样例详细解读，使能开发者快速上手！
- 结合常见案例，全面展示Ascend C算子开发问题快速定位方法 结合常见案例，全面展示Ascend C算子开发问题快速定位方法
- 1. 安装docker 链接：https://pan.baidu.com/s/1I5uA0hbrgdBKEP-rxIAAIA?pwd=cmus 提取码：cmus --来自百度网盘超级会员V2的分享2. 获取基础镜像 https://ascendhub.huawei.com/#/index （官方基础镜像） http://mirrors.cn-central-221.ovaijisuan.co... 1. 安装docker 链接：https://pan.baidu.com/s/1I5uA0hbrgdBKEP-rxIAAIA?pwd=cmus 提取码：cmus --来自百度网盘超级会员V2的分享2. 获取基础镜像 https://ascendhub.huawei.com/#/index （官方基础镜像） http://mirrors.cn-central-221.ovaijisuan.co...
- Ascend C Tilling计算 Tilling基本概念介绍大多数情况下，Local Memory的存储，无法完全容纳算子的输入与输出的所有数据，需要每次搬运一部分输入数柜进行计算然后搬出，再敲运下一部分输入数据进行计算，直到得到完愁的最终结果，这个数据切分、分块计算的过程称之为Tiling过程每次激运的那一部分数据块，叫做Tiling块根据算子中不同输入形状确定搬入基本块大小的相关算... Ascend C Tilling计算 Tilling基本概念介绍大多数情况下，Local Memory的存储，无法完全容纳算子的输入与输出的所有数据，需要每次搬运一部分输入数柜进行计算然后搬出，再敲运下一部分输入数据进行计算，直到得到完愁的最终结果，这个数据切分、分块计算的过程称之为Tiling过程每次激运的那一部分数据块，叫做Tiling块根据算子中不同输入形状确定搬入基本块大小的相关算...
上滑加载中
推荐直播
-
全面解析华为云EI-API服务：理论基础与实践应用指南2024/11/29 周五 18:20-20:20
Alex 华为云学堂技术讲师
本期直播给大家带来的是理论与实践结合的华为云EI-API的服务介绍。从“主要功能，应用场景，实践案例，调用流程”四个维度来深入解析“语音交互API，文字识别API，自然语言处理API，图像识别API及图像搜索API”五大场景下API服务，同时结合实验，来加深开发者对API服务理解。
回顾中 -
企业员工、应届毕业生、在读研究生共探项目实践2024/12/02 周一 19:00-21:00
姚圣伟 在职软件工程师 昇腾社区优秀开发者 华为云云享专家 HCDG天津地区发起人
大神带你一键了解和掌握LeakyReLU自定义算子在ONNX网络中应用和优化技巧，在线分享如何入门，以及在工作中如何结合实际项目进行学习
即将直播 -
昇腾云服务ModelArts深度解析：理论基础与实践应用指南2024/12/03 周二 14:30-16:30
Alex 华为云学堂技术讲师
如何快速创建和部署模型，管理全周期AI工作流呢？本期直播聚焦华为昇腾云服务ModelArts一站式AI开发平台功能介绍，同时结合基于ModelArts 的实践性实验，帮助开发者从理论到实验更好地理解和使用ModelArts。
去报名
热门标签