- Transformer架构的简要解析Transformer架构自2017年诞生以来，已经彻底革新了人工智能领域，从最初的机器翻译任务扩展到几乎所有的序列建模问题。这种架构通过纯注意力机制取代了传统的循环和卷积结构，实现了前所未有的并行化能力和长距离依赖建模能力。其核心创新在于自注意力机制能够让序列中的任意两个位置直接交互，打破了RNN的序列处理瓶颈。从GPT到BERT，从ChatGPT到C... Transformer架构的简要解析Transformer架构自2017年诞生以来，已经彻底革新了人工智能领域，从最初的机器翻译任务扩展到几乎所有的序列建模问题。这种架构通过纯注意力机制取代了传统的循环和卷积结构，实现了前所未有的并行化能力和长距离依赖建模能力。其核心创新在于自注意力机制能够让序列中的任意两个位置直接交互，打破了RNN的序列处理瓶颈。从GPT到BERT，从ChatGPT到C...
- 大语言模型的核心算法——简要解析 Transformer架构的数学本质与演进 自注意力机制的核心原理Transformer架构的灵魂在于自注意力机制，它允许模型在处理序列中的每个元素时，动态地关注序列中的所有其他位置。从数学角度看，自注意力的计算过程可以表达为：Attention(Q,K,V)=softmax(QKTdk)V\text{Attention}(Q,K,V) = \text{s... 大语言模型的核心算法——简要解析 Transformer架构的数学本质与演进 自注意力机制的核心原理Transformer架构的灵魂在于自注意力机制，它允许模型在处理序列中的每个元素时，动态地关注序列中的所有其他位置。从数学角度看，自注意力的计算过程可以表达为：Attention(Q,K,V)=softmax(QKTdk)V\text{Attention}(Q,K,V) = \text{s...
- ProxylessNAS：直接在目标任务和硬件上进行神经架构搜索Cai H, Zhu L, Han S. Proxylessnas: Direct neural architecture search on target task and hardware[J]. arXiv preprint arXiv:1812.00332, 2018. 第一章 引言与研究背景神经架构搜索（NAS）在自... ProxylessNAS：直接在目标任务和硬件上进行神经架构搜索Cai H, Zhu L, Han S. Proxylessnas: Direct neural architecture search on target task and hardware[J]. arXiv preprint arXiv:1812.00332, 2018. 第一章 引言与研究背景神经架构搜索（NAS）在自...
- Edge Impulse：面向微型机器学习的MLOps平台深度解析Hymel S, Banbury C, Situnayake D, et al. Edge impulse: An mlops platform for tiny machine learning[J]. arXiv preprint arXiv:2212.03332, 2022. 一、引言与研究背景Edge Impulse... Edge Impulse：面向微型机器学习的MLOps平台深度解析Hymel S, Banbury C, Situnayake D, et al. Edge impulse: An mlops platform for tiny machine learning[J]. arXiv preprint arXiv:2212.03332, 2022. 一、引言与研究背景Edge Impulse...
- MINUN: 微控制器上的精确机器学习推理Jaiswal S, Goli R K K, Kumar A, et al. MinUn: Accurate ML inference on microcontrollers[C]//Proceedings of the 24th ACM SIGPLAN/SIGBED International Conference on Languages, C... MINUN: 微控制器上的精确机器学习推理Jaiswal S, Goli R K K, Kumar A, et al. MinUn: Accurate ML inference on microcontrollers[C]//Proceedings of the 24th ACM SIGPLAN/SIGBED International Conference on Languages, C...
- μNAS：面向微控制器的约束神经架构搜索Liberis E, Dudziak Ł, Lane N D. μnas: Constrained neural architecture search for microcontrollers[C]//Proceedings of the 1st Workshop on Machine Learning and Systems. 2021: 70-... μNAS：面向微控制器的约束神经架构搜索Liberis E, Dudziak Ł, Lane N D. μnas: Constrained neural architecture search for microcontrollers[C]//Proceedings of the 1st Workshop on Machine Learning and Systems. 2021: 70-...
- CMSIS-NN：ARM Cortex-M处理器的高效神经网络内核Lai L, Suda N, Chandra V. Cmsis-nn: Efficient neural network kernels for arm cortex-m cpus[J]. arXiv preprint arXiv:1801.06601, 2018. 引言与背景物联网设备正在快速增长，预计到2035年将在各个... CMSIS-NN：ARM Cortex-M处理器的高效神经网络内核Lai L, Suda N, Chandra V. Cmsis-nn: Efficient neural network kernels for arm cortex-m cpus[J]. arXiv preprint arXiv:1801.06601, 2018. 引言与背景物联网设备正在快速增长，预计到2035年将在各个...
- MCUNetV2：面向微型深度学习的内存高效分块推理方法Ji Lin, Wei-Ming Chen, Han Cai, Chuang Gan, and Song Han. 2021. MCUNetV2: memory-efficient patch-based inference for tiny deep learning. In Proceedings of the 35th Inte... MCUNetV2：面向微型深度学习的内存高效分块推理方法Ji Lin, Wei-Ming Chen, Han Cai, Chuang Gan, and Song Han. 2021. MCUNetV2: memory-efficient patch-based inference for tiny deep learning. In Proceedings of the 35th Inte...
- TensorFlow Lite Micro：嵌入式TinyML系统上的机器学习推理框架深度解析David R, Duke J, Jain A, et al. Tensorflow lite micro: Embedded machine learning for tinyml systems[J]. Proceedings of machine learning and systems, ... TensorFlow Lite Micro：嵌入式TinyML系统上的机器学习推理框架深度解析David R, Duke J, Jain A, et al. Tensorflow lite micro: Embedded machine learning for tinyml systems[J]. Proceedings of machine learning and systems, ...
- 一、液体神经网络是什么？为什么值得关注· 液体神经网络（Liquid Neural Networks, LNN）的核心思想是用连续时间的微分方程来描述神经元状态随输入而变的动态，并允许时间常数随输入自适应（“液体”）。这类模型最早以 Liquid Time-Constant (LTC) 形式提出；后续又发展出闭式解连续网络（Closed-form Continuous-time,... 一、液体神经网络是什么？为什么值得关注· 液体神经网络（Liquid Neural Networks, LNN）的核心思想是用连续时间的微分方程来描述神经元状态随输入而变的动态，并允许时间常数随输入自适应（“液体”）。这类模型最早以 Liquid Time-Constant (LTC) 形式提出；后续又发展出闭式解连续网络（Closed-form Continuous-time,...
- 在卷积神经网络（CNN）中，激活函数层通过引入非线性变换，使模型能够学习复杂的数据模式（如图像中的边缘、纹理组合等）。没有激活函数，CNN将退化为线性模型，无法解决非线性问题。以下是CNN中常用的激活函数及其特性、应用场景和代码示例的详细解析： 1. 为什么需要激活函数？线性模型的局限性：若仅使用卷积层和全连接层（均为线性变换），堆叠多层网络仍等价于单层线性模型（如 y = W_n...W_... 在卷积神经网络（CNN）中，激活函数层通过引入非线性变换，使模型能够学习复杂的数据模式（如图像中的边缘、纹理组合等）。没有激活函数，CNN将退化为线性模型，无法解决非线性问题。以下是CNN中常用的激活函数及其特性、应用场景和代码示例的详细解析： 1. 为什么需要激活函数？线性模型的局限性：若仅使用卷积层和全连接层（均为线性变换），堆叠多层网络仍等价于单层线性模型（如 y = W_n...W_...
- 卷积神经网络（CNN）通常由多种类型的层组合而成，每层承担特定功能，共同完成特征提取和分类任务。以下是CNN中常见的核心层及其作用： 1. 卷积层（Convolutional Layer）功能：通过卷积核（Filter）提取输入数据的局部空间特征（如边缘、纹理、形状）。关键操作：卷积核在输入上滑动，计算局部区域的加权和（点积）。输出特征图（Feature Map），通道数由卷积核数量决定。超... 卷积神经网络（CNN）通常由多种类型的层组合而成，每层承担特定功能，共同完成特征提取和分类任务。以下是CNN中常见的核心层及其作用： 1. 卷积层（Convolutional Layer）功能：通过卷积核（Filter）提取输入数据的局部空间特征（如边缘、纹理、形状）。关键操作：卷积核在输入上滑动，计算局部区域的加权和（点积）。输出特征图（Feature Map），通道数由卷积核数量决定。超...
- 卷积层（Convolutional Layer）是卷积神经网络（CNN）的核心组件，主要用于通过局部感受野和权重共享机制自动提取输入数据的空间特征（如图像中的边缘、纹理、形状等）。以下是卷积层的详细解析： 1. 基本操作卷积层通过**卷积核（Filter/Kernel）**在输入数据上滑动，计算局部区域的加权和（点积运算），生成特征图（Feature Map）。具体步骤如下：输入：形状为 (... 卷积层（Convolutional Layer）是卷积神经网络（CNN）的核心组件，主要用于通过局部感受野和权重共享机制自动提取输入数据的空间特征（如图像中的边缘、纹理、形状等）。以下是卷积层的详细解析： 1. 基本操作卷积层通过**卷积核（Filter/Kernel）**在输入数据上滑动，计算局部区域的加权和（点积运算），生成特征图（Feature Map）。具体步骤如下：输入：形状为 (...
- 1. 引言在人工智能技术深度融入智能终端的今天，神经网络计算（如图像识别、语音处理、自然语言理解）已成为设备智能化的核心驱动力。然而，传统的CPU或GPU在执行复杂的神经网络推理任务时，往往面临 计算效率低、功耗高、实时性差 等问题——例如，运行一个轻量级的图像分类模型可能需要数百毫秒的延迟，或消耗大量电量，严重影响用户体验。华为鸿蒙操作系统（HarmonyOS）针对这一挑战... 1. 引言在人工智能技术深度融入智能终端的今天，神经网络计算（如图像识别、语音处理、自然语言理解）已成为设备智能化的核心驱动力。然而，传统的CPU或GPU在执行复杂的神经网络推理任务时，往往面临 计算效率低、功耗高、实时性差 等问题——例如，运行一个轻量级的图像分类模型可能需要数百毫秒的延迟，或消耗大量电量，严重影响用户体验。华为鸿蒙操作系统（HarmonyOS）针对这一挑战...
- 在神经网络中，激活函数通过引入非线性变换，使模型能够学习复杂的数据模式。以下是常见的激活函数分类及其详细说明，包括公式、特性、应用场景和优缺点： 一、基础激活函数 1. Sigmoid（Logistic）公式：σ(x)=11+e−x\sigma(x) = \frac{1}{1 + e^{-x}}σ(x)=1+e−x1输出范围：(0, 1)特性：连续、光滑、可微。将输入压缩到0到1之间，适合... 在神经网络中，激活函数通过引入非线性变换，使模型能够学习复杂的数据模式。以下是常见的激活函数分类及其详细说明，包括公式、特性、应用场景和优缺点： 一、基础激活函数 1. Sigmoid（Logistic）公式：σ(x)=11+e−x\sigma(x) = \frac{1}{1 + e^{-x}}σ(x)=1+e−x1输出范围：(0, 1)特性：连续、光滑、可微。将输入压缩到0到1之间，适合...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签