- 数据并行通过将需要训练的数据分摊给其他的GPU硬件，从而加快整体训练速度。 数据并行通过将需要训练的数据分摊给其他的GPU硬件，从而加快整体训练速度。
- 残差结构与归一化机制是Transformer稳定训练的基础。 残差结构与归一化机制是Transformer稳定训练的基础。
- KV Cache显存占用的因素有大模型的层数、MHA中的头数、kv向量的长度、数字表示的精度、上下文长度以及推理请求的个数。其中上下文长度，推理请求的个数会动态的影响KV Cache，会造成KV Cache缓存规模成倍的增加，物理显存限制和显存带宽会显著影响计算效率。 KV Cache显存占用的因素有大模型的层数、MHA中的头数、kv向量的长度、数字表示的精度、上下文长度以及推理请求的个数。其中上下文长度，推理请求的个数会动态的影响KV Cache，会造成KV Cache缓存规模成倍的增加，物理显存限制和显存带宽会显著影响计算效率。
- 混合专家模型（MoE，Mixture of Experts）核心思想是：使用多个并行的 FeedForward（专家）替代单一的 FeedForward 层，并通过 Router（路由器）根据输入 Token 选择其中少量最合适的专家参与计算。这样大幅增加了模型的总参数量，又不会等比例增加计算量 混合专家模型（MoE，Mixture of Experts）核心思想是：使用多个并行的 FeedForward（专家）替代单一的 FeedForward 层，并通过 Router（路由器）根据输入 Token 选择其中少量最合适的专家参与计算。这样大幅增加了模型的总参数量，又不会等比例增加计算量
- QLoRA 的核心思想是：先对预训练模型权重和优化器状态的显存占用进行压缩，再在其上应用 LoRA 进行参数高效微调。 QLoRA 的核心思想是：先对预训练模型权重和优化器状态的显存占用进行压缩，再在其上应用 LoRA 进行参数高效微调。
- 在全量微调（Full Fine-tuning）过程中,权重增量形成的矩阵是低秩矩阵。 在全量微调（Full Fine-tuning）过程中,权重增量形成的矩阵是低秩矩阵。
- 激活函数的存在是为神经网络引入了非线性，使得神经网络能够学习和表示复杂的非线性关系。 激活函数的存在是为神经网络引入了非线性，使得神经网络能够学习和表示复杂的非线性关系。
- “猫吃鱼”和“鱼吃猫”？ “猫吃鱼”和“鱼吃猫”？
- 随着模型越来越大，上下文越来越长，传统注意力机制的问题逐渐暴露出来。为了解决问题，业界提出了一系列结构的改进，在保持模型能力的同时显著提升了推理效率。 随着模型越来越大，上下文越来越长，传统注意力机制的问题逐渐暴露出来。为了解决问题，业界提出了一系列结构的改进，在保持模型能力的同时显著提升了推理效率。
- 回顾 GPT 系列的发展演化，对生成式大模型的祛魅，以及对深入理解大语言模型的技术路径与能力形成的机制具有重要意义。 回顾 GPT 系列的发展演化，对生成式大模型的祛魅，以及对深入理解大语言模型的技术路径与能力形成的机制具有重要意义。
- 本文将深度拆解 GenUI SDK 六大核心开发特性，帮助你全面了解这一革命式的 AI 应用开发工具。 本文将深度拆解 GenUI SDK 六大核心开发特性，帮助你全面了解这一革命式的 AI 应用开发工具。
- 基于Transformer预训练-BERT构建一个文本情感分类模型 基于Transformer预训练-BERT构建一个文本情感分类模型
- 基于传统序列模型（RNN，LSTM和GRU）构建文本情感分类模型 基于传统序列模型（RNN，LSTM和GRU）构建文本情感分类模型
- 基于神经网络构建一个文本情感分类模型 基于神经网络构建一个文本情感分类模型
- 纯手工打造Transformer代码 纯手工打造Transformer代码
上滑加载中
推荐直播
-
华为云码道Skill实战与极速交付，智能开发全链路实战2026/07/22 周三 19:00-21:00
王一男-华为云码道产品规划专家；李炎-华为云码道产品专家；姜浩-华为云HCDG核心组成员
直播深度解读华为云码道6月产品新特性，从Skill市场安装专家技能，带你零距离体验从需求，开发，审查，重构全链路闭环的开发过程。从零构建并交付一个完整项目，让您体验从代码提交到服务上线的“极速”之旅。
回顾中 -
聚开发者之力，创具身新未来2026/07/23 周四 15:00-17:00
张豪杰/程文/王军/刘新春/黄钦开 /张晓天
本次华为云具身智能开发平台CloudRobo培训面向具身智能开发者，带您全流程体验机器人本体R2C小时级接入、环境重建与轨迹生成仿真数据生产、PB级数据管理、数据评测、模型训推、强化学习和Benchmark一键评测等功能，并体验业界主流具身模型应用。
回顾中
热门标签