- Prompt learning 教学最终篇:Chatgpt使用场景推荐、优秀学习资料推荐、AI工具推荐 Prompt learning 教学最终篇:Chatgpt使用场景推荐、优秀学习资料推荐、AI工具推荐
- NLP知识图谱项目合集(信息抽取、文本分类、图神经网络、性能优化等) NLP知识图谱项目合集(信息抽取、文本分类、图神经网络、性能优化等)
- “混合”精度的精髓在于:用高精度(FP32)保证关键信息的准确性,用低精度(FP16/BF16)加速大部分运算和节省显存。 “混合”精度的精髓在于:用高精度(FP32)保证关键信息的准确性,用低精度(FP16/BF16)加速大部分运算和节省显存。
- 本文由云软件体验技术团队岑灌铭原创。从露营趣味案例入手,详解电商系统集成 GenUI SDK 完整实操~背景时针拨过周一晚上十点,XX大学男生寝室 502 里充斥着键盘敲击声和偶尔的鼾声。大二学生小明,一个典型的“行动派热血青年”,正瘫在床上刷着朋友圈。突然,他的手指停住了。屏幕上是隔壁班班花发的一组九宫格:精致的摩洛哥风帐篷、摇曳的煤油灯、噼啪作响的篝火,背景是浩瀚星空。配文:“周末,逃离... 本文由云软件体验技术团队岑灌铭原创。从露营趣味案例入手,详解电商系统集成 GenUI SDK 完整实操~背景时针拨过周一晚上十点,XX大学男生寝室 502 里充斥着键盘敲击声和偶尔的鼾声。大二学生小明,一个典型的“行动派热血青年”,正瘫在床上刷着朋友圈。突然,他的手指停住了。屏幕上是隔壁班班花发的一组九宫格:精致的摩洛哥风帐篷、摇曳的煤油灯、噼啪作响的篝火,背景是浩瀚星空。配文:“周末,逃离...
- 优化器(Optimizer)是一种用于调整神经网络参数(权重和偏置),用来最小化目标函数(如损失函数)的迭代优化算法。它决定了模型如何根据计算出的梯度来更新参数,是模型训练的核心组件。 优化器(Optimizer)是一种用于调整神经网络参数(权重和偏置),用来最小化目标函数(如损失函数)的迭代优化算法。它决定了模型如何根据计算出的梯度来更新参数,是模型训练的核心组件。
- 在标准数据并行中,每个设备都保存完整的模型状态,导致跨设备的冗余存储,并严重限制了可训练模型的规模(模型的规模受到显卡的限制,无法训练大规模参数的模型)。ZeRO的主要是为解决在标准数据并行中跨设备的冗余存储的问题。 在标准数据并行中,每个设备都保存完整的模型状态,导致跨设备的冗余存储,并严重限制了可训练模型的规模(模型的规模受到显卡的限制,无法训练大规模参数的模型)。ZeRO的主要是为解决在标准数据并行中跨设备的冗余存储的问题。
- 通过各种形式的切分,将模型以及数据分配到其他GPU硬件,从而突破单设备在模型容量上的限制,使训练超大规模模型成为可能。 通过各种形式的切分,将模型以及数据分配到其他GPU硬件,从而突破单设备在模型容量上的限制,使训练超大规模模型成为可能。
- 数据并行通过将需要训练的数据分摊给其他的GPU硬件,从而加快整体训练速度。 数据并行通过将需要训练的数据分摊给其他的GPU硬件,从而加快整体训练速度。
- 残差结构与归一化机制是Transformer稳定训练的基础。 残差结构与归一化机制是Transformer稳定训练的基础。
- KV Cache显存占用的因素有大模型的层数、MHA中的头数、kv向量的长度、数字表示的精度、上下文长度以及推理请求的个数。其中上下文长度,推理请求的个数会动态的影响KV Cache,会造成KV Cache缓存规模成倍的增加,物理显存限制和显存带宽会显著影响计算效率。 KV Cache显存占用的因素有大模型的层数、MHA中的头数、kv向量的长度、数字表示的精度、上下文长度以及推理请求的个数。其中上下文长度,推理请求的个数会动态的影响KV Cache,会造成KV Cache缓存规模成倍的增加,物理显存限制和显存带宽会显著影响计算效率。
- 混合专家模型(MoE,Mixture of Experts)核心思想是:使用多个并行的 FeedForward(专家)替代单一的 FeedForward 层,并通过 Router(路由器)根据输入 Token 选择其中少量最合适的专家参与计算。这样大幅增加了模型的总参数量,又不会等比例增加计算量 混合专家模型(MoE,Mixture of Experts)核心思想是:使用多个并行的 FeedForward(专家)替代单一的 FeedForward 层,并通过 Router(路由器)根据输入 Token 选择其中少量最合适的专家参与计算。这样大幅增加了模型的总参数量,又不会等比例增加计算量
- QLoRA 的核心思想是:先对预训练模型权重和优化器状态的显存占用进行压缩,再在其上应用 LoRA 进行参数高效微调。 QLoRA 的核心思想是:先对预训练模型权重和优化器状态的显存占用进行压缩,再在其上应用 LoRA 进行参数高效微调。
- 在全量微调(Full Fine-tuning)过程中,权重增量形成的矩阵是低秩矩阵。 在全量微调(Full Fine-tuning)过程中,权重增量形成的矩阵是低秩矩阵。
- 激活函数的存在是为神经网络引入了非线性,使得神经网络能够学习和表示复杂的非线性关系。 激活函数的存在是为神经网络引入了非线性,使得神经网络能够学习和表示复杂的非线性关系。
- “猫吃鱼”和“鱼吃猫”? “猫吃鱼”和“鱼吃猫”?
上滑加载中
推荐直播
-
码道新技能,AI 新生产力——从自动视频生成到开源项目解析2026/04/08 周三 19:00-21:00
童得力-华为云开发者生态运营总监/何文强-无人机企业AI提效负责人
本次华为云码道 Skill 实战活动,聚焦两大 AI 开发场景:通过实战教学,带你打造 AI 编程自动生成视频 Skill,并实现对 GitHub 热门开源项目的智能知识抽取,手把手掌握 Skill 开发全流程,用 AI 提升研发效率与内容生产力。
回顾中 -
华为云码道:零代码股票智能决策平台全功能实战2026/04/18 周六 10:00-12:00
秦拳德-中软国际教育卓越研究院研究员、华为云金牌讲师、云原生技术专家
利用Tushare接口获取实时行情数据,采用Transformer算法进行时序预测与涨跌分析,并集成DeepSeek API提供智能解读。同时,项目深度结合华为云CodeArts(码道)的代码智能体能力,实现代码一键推送至云端代码仓库,建立起高效、可协作的团队开发新范式。开发者可快速上手,从零打造功能完整的个股筛选、智能分析与风险管控产品。
回顾中 -
华为云码道全新升级,多会话并行与多智能体协作2026/05/08 周五 19:00-21:00
王一男-华为云码道产品专家;张嘉冉-华为云码道工程师;胡琦-华为云HCDE;程诗杰-华为云HCDG
华为云码道4月份版本全新升级,此次直播深度解读4月份产品特性,通过“特性解读+实操演示+实战案例+设计创新”的组合,全方位展现码道在多会话并行与多智能体协作方面的能力,赋能开发者提升效率
正在直播
热门标签