- 本文将会介绍一些更高阶的并行方式,如序列并行(SP),上下文并行(CP),混合序列并行Ulysess,ZeRO系列并行优化策略,完全分片数据并行(FSDP)。并且,在文章最后将汇总所有介绍过的并行方案与它们的通信模式,帮助读者初步建立起分布式训练与集合通信的知识结构体系。 本文将会介绍一些更高阶的并行方式,如序列并行(SP),上下文并行(CP),混合序列并行Ulysess,ZeRO系列并行优化策略,完全分片数据并行(FSDP)。并且,在文章最后将汇总所有介绍过的并行方案与它们的通信模式,帮助读者初步建立起分布式训练与集合通信的知识结构体系。
- 基于昇腾用PyTorch实现传统CTR模型WideDeep网络本文主要介绍如何在昇腾上使用pytorch对推荐系统中经典的网络模型WideDeep网络进行训练的实战讲解,使用数据集是criteo,主要内容分为以下几个模块:推荐系统概述WideDeep网络创新点介绍WideDeep的网络架构剖析及搭建使用criteo数据集训练WideDeep网络实战 - criteo数据集介绍 - 模型... 基于昇腾用PyTorch实现传统CTR模型WideDeep网络本文主要介绍如何在昇腾上使用pytorch对推荐系统中经典的网络模型WideDeep网络进行训练的实战讲解,使用数据集是criteo,主要内容分为以下几个模块:推荐系统概述WideDeep网络创新点介绍WideDeep的网络架构剖析及搭建使用criteo数据集训练WideDeep网络实战 - criteo数据集介绍 - 模型...
- 本专题介绍常见的深度学习分布式训练的并行策略和背后使用到的集合通信操作,希望能帮助读者理解分布式训练的原理,以及集合通信之于分布式训练的重要性和必要性。 本专题介绍常见的深度学习分布式训练的并行策略和背后使用到的集合通信操作,希望能帮助读者理解分布式训练的原理,以及集合通信之于分布式训练的重要性和必要性。
- 2023年12月,香橙派联合华为发布了基于昇腾的Orange Pi AIpro开发板,提供8/20TOPS澎湃算力,能覆盖生态开发板者的主流应用场景,让用户实践各种创新场景,并为其提供配套的软硬件。极具性价比的优势吸引了众多AI创客们的购买和体验,香橙派AIpro开发板到底长什么样?开放了哪些外设接口?搭载昇腾AI处理器后跑AI推理性能咋样?快来一睹为快吧 2023年12月,香橙派联合华为发布了基于昇腾的Orange Pi AIpro开发板,提供8/20TOPS澎湃算力,能覆盖生态开发板者的主流应用场景,让用户实践各种创新场景,并为其提供配套的软硬件。极具性价比的优势吸引了众多AI创客们的购买和体验,香橙派AIpro开发板到底长什么样?开放了哪些外设接口?搭载昇腾AI处理器后跑AI推理性能咋样?快来一睹为快吧
- 深度学习(DL)虽然在日志异常检测中得到了不少应用,但在实际轻量级运维模型选择中,必须仔细考虑异常检测方法与计算成本的关系。具体来说,尽管深度学习方法在日志异常检测方面取得了出色的性能,但它们通常需要更长的时间来进行日志预处理、模型训练和模型推断,从而阻碍了它们在需要快速部署日志异常检测服务的在线分布式云系统中的采用。本文对现有的基于经典机器学习和深度学习方法的日志异常检测方法进行了实证研究... 深度学习(DL)虽然在日志异常检测中得到了不少应用,但在实际轻量级运维模型选择中,必须仔细考虑异常检测方法与计算成本的关系。具体来说,尽管深度学习方法在日志异常检测方面取得了出色的性能,但它们通常需要更长的时间来进行日志预处理、模型训练和模型推断,从而阻碍了它们在需要快速部署日志异常检测服务的在线分布式云系统中的采用。本文对现有的基于经典机器学习和深度学习方法的日志异常检测方法进行了实证研究...
- 华为技术专家分享有关于LLM lifelong learning的概念,帮助大家了解持续学习的特性与理论知识,同时也详细介绍了MoE的发展史。 华为技术专家分享有关于LLM lifelong learning的概念,帮助大家了解持续学习的特性与理论知识,同时也详细介绍了MoE的发展史。
- 常有同学留言问我,想要学习昇腾AscendCL开发应该从何入手,有什么教程推荐?于是我就帮大家整理了一些网上的学习资源,分享给大家~ 常有同学留言问我,想要学习昇腾AscendCL开发应该从何入手,有什么教程推荐?于是我就帮大家整理了一些网上的学习资源,分享给大家~
- 深度学习基础入门篇[一]:神经元简介、单层多层感知机、距离计算方法式、相似度函数 深度学习基础入门篇[一]:神经元简介、单层多层感知机、距离计算方法式、相似度函数
- 这篇文章主要目的是为了让大家能够清楚如何用MindSpore2.0来进行模型的迁移,因此更加注重整体的开发流程介绍,针对迁移中代码的编写不会详细讲解,但是会给出样例以及供查阅的文档链接。最终希望读者能够了解迁移模型需要做什么,每一步应该怎么做,做完了应该怎么验证。 这篇文章主要目的是为了让大家能够清楚如何用MindSpore2.0来进行模型的迁移,因此更加注重整体的开发流程介绍,针对迁移中代码的编写不会详细讲解,但是会给出样例以及供查阅的文档链接。最终希望读者能够了解迁移模型需要做什么,每一步应该怎么做,做完了应该怎么验证。
- 推荐系统[一]:超详细知识介绍,一份完整的入门指南,解答推荐系统相关算法流程、衡量指标和应用,以及如何使用jieba分词库进行相似推荐 推荐系统[一]:超详细知识介绍,一份完整的入门指南,解答推荐系统相关算法流程、衡量指标和应用,以及如何使用jieba分词库进行相似推荐
- 在该论文中,作者提出了一种新型的Transformer模块,称为多轴自注意力(multi-axis self-attention, Max-SA),它可以作为基本的架构组件,在单个块中执行局部和全局空间交互。与完全自注意力相比,Max-SA具有更大的灵活性和效率,即自然适应不同的输入长度,具有线性复杂度。此外,Max-SA仅具有线性复杂度,可以用作网络任何层的通用独立注意力模块,增加少量的计算量。 在该论文中,作者提出了一种新型的Transformer模块,称为多轴自注意力(multi-axis self-attention, Max-SA),它可以作为基本的架构组件,在单个块中执行局部和全局空间交互。与完全自注意力相比,Max-SA具有更大的灵活性和效率,即自然适应不同的输入长度,具有线性复杂度。此外,Max-SA仅具有线性复杂度,可以用作网络任何层的通用独立注意力模块,增加少量的计算量。
- 当我们处理的数据具有不同尺度时,执行数据标准化操作是很有必要的。本文给出了数据标准化(Normalization)的定义、常用方法以及为什么要做数据标准化,并给出相关代码实现。最后将Normalization概念应用于图像领域,并给出实现的相关细节以及示例代码。 当我们处理的数据具有不同尺度时,执行数据标准化操作是很有必要的。本文给出了数据标准化(Normalization)的定义、常用方法以及为什么要做数据标准化,并给出相关代码实现。最后将Normalization概念应用于图像领域,并给出实现的相关细节以及示例代码。
- 2022年,CANN不断突破自我,全新开放升级,迈入新台阶。2023年,CANN将提供更开放、更易用的全新体验! 2022年,CANN不断突破自我,全新开放升级,迈入新台阶。2023年,CANN将提供更开放、更易用的全新体验!
- 数据增强(也叫数据扩增)的目的是为了扩充数据和提升模型的泛化能力。有效的数据扩充不仅能扩充训练样本数量,还能增加训练样本的多样性,一方面可避免过拟合,另一方面又会带来模型性能的提升。 数据增强(也叫数据扩增)的目的是为了扩充数据和提升模型的泛化能力。有效的数据扩充不仅能扩充训练样本数量,还能增加训练样本的多样性,一方面可避免过拟合,另一方面又会带来模型性能的提升。
- 人类在最近1万多年的发展中,经历了农耕时代、蒸汽机时代、电力时代、互联网时代,21世纪,进入了人工智能时代。每一次科技浪潮都通过某一项先进生产力要素的突破,进而引起大多数行业的变革:以信息技术为核心的第三次科技革命迄今已逾70年,整个将全球GDP提升约60倍,其中1950年-1990年,是半导体产业迅猛发展的时代,推动了大型计算机向个人PC的小型化;1990年至今是近30年的互联网全球化时代... 人类在最近1万多年的发展中,经历了农耕时代、蒸汽机时代、电力时代、互联网时代,21世纪,进入了人工智能时代。每一次科技浪潮都通过某一项先进生产力要素的突破,进而引起大多数行业的变革:以信息技术为核心的第三次科技革命迄今已逾70年,整个将全球GDP提升约60倍,其中1950年-1990年,是半导体产业迅猛发展的时代,推动了大型计算机向个人PC的小型化;1990年至今是近30年的互联网全球化时代...
上滑加载中
推荐直播
-
Skill 构建 × 智能创作:基于华为云码道的 AI 内容生产提效方案2026/03/25 周三 19:00-20:00
余伟,华为云软件研发工程师/万邵业(万少),华为云HCDE开发者专家
本次直播带来两大实战:华为云码道 Skill-Creator 手把手搭建专属知识库 Skill;如何用码道提效 OpenClaw 小说文本,打造从大纲到成稿的 AI 原创小说全链路。技术干货 + OPC创作思路,一次讲透!
回顾中 -
码道新技能,AI 新生产力——从自动视频生成到开源项目解析2026/04/08 周三 19:00-21:00
童得力-华为云开发者生态运营总监/何文强-无人机企业AI提效负责人
本次华为云码道 Skill 实战活动,聚焦两大 AI 开发场景:通过实战教学,带你打造 AI 编程自动生成视频 Skill,并实现对 GitHub 热门开源项目的智能知识抽取,手把手掌握 Skill 开发全流程,用 AI 提升研发效率与内容生产力。
回顾中 -
华为云码道:零代码股票智能决策平台全功能实战2026/04/18 周六 10:00-12:00
秦拳德-中软国际教育卓越研究院研究员、华为云金牌讲师、云原生技术专家
利用Tushare接口获取实时行情数据,采用Transformer算法进行时序预测与涨跌分析,并集成DeepSeek API提供智能解读。同时,项目深度结合华为云CodeArts(码道)的代码智能体能力,实现代码一键推送至云端代码仓库,建立起高效、可协作的团队开发新范式。开发者可快速上手,从零打造功能完整的个股筛选、智能分析与风险管控产品。
即将直播
热门标签