- 本文将会介绍一些更高阶的并行方式，如序列并行（SP），上下文并行（CP），混合序列并行Ulysess，ZeRO系列并行优化策略，完全分片数据并行（FSDP）。并且，在文章最后将汇总所有介绍过的并行方案与它们的通信模式，帮助读者初步建立起分布式训练与集合通信的知识结构体系。 本文将会介绍一些更高阶的并行方式，如序列并行（SP），上下文并行（CP），混合序列并行Ulysess，ZeRO系列并行优化策略，完全分片数据并行（FSDP）。并且，在文章最后将汇总所有介绍过的并行方案与它们的通信模式，帮助读者初步建立起分布式训练与集合通信的知识结构体系。
- 本专题介绍常见的深度学习分布式训练的并行策略和背后使用到的集合通信操作，希望能帮助读者理解分布式训练的原理，以及集合通信之于分布式训练的重要性和必要性。 本专题介绍常见的深度学习分布式训练的并行策略和背后使用到的集合通信操作，希望能帮助读者理解分布式训练的原理，以及集合通信之于分布式训练的重要性和必要性。
- 2023年12月，香橙派联合华为发布了基于昇腾的Orange Pi AIpro开发板，提供8/20TOPS澎湃算力，能覆盖生态开发板者的主流应用场景，让用户实践各种创新场景，并为其提供配套的软硬件。极具性价比的优势吸引了众多AI创客们的购买和体验，香橙派AIpro开发板到底长什么样？开放了哪些外设接口？搭载昇腾AI处理器后跑AI推理性能咋样？快来一睹为快吧 2023年12月，香橙派联合华为发布了基于昇腾的Orange Pi AIpro开发板，提供8/20TOPS澎湃算力，能覆盖生态开发板者的主流应用场景，让用户实践各种创新场景，并为其提供配套的软硬件。极具性价比的优势吸引了众多AI创客们的购买和体验，香橙派AIpro开发板到底长什么样？开放了哪些外设接口？搭载昇腾AI处理器后跑AI推理性能咋样？快来一睹为快吧
- 深度学习（DL）虽然在日志异常检测中得到了不少应用，但在实际轻量级运维模型选择中，必须仔细考虑异常检测方法与计算成本的关系。具体来说，尽管深度学习方法在日志异常检测方面取得了出色的性能，但它们通常需要更长的时间来进行日志预处理、模型训练和模型推断，从而阻碍了它们在需要快速部署日志异常检测服务的在线分布式云系统中的采用。本文对现有的基于经典机器学习和深度学习方法的日志异常检测方法进行了实证研究... 深度学习（DL）虽然在日志异常检测中得到了不少应用，但在实际轻量级运维模型选择中，必须仔细考虑异常检测方法与计算成本的关系。具体来说，尽管深度学习方法在日志异常检测方面取得了出色的性能，但它们通常需要更长的时间来进行日志预处理、模型训练和模型推断，从而阻碍了它们在需要快速部署日志异常检测服务的在线分布式云系统中的采用。本文对现有的基于经典机器学习和深度学习方法的日志异常检测方法进行了实证研究...
- 华为技术专家分享有关于LLM lifelong learning的概念，帮助大家了解持续学习的特性与理论知识，同时也详细介绍了MoE的发展史。 华为技术专家分享有关于LLM lifelong learning的概念，帮助大家了解持续学习的特性与理论知识，同时也详细介绍了MoE的发展史。
- 常有同学留言问我，想要学习昇腾AscendCL开发应该从何入手，有什么教程推荐？于是我就帮大家整理了一些网上的学习资源，分享给大家~ 常有同学留言问我，想要学习昇腾AscendCL开发应该从何入手，有什么教程推荐？于是我就帮大家整理了一些网上的学习资源，分享给大家~
- 深度学习基础入门篇[一]：神经元简介、单层多层感知机、距离计算方法式、相似度函数 深度学习基础入门篇[一]：神经元简介、单层多层感知机、距离计算方法式、相似度函数
- 这篇文章主要目的是为了让大家能够清楚如何用MindSpore2.0来进行模型的迁移，因此更加注重整体的开发流程介绍，针对迁移中代码的编写不会详细讲解，但是会给出样例以及供查阅的文档链接。最终希望读者能够了解迁移模型需要做什么，每一步应该怎么做，做完了应该怎么验证。 这篇文章主要目的是为了让大家能够清楚如何用MindSpore2.0来进行模型的迁移，因此更加注重整体的开发流程介绍，针对迁移中代码的编写不会详细讲解，但是会给出样例以及供查阅的文档链接。最终希望读者能够了解迁移模型需要做什么，每一步应该怎么做，做完了应该怎么验证。
- 推荐系统[一]：超详细知识介绍，一份完整的入门指南，解答推荐系统相关算法流程、衡量指标和应用，以及如何使用jieba分词库进行相似推荐 推荐系统[一]：超详细知识介绍，一份完整的入门指南，解答推荐系统相关算法流程、衡量指标和应用，以及如何使用jieba分词库进行相似推荐
- 在该论文中，作者提出了一种新型的Transformer模块，称为多轴自注意力（multi-axis self-attention, Max-SA），它可以作为基本的架构组件，在单个块中执行局部和全局空间交互。与完全自注意力相比，Max-SA具有更大的灵活性和效率，即自然适应不同的输入长度，具有线性复杂度。此外，Max-SA仅具有线性复杂度，可以用作网络任何层的通用独立注意力模块，增加少量的计算量。 在该论文中，作者提出了一种新型的Transformer模块，称为多轴自注意力（multi-axis self-attention, Max-SA），它可以作为基本的架构组件，在单个块中执行局部和全局空间交互。与完全自注意力相比，Max-SA具有更大的灵活性和效率，即自然适应不同的输入长度，具有线性复杂度。此外，Max-SA仅具有线性复杂度，可以用作网络任何层的通用独立注意力模块，增加少量的计算量。
- 当我们处理的数据具有不同尺度时，执行数据标准化操作是很有必要的。本文给出了数据标准化(Normalization)的定义、常用方法以及为什么要做数据标准化，并给出相关代码实现。最后将Normalization概念应用于图像领域，并给出实现的相关细节以及示例代码。 当我们处理的数据具有不同尺度时，执行数据标准化操作是很有必要的。本文给出了数据标准化(Normalization)的定义、常用方法以及为什么要做数据标准化，并给出相关代码实现。最后将Normalization概念应用于图像领域，并给出实现的相关细节以及示例代码。
- 2022年，CANN不断突破自我，全新开放升级，迈入新台阶。2023年，CANN将提供更开放、更易用的全新体验！ 2022年，CANN不断突破自我，全新开放升级，迈入新台阶。2023年，CANN将提供更开放、更易用的全新体验！
- 数据增强（也叫数据扩增）的目的是为了扩充数据和提升模型的泛化能力。有效的数据扩充不仅能扩充训练样本数量，还能增加训练样本的多样性，一方面可避免过拟合，另一方面又会带来模型性能的提升。 数据增强（也叫数据扩增）的目的是为了扩充数据和提升模型的泛化能力。有效的数据扩充不仅能扩充训练样本数量，还能增加训练样本的多样性，一方面可避免过拟合，另一方面又会带来模型性能的提升。
- 人类在最近1万多年的发展中，经历了农耕时代、蒸汽机时代、电力时代、互联网时代，21世纪，进入了人工智能时代。每一次科技浪潮都通过某一项先进生产力要素的突破，进而引起大多数行业的变革：以信息技术为核心的第三次科技革命迄今已逾70年，整个将全球GDP提升约60倍，其中1950年－1990年，是半导体产业迅猛发展的时代，推动了大型计算机向个人PC的小型化；1990年至今是近30年的互联网全球化时代... 人类在最近1万多年的发展中，经历了农耕时代、蒸汽机时代、电力时代、互联网时代，21世纪，进入了人工智能时代。每一次科技浪潮都通过某一项先进生产力要素的突破，进而引起大多数行业的变革：以信息技术为核心的第三次科技革命迄今已逾70年，整个将全球GDP提升约60倍，其中1950年－1990年，是半导体产业迅猛发展的时代，推动了大型计算机向个人PC的小型化；1990年至今是近30年的互联网全球化时代...
- 基于ModelArts进行图像风格化绘画这个 notebook 基于论文「Stylized Neural Painting, arXiv:2011.08114.」提供了最基本的「图片生成绘画」变换的可复现例子。项目首页 | GitHub | 论文ModelArts 项目地址：https://developer.huaweicloud.com/develop/aigallery/notebo... 基于ModelArts进行图像风格化绘画这个 notebook 基于论文「Stylized Neural Painting, arXiv:2011.08114.」提供了最基本的「图片生成绘画」变换的可复现例子。项目首页 | GitHub | 论文ModelArts 项目地址：https://developer.huaweicloud.com/develop/aigallery/notebo...
上滑加载中
推荐直播
-
探秘仓颉编程语言：华为开发者空间的创新利器2025/02/22 周六 15:00-16:30
华为云讲师团
本期直播将与您一起探秘颉编程语言上线华为开发者空间后，显著提升开发效率，在智能化开发支持、全场景跨平台适配能力、工具链与生态完备性、语言简洁与高性能特性等方面展现出的独特优势。直播看点： 1.java转仓颉的小工具 2.仓颉动画三方库lottie 3.开发者空间介绍及如何在空间用仓颉编程语言开发
回顾中 -
大模型Prompt工程深度实践2025/02/24 周一 16:00-17:30
盖伦 华为云学堂技术讲师
如何让大模型精准理解开发需求并生成可靠输出？本期直播聚焦大模型Prompt工程核心技术：理解大模型推理基础原理，关键采样参数定义，提示词撰写关键策略及Prompt工程技巧分享。
去报名 -
华为云 x DeepSeek：AI驱动云上应用创新2025/02/26 周三 16:00-18:00
华为云 AI专家大咖团
在 AI 技术飞速发展之际，DeepSeek 备受关注。它凭借哪些技术与理念脱颖而出？华为云与 DeepSeek 合作，将如何重塑产品与应用模式，助力企业数字化转型？在华为开发者空间，怎样高效部署 DeepSeek，搭建专属服务器？基于华为云平台，又该如何挖掘 DeepSeek 潜力，实现智能化升级？本期直播围绕DeepSeek在云上的应用案例，与DTSE布道师们一起探讨如何利用AI 驱动云上应用创新。
去报名
热门标签