- 本文将会介绍一些更高阶的并行方式，如序列并行（SP），上下文并行（CP），混合序列并行Ulysess，ZeRO系列并行优化策略，完全分片数据并行（FSDP）。并且，在文章最后将汇总所有介绍过的并行方案与它们的通信模式，帮助读者初步建立起分布式训练与集合通信的知识结构体系。 本文将会介绍一些更高阶的并行方式，如序列并行（SP），上下文并行（CP），混合序列并行Ulysess，ZeRO系列并行优化策略，完全分片数据并行（FSDP）。并且，在文章最后将汇总所有介绍过的并行方案与它们的通信模式，帮助读者初步建立起分布式训练与集合通信的知识结构体系。
- 2023年8月至2024年5月，华为云GaussDB助力国家统计局顺利完成第五次全国经济普查（简称“五经普”）单位清查和普查登记数据采集处理工作。在此期间，全国200多万名普查员通过手持终端设备，依托华为云GaussDB对全国范围内的1亿多普查对象进行普查数据采集与处理，为国家宏观经济决策提供了重要基础数据。一、千挑万选，落定GaussDB，打造全局“一朵云”“五经普”是一项重要的国情国力调... 2023年8月至2024年5月，华为云GaussDB助力国家统计局顺利完成第五次全国经济普查（简称“五经普”）单位清查和普查登记数据采集处理工作。在此期间，全国200多万名普查员通过手持终端设备，依托华为云GaussDB对全国范围内的1亿多普查对象进行普查数据采集与处理，为国家宏观经济决策提供了重要基础数据。一、千挑万选，落定GaussDB，打造全局“一朵云”“五经普”是一项重要的国情国力调...
- 本专题介绍常见的深度学习分布式训练的并行策略和背后使用到的集合通信操作，希望能帮助读者理解分布式训练的原理，以及集合通信之于分布式训练的重要性和必要性。 本专题介绍常见的深度学习分布式训练的并行策略和背后使用到的集合通信操作，希望能帮助读者理解分布式训练的原理，以及集合通信之于分布式训练的重要性和必要性。
- 一起了解DCS Redis如何在数据访问的世界中加速驰骋。 一起了解DCS Redis如何在数据访问的世界中加速驰骋。
- 随着语言模型参数量和所需训练数据量的急速增长，单个机器上有限的资源已无法满足大语言模型训练的要求。需要设计分布式训练（Distributed Training）系统来解决海量的计算和内存资源要求问题。在分布式训练系统环境下需要将一个模型训练任务拆分成多个子任务，并将子任务分发给多个计算设备，从而解决资源瓶颈。但是如何才能利用包括数万计算加速芯片的集群，训练模型参数量千亿甚至是万亿的大... 随着语言模型参数量和所需训练数据量的急速增长，单个机器上有限的资源已无法满足大语言模型训练的要求。需要设计分布式训练（Distributed Training）系统来解决海量的计算和内存资源要求问题。在分布式训练系统环境下需要将一个模型训练任务拆分成多个子任务，并将子任务分发给多个计算设备，从而解决资源瓶颈。但是如何才能利用包括数万计算加速芯片的集群，训练模型参数量千亿甚至是万亿的大...
- 近年来，国内数据库百花齐放。随着分布式数据库在金融等重点行业的不断应用，分布式数据库产品市场份额逐步增大，产品成熟度得到很大提升。基于目前分布式数据库性能及行业应用表现，你是如何看待分布式数据库的未来发展呢？不管你是技术大佬，还是可爱萌新，只要踊跃互动，就有机会赢HUAWEI mini蓝牙音箱、《华为数据之道》书籍、新贵族系列中性笔、平装套芯笔记本等多种好礼！扫描海报二维码即可参与~ 近年来，国内数据库百花齐放。随着分布式数据库在金融等重点行业的不断应用，分布式数据库产品市场份额逐步增大，产品成熟度得到很大提升。基于目前分布式数据库性能及行业应用表现，你是如何看待分布式数据库的未来发展呢？不管你是技术大佬，还是可爱萌新，只要踊跃互动，就有机会赢HUAWEI mini蓝牙音箱、《华为数据之道》书籍、新贵族系列中性笔、平装套芯笔记本等多种好礼！扫描海报二维码即可参与~
- 大模型时代弯道超车，解锁开发者必备4大关键技术；华为云GeminiDB Cassandra接口新特性FLASHBACK闪回是一种非常强大的数据应急恢复手段；解读华为云CCE敏捷版金融级高可用方案实践... 大模型时代弯道超车，解锁开发者必备4大关键技术；华为云GeminiDB Cassandra接口新特性FLASHBACK闪回是一种非常强大的数据应急恢复手段；解读华为云CCE敏捷版金融级高可用方案实践...
- 在移动互联网快速普及的当下，金融机构能否提供便捷、智能、个性化的金融服务，成为关乎业务开展和企业成长的重要命题。高性能、高可用、高安全的数据库，则是金融服务背后的重要支撑。同时，在中国银保监会发布的《关于银行业保险业数字化转型的指导意见》中明确提出，要推进传统架构向分布式架构转型。各级金融机构在近年来纷纷将核心系统的分布式转型提上日程。作为全国农村商业银行中的佼佼者，江南农村商业银行（文章后... 在移动互联网快速普及的当下，金融机构能否提供便捷、智能、个性化的金融服务，成为关乎业务开展和企业成长的重要命题。高性能、高可用、高安全的数据库，则是金融服务背后的重要支撑。同时，在中国银保监会发布的《关于银行业保险业数字化转型的指导意见》中明确提出，要推进传统架构向分布式架构转型。各级金融机构在近年来纷纷将核心系统的分布式转型提上日程。作为全国农村商业银行中的佼佼者，江南农村商业银行（文章后...
- 持续深耕关键行业场景，给世界一个更优选择 持续深耕关键行业场景，给世界一个更优选择
- 持续深耕技术创新，锤炼核心竞争力 持续深耕技术创新，锤炼核心竞争力
- 提供更加全面、高效和智能的多云容器解决方案 提供更加全面、高效和智能的多云容器解决方案
- 2023年第三季度，Navicat首次支持了华为云GaussDB主备版。经过双方团队进一步的深化合作，Navicat完成了GaussDB分布式的研发适配工作，赋能GaussDB全域数据库产品。GaussDB数据库分为主备版和分布式版两种模式。主备版适用于数据量较小，且长期来看数据不会大幅度增长，但是对数据的可靠性，以及业务的可用性有一定诉求的场景。分布式版能够支撑较大的数据量，且提供了横向扩... 2023年第三季度，Navicat首次支持了华为云GaussDB主备版。经过双方团队进一步的深化合作，Navicat完成了GaussDB分布式的研发适配工作，赋能GaussDB全域数据库产品。GaussDB数据库分为主备版和分布式版两种模式。主备版适用于数据量较小，且长期来看数据不会大幅度增长，但是对数据的可靠性，以及业务的可用性有一定诉求的场景。分布式版能够支撑较大的数据量，且提供了横向扩...
- 近日，华为云分布式缓存DCS和分布式消息DMS两云服务产品凭借过硬的技术实力双双顺利通过工信部电子五所软件产品可信评估，并获得最高级（“卓越级”）认证！国内首批，遥遥领先！ 近日，华为云分布式缓存DCS和分布式消息DMS两云服务产品凭借过硬的技术实力双双顺利通过工信部电子五所软件产品可信评估，并获得最高级（“卓越级”）认证！国内首批，遥遥领先！
- 为大家介绍分布式云原生一站式开源解决方案Kurator，结合典型特性的实操演示，让开发者快速了解Kurator 在分布式云场景下的使用。 为大家介绍分布式云原生一站式开源解决方案Kurator，结合典型特性的实操演示，让开发者快速了解Kurator 在分布式云场景下的使用。
- 大模型飞速发展，算力需求不断提升，高效利用人工智能芯片成为新的技术焦点。UCS (On-Premises) 搭载 xGPU&Volcano 智能调度引擎，加速数据中心 AI 计算。 大模型飞速发展，算力需求不断提升，高效利用人工智能芯片成为新的技术焦点。UCS (On-Premises) 搭载 xGPU&Volcano 智能调度引擎，加速数据中心 AI 计算。
上滑加载中
推荐直播
0.6666666666666666
-
聚焦Deepseek，洞察开发者生态发展2025/02/28 周五 19:00-20:30
蒋涛 csdn创始人
深入剖析Deepseek爆发后，中国开发者生态潜藏的巨大发展潜能与未来走向，精准提炼出可供大家把握的时代机遇，干货满满，不容错过。
回顾中 -
智能观测进化论系列沙龙（第一期）2025/02/28 周五 14:00-16:30
华为及外部讲师团
本期直播就智能化可观测技术的融合与创新、落地与实践、瓶颈与未来等业界关心的话题进行深入探讨。
回顾中 -
聚焦Deepseek，洞察开发者生态发展
2025/02/28 周五 19:00-20:30
蒋涛 csdn创始人
深入剖析Deepseek爆发后，中国开发者生态潜藏的巨大发展潜能与未来走向，精准提炼出可供大家把握的时代机遇，干货满满，不容错过。
回顾中 -
智能观测进化论系列沙龙（第一期）
2025/02/28 周五 14:00-16:30
华为及外部讲师团
本期直播就智能化可观测技术的融合与创新、落地与实践、瓶颈与未来等业界关心的话题进行深入探讨。
回顾中
热门标签
