- 随着语言模型参数量和所需训练数据量的急速增长,单个机器上有限的资源已无法满足大语言模型训练的要求。需要设计分布式训练(Distributed Training)系统来解决海量的计算和内存资源要求问题。在分布式训练系统环境下需要将一个模型训练任务拆分成多个子任务,并将子任务分发给多个计算设备,从而解决资源瓶颈。但是如何才能利用包括数万计算加速芯片的集群,训练模型参数量千亿甚至是万亿的大... 随着语言模型参数量和所需训练数据量的急速增长,单个机器上有限的资源已无法满足大语言模型训练的要求。需要设计分布式训练(Distributed Training)系统来解决海量的计算和内存资源要求问题。在分布式训练系统环境下需要将一个模型训练任务拆分成多个子任务,并将子任务分发给多个计算设备,从而解决资源瓶颈。但是如何才能利用包括数万计算加速芯片的集群,训练模型参数量千亿甚至是万亿的大...
- 在现代软件开发中,日志系统是至关重要的组成部分。它们不仅用于故障排查和性能监控,还可以提供关键业务洞察。本文将介绍如何利用ELK(Elasticsearch、Logstash和Kibana)与Fluentd结合,构建一个高效的分布式日志系统,并提供Python案例代码来演示其用法。 什么是ELK和Fluentd?ELK Stack:ELK是一个流行的日志管理解决方案,由三个核心组件组成:El... 在现代软件开发中,日志系统是至关重要的组成部分。它们不仅用于故障排查和性能监控,还可以提供关键业务洞察。本文将介绍如何利用ELK(Elasticsearch、Logstash和Kibana)与Fluentd结合,构建一个高效的分布式日志系统,并提供Python案例代码来演示其用法。 什么是ELK和Fluentd?ELK Stack:ELK是一个流行的日志管理解决方案,由三个核心组件组成:El...
- 近年来,国内数据库百花齐放。随着分布式数据库在金融等重点行业的不断应用,分布式数据库产品市场份额逐步增大,产品成熟度得到很大提升。基于目前分布式数据库性能及行业应用表现,你是如何看待分布式数据库的未来发展呢?不管你是技术大佬,还是可爱萌新,只要踊跃互动,就有机会赢HUAWEI mini蓝牙音箱、《华为数据之道》书籍、新贵族系列中性笔、平装套芯笔记本等多种好礼!扫描海报二维码即可参与~ 近年来,国内数据库百花齐放。随着分布式数据库在金融等重点行业的不断应用,分布式数据库产品市场份额逐步增大,产品成熟度得到很大提升。基于目前分布式数据库性能及行业应用表现,你是如何看待分布式数据库的未来发展呢?不管你是技术大佬,还是可爱萌新,只要踊跃互动,就有机会赢HUAWEI mini蓝牙音箱、《华为数据之道》书籍、新贵族系列中性笔、平装套芯笔记本等多种好礼!扫描海报二维码即可参与~
- 大模型时代弯道超车,解锁开发者必备4大关键技术;华为云GeminiDB Cassandra接口新特性FLASHBACK闪回是一种非常强大的数据应急恢复手段;解读华为云CCE敏捷版金融级高可用方案实践... 大模型时代弯道超车,解锁开发者必备4大关键技术;华为云GeminiDB Cassandra接口新特性FLASHBACK闪回是一种非常强大的数据应急恢复手段;解读华为云CCE敏捷版金融级高可用方案实践...
- 在移动互联网快速普及的当下,金融机构能否提供便捷、智能、个性化的金融服务,成为关乎业务开展和企业成长的重要命题。高性能、高可用、高安全的数据库,则是金融服务背后的重要支撑。同时,在中国银保监会发布的《关于银行业保险业数字化转型的指导意见》中明确提出,要推进传统架构向分布式架构转型。各级金融机构在近年来纷纷将核心系统的分布式转型提上日程。作为全国农村商业银行中的佼佼者,江南农村商业银行(文章后... 在移动互联网快速普及的当下,金融机构能否提供便捷、智能、个性化的金融服务,成为关乎业务开展和企业成长的重要命题。高性能、高可用、高安全的数据库,则是金融服务背后的重要支撑。同时,在中国银保监会发布的《关于银行业保险业数字化转型的指导意见》中明确提出,要推进传统架构向分布式架构转型。各级金融机构在近年来纷纷将核心系统的分布式转型提上日程。作为全国农村商业银行中的佼佼者,江南农村商业银行(文章后...
- 持续深耕关键行业场景,给世界一个更优选择 持续深耕关键行业场景,给世界一个更优选择
- 持续深耕技术创新,锤炼核心竞争力 持续深耕技术创新,锤炼核心竞争力
- 提供更加全面、高效和智能的多云容器解决方案 提供更加全面、高效和智能的多云容器解决方案
- 2023年第三季度,Navicat首次支持了华为云GaussDB主备版。经过双方团队进一步的深化合作,Navicat完成了GaussDB分布式的研发适配工作,赋能GaussDB全域数据库产品。GaussDB数据库分为主备版和分布式版两种模式。主备版适用于数据量较小,且长期来看数据不会大幅度增长,但是对数据的可靠性,以及业务的可用性有一定诉求的场景。分布式版能够支撑较大的数据量,且提供了横向扩... 2023年第三季度,Navicat首次支持了华为云GaussDB主备版。经过双方团队进一步的深化合作,Navicat完成了GaussDB分布式的研发适配工作,赋能GaussDB全域数据库产品。GaussDB数据库分为主备版和分布式版两种模式。主备版适用于数据量较小,且长期来看数据不会大幅度增长,但是对数据的可靠性,以及业务的可用性有一定诉求的场景。分布式版能够支撑较大的数据量,且提供了横向扩...
- 近日,华为云分布式缓存DCS和分布式消息DMS两云服务产品凭借过硬的技术实力双双顺利通过工信部电子五所软件产品可信评估,并获得最高级(“卓越级”)认证!国内首批,遥遥领先! 近日,华为云分布式缓存DCS和分布式消息DMS两云服务产品凭借过硬的技术实力双双顺利通过工信部电子五所软件产品可信评估,并获得最高级(“卓越级”)认证!国内首批,遥遥领先!
- 为大家介绍分布式云原生一站式开源解决方案Kurator,结合典型特性的实操演示,让开发者快速了解Kurator 在分布式云场景下的使用。 为大家介绍分布式云原生一站式开源解决方案Kurator,结合典型特性的实操演示,让开发者快速了解Kurator 在分布式云场景下的使用。
- 大模型飞速发展,算力需求不断提升,高效利用人工智能芯片成为新的技术焦点。UCS (On-Premises) 搭载 xGPU&Volcano 智能调度引擎,加速数据中心 AI 计算。 大模型飞速发展,算力需求不断提升,高效利用人工智能芯片成为新的技术焦点。UCS (On-Premises) 搭载 xGPU&Volcano 智能调度引擎,加速数据中心 AI 计算。
- 与伙伴一起,共建繁荣开放的GaussDB数据库新生态 与伙伴一起,共建繁荣开放的GaussDB数据库新生态
- 本文作者丨数据库领域科学家、华为云数据库GaussDB首席专家 冯柯当前,金融等重点行业都在进行数字化转型,而分布式数据库作为数据承载工具,为数字化转型提供了有力的支撑。分布式数据库近年来发展迅猛,在产品成熟度上有了很大提升,但在行业应用和生态建设上仍有很多挑战。本文分析了分布式数据库发展情况、分布式数据库应用的主要问题,从行业应用的角度给出了分布式数据库发展的建议。一、发展情况过去三十年... 本文作者丨数据库领域科学家、华为云数据库GaussDB首席专家 冯柯当前,金融等重点行业都在进行数字化转型,而分布式数据库作为数据承载工具,为数字化转型提供了有力的支撑。分布式数据库近年来发展迅猛,在产品成熟度上有了很大提升,但在行业应用和生态建设上仍有很多挑战。本文分析了分布式数据库发展情况、分布式数据库应用的主要问题,从行业应用的角度给出了分布式数据库发展的建议。一、发展情况过去三十年...
- Karmada 是开放的多云多集群容器编排引擎,旨在帮助用户在多云环境下部署和运维业务应用。凭借兼容 Kubernetes 原生 API 的能力,Karmada 可以平滑迁移单集群工作负载,并且仍可保持与 Kubernetes 周边生态工具链协同。 Karmada 是开放的多云多集群容器编排引擎,旨在帮助用户在多云环境下部署和运维业务应用。凭借兼容 Kubernetes 原生 API 的能力,Karmada 可以平滑迁移单集群工作负载,并且仍可保持与 Kubernetes 周边生态工具链协同。
上滑加载中
推荐直播
-
华为云IoT开源专家实践分享:开源让物联网平台更开放、易用
2024/05/14 周二 16:30-18:00
张俭 华为云IoT DTSE技术布道师
作为开发者的你是否也想加入开源社区?本期物联网平台资深“程序猿”,开源专家张俭,为你揭秘华为云IoT如何借助开源构建可靠、开放、易用的物联网平台,并手把手教你玩转开源社区!
去报名 -
华为云开发者日·广州站
2024/05/15 周三 14:30-17:30
华为云专家团
华为云开发者日HDC.Cloud Day是面向全球开发者的旗舰活动,汇聚来自千行百业、高校及科研院所的开发人员。致力于打造开发者专属的技术盛宴,全方位服务与赋能开发者围绕华为云生态“知、学、用、创、商”的成长路径。通过前沿的技术分享、场景化的动手体验、优秀的应用创新推介,为开发者提供沉浸式学习与交流平台。开放创新,与开发者共创、共享、共赢未来。
去报名 -
企业级数仓迁移工具助您轻松上云
2024/05/21 周二 16:30-18:00
Nick 华为云数仓GaussDB(DWS)研发专家
随着云时代的到来,传统数仓已无法满足企业的需求,越来越多的企业选择从传统数仓迁移到云数据仓库,云数仓为企业提供了更低的成本、更灵活极致的体验。本期直播将为您带来企业级数仓搬迁的解决方案,带您一览华为云数仓GaussDB(DWS)提供了哪些迁移方案助力用户实现数据迁移,如何保障迁移后数据的一致性。
去报名
热门标签