- GaussDB是分布式架构，数据分布在各个DN上，设计好的数据分布策略是分布式数据库设计中最关键的环节。 GaussDB是分布式架构，数据分布在各个DN上，设计好的数据分布策略是分布式数据库设计中最关键的环节。
- DAOS (Distributed Asynchronous Object Storage) 是一个开源的对象存储系统，专为大规模分布式非易失性内存设计，利用了 SCM 和 NVMe 等的下一代 NVM 技术。 DAOS 同时在硬件之上提供了键值存储接口，提供了诸如事务性非阻塞 I/O、具有自我修复的高级数据保护、端到端数据完整性、细粒度数据控制和弹性存储的高级数据保护，从而优化性能并降低成本。 DAOS (Distributed Asynchronous Object Storage) 是一个开源的对象存储系统，专为大规模分布式非易失性内存设计，利用了 SCM 和 NVMe 等的下一代 NVM 技术。 DAOS 同时在硬件之上提供了键值存储接口，提供了诸如事务性非阻塞 I/O、具有自我修复的高级数据保护、端到端数据完整性、细粒度数据控制和弹性存储的高级数据保护，从而优化性能并降低成本。
- 我们在 前面 介绍了 nsq 的相关概念以及 nsq 的安装与应用以及 nsqd 的实现原理。本篇将会结合源码介绍 nsqlookupd 的实现细节。nsqlookupd 主要流程与上一篇文章介绍的 nsqd 执行逻辑相似，区别在于具体运行的任务不同。 入口函数在 nsq/apps/nsqlookupd/main.go 可以找到执行入口文件。// 位于apps/nsqlookupd/main... 我们在 前面 介绍了 nsq 的相关概念以及 nsq 的安装与应用以及 nsqd 的实现原理。本篇将会结合源码介绍 nsqlookupd 的实现细节。nsqlookupd 主要流程与上一篇文章介绍的 nsqd 执行逻辑相似，区别在于具体运行的任务不同。 入口函数在 nsq/apps/nsqlookupd/main.go 可以找到执行入口文件。// 位于apps/nsqlookupd/main...
- 我们在 前面 介绍了 nsq 的相关概念以及 nsq 的安装与应用。从本篇开始将会结合源码介绍 nsq 的实现细节。nsq 中单个 nsqd 可以有多个 topic，每个 topic 可以有多个 channel。channel 接收这个 topic 所有消息的副本，从而实现多播分发，而 channel 上的每个消息被均匀的分发给它的订阅者，从而实现负载均衡。 入口函数首先看下 nsqd 的入... 我们在 前面 介绍了 nsq 的相关概念以及 nsq 的安装与应用。从本篇开始将会结合源码介绍 nsq 的实现细节。nsq 中单个 nsqd 可以有多个 topic，每个 topic 可以有多个 channel。channel 接收这个 topic 所有消息的副本，从而实现多播分发，而 channel 上的每个消息被均匀的分发给它的订阅者，从而实现负载均衡。 入口函数首先看下 nsqd 的入...
- 本文为基于500lineofcode的cluster项目分享。 本文为基于500lineofcode的cluster项目分享。
- Actor 管理 Actor 创建Actor的创建任务是由GCS服务来进行调度的，如下图在Python代码中创建一个Actor时，负责创建的worker首先同步注册actor到GCS中，这样可以确保Actor被创建之前worker就failure的场景下，所有的worker使用Actor的reference都可以发现这个failure一旦actor创建任务的所有输入依赖都被解析完成，cre... Actor 管理 Actor 创建Actor的创建任务是由GCS服务来进行调度的，如下图在Python代码中创建一个Actor时，负责创建的worker首先同步注册actor到GCS中，这样可以确保Actor被创建之前worker就failure的场景下，所有的worker使用Actor的reference都可以发现这个failure一旦actor创建任务的所有输入依赖都被解析完成，cre...
- 资源管理和调度Ray中的资源是任何“Key”->浮点数。为方便起见，Ray调度程序原生支持CPU、GPU和内存资源类型，Ray会自动检测每个节点上可用资源。同时，用户也可以使用任何有效字符串定义自定义资源需求，例如，指定{“某物”:1}的资源要求。分布式调度程序的目的是将来自所有者的资源请求与集群中的可用资源相匹配。资源请求是硬调度约束。例如，{“CPU”: 1.0, “GPU”: 1.0... 资源管理和调度Ray中的资源是任何“Key”->浮点数。为方便起见，Ray调度程序原生支持CPU、GPU和内存资源类型，Ray会自动检测每个节点上可用资源。同时，用户也可以使用任何有效字符串定义自定义资源需求，例如，指定{“某物”:1}的资源要求。分布式调度程序的目的是将来自所有者的资源请求与集群中的可用资源相匹配。资源请求是硬调度约束。例如，{“CPU”: 1.0, “GPU”: 1.0...
- Ray的定位是分布式应用框架，主要目标是使能分布式应用的开发和运行。 Ray的定位是分布式应用框架，主要目标是使能分布式应用的开发和运行。
- 随着互联网技术在各行各业的应用高速普及与发展，各层应用之间调用关系越来越复杂，架构、开发、运维成本越来越高，高内聚、低耦合、可扩展、高可用已成为了行业需求。一提到消息队列 MQ(Message Queue)，我们会想到很多应用场景，比如消息通知、用户积分增减、抽奖中奖等，可以看出来 MQ 的作用有：流程异步化、代码解耦合、流量削峰、高可用、高吞吐量、广播分发，达到数据的最终一致性，满足具体的... 随着互联网技术在各行各业的应用高速普及与发展，各层应用之间调用关系越来越复杂，架构、开发、运维成本越来越高，高内聚、低耦合、可扩展、高可用已成为了行业需求。一提到消息队列 MQ(Message Queue)，我们会想到很多应用场景，比如消息通知、用户积分增减、抽奖中奖等，可以看出来 MQ 的作用有：流程异步化、代码解耦合、流量削峰、高可用、高吞吐量、广播分发，达到数据的最终一致性，满足具体的...
- Go 语言的并发特性是其一大亮点，今天我们来带着大家一起看看如何使用 Go 更好地开发并发程序。 Go 语言的并发特性是其一大亮点，今天我们来带着大家一起看看如何使用 Go 更好地开发并发程序。
- 在上面一篇文章介绍了系统可用性指标以及冗余设计和熔断设计，今天我们接着来介绍高可用的其他方式。限流设计熔断设计保护的是服务调用者，即上游服务的可用性，对于下游服务提供者，考虑到自身服务实例的负载能力，同样需要限流设计保护自己不被过量的流量冲垮。一般来讲有以下的限流策略：拒绝服务，把多出来的请求拒绝掉。一般来说，好的限流系统在受到流量暴增时，会暂时拒绝周期时间内请求数量最大的客户端，这样可以在... 在上面一篇文章介绍了系统可用性指标以及冗余设计和熔断设计，今天我们接着来介绍高可用的其他方式。限流设计熔断设计保护的是服务调用者，即上游服务的可用性，对于下游服务提供者，考虑到自身服务实例的负载能力，同样需要限流设计保护自己不被过量的流量冲垮。一般来讲有以下的限流策略：拒绝服务，把多出来的请求拒绝掉。一般来说，好的限流系统在受到流量暴增时，会暂时拒绝周期时间内请求数量最大的客户端，这样可以在...
- 理论＋实操（超详细） 理论＋实操（超详细）
- CMS数据库实例CMS即GaussDB(DWS)集群管理模块（Cluster Manager Server)缩写，是管理和监控分布式系统中各个功能单元和物理资源运行情况，确保整个系统稳定运行的组件。CMS模块分为CMS_Primary和CMS_Standby，作为高可用的一部分，CMS主在故障后，备CMS会自动升为主CMS，避免出现CMS单节点故障。此外，CMS能够对CMAgent上报的集群... CMS数据库实例CMS即GaussDB(DWS)集群管理模块（Cluster Manager Server)缩写，是管理和监控分布式系统中各个功能单元和物理资源运行情况，确保整个系统稳定运行的组件。CMS模块分为CMS_Primary和CMS_Standby，作为高可用的一部分，CMS主在故障后，备CMS会自动升为主CMS，避免出现CMS单节点故障。此外，CMS能够对CMAgent上报的集群...
- 先准备虚拟机虚拟机准备几台后续陆续用时，并且ping通后建议选择快照，安装出错时还可以复原第一步，创建虚拟机命名没有多大要求，我这样命名比较好分辨给多少内存量，看需求根据自己的需求选择根据实际需求选择选择自己的镜像文件添加即可关闭，点击完成，开启虚拟机，进行下一步设置设置网卡类型net.ifnames=0 biosdevname=0回车等待先删除/ 和home 在添加/设置密码等登入成功后先... 先准备虚拟机虚拟机准备几台后续陆续用时，并且ping通后建议选择快照，安装出错时还可以复原第一步，创建虚拟机命名没有多大要求，我这样命名比较好分辨给多少内存量，看需求根据自己的需求选择根据实际需求选择选择自己的镜像文件添加即可关闭，点击完成，开启虚拟机，进行下一步设置设置网卡类型net.ifnames=0 biosdevname=0回车等待先删除/ 和home 在添加/设置密码等登入成功后先...
- 本文分享鸿蒙分布式软总线，并对相关源代码进行解析，为在鸿蒙系统平台上工作的相关人员的信息参考和指导。 本文分享鸿蒙分布式软总线，并对相关源代码进行解析，为在鸿蒙系统平台上工作的相关人员的信息参考和指导。
上滑加载中
推荐直播
-
DTT年度收官盛典：华为开发者空间大咖汇，共探云端开发创新2025/01/08 周三 16:30-18:00
Yawei 华为云开发工具和效率首席专家 Edwin 华为开发者空间产品总监
数字化转型进程持续加速，驱动着技术革新发展，华为开发者空间如何巧妙整合鸿蒙、昇腾、鲲鹏等核心资源，打破平台间的壁垒，实现跨平台协同？在科技迅猛发展的今天，开发者们如何迅速把握机遇，实现高效、创新的技术突破？DTT 年度收官盛典，将与大家共同探索华为开发者空间的创新奥秘。
回顾中 -
GaussDB应用实战：手把手带你写SQL2025/01/09 周四 16:00-18:00
Steven 华为云学堂技术讲师
本期直播将围绕数据库中常用的数据类型、数据库对象、系统函数及操作符等内容展开介绍，帮助初学者掌握SQL入门级的基础语法。同时在线手把手教你写好SQL。
回顾中 -
算子工具性能优化新特性演示——MatMulLeakyRelu性能调优实操2025/01/10 周五 15:30-17:30
MindStudio布道师
算子工具性能优化新特性演示——MatMulLeakyRelu性能调优实操
即将直播
热门标签