- RocketMQ 是笔者非常喜欢的消息队列，4.9.X 版本是目前使用最广泛的版本，但它的消费逻辑相对较重，很多同学学习起来没有头绪。这篇文章，笔者梳理了 RocketMQ 的消费逻辑，希望对大家有所启发。1 架构概览在展开集群消费逻辑细节前，我们先对 RocketMQ 4.X 架构做一个概览。 整体架构中包含四种角色 : 1、NameServer名字服务是是一个几乎无状态节点，可集群部署，... RocketMQ 是笔者非常喜欢的消息队列，4.9.X 版本是目前使用最广泛的版本，但它的消费逻辑相对较重，很多同学学习起来没有头绪。这篇文章，笔者梳理了 RocketMQ 的消费逻辑，希望对大家有所启发。1 架构概览在展开集群消费逻辑细节前，我们先对 RocketMQ 4.X 架构做一个概览。 整体架构中包含四种角色 : 1、NameServer名字服务是是一个几乎无状态节点，可集群部署，...
- RocketMQ 优异的性能表现，必然绕不开其优秀的存储模型 。这篇文章，笔者按照自己的理解 , 尝试分析 RocketMQ 的存储模型，希望对大家有所启发。 1 整体概览首先温习下 RocketMQ 架构。整体架构中包含四种角色 :Producer ：消息发布的角色，Producer 通过 MQ 的负载均衡模块选择相应的 Broker 集群队列进行消息投递，投递的过程支持快速失败并且低延迟... RocketMQ 优异的性能表现，必然绕不开其优秀的存储模型 。这篇文章，笔者按照自己的理解 , 尝试分析 RocketMQ 的存储模型，希望对大家有所启发。 1 整体概览首先温习下 RocketMQ 架构。整体架构中包含四种角色 :Producer ：消息发布的角色，Producer 通过 MQ 的负载均衡模块选择相应的 Broker 集群队列进行消息投递，投递的过程支持快速失败并且低延迟...
- 分布式消息服务Kafka版是一款基于开源社区版Kafka提供的消息队列服务，向用户提供计算、存储和带宽资源独占式的Kafka实例。 分布式消息服务Kafka版是一款基于开源社区版Kafka提供的消息队列服务，向用户提供计算、存储和带宽资源独占式的Kafka实例。
- 本文对 Kafka 的基本组件的实现细节及其基本应用进行了详细介绍，同时，也熬了几天夜画了图解，希望能让大家对 Kafka 核心知识的有了更深刻的理解，最后也总结了 Kafka 在实际业务中的应用。跟着小羽一起再来熟悉一下这些属于Kafka的小秘密吧 本文对 Kafka 的基本组件的实现细节及其基本应用进行了详细介绍，同时，也熬了几天夜画了图解，希望能让大家对 Kafka 核心知识的有了更深刻的理解，最后也总结了 Kafka 在实际业务中的应用。跟着小羽一起再来熟悉一下这些属于Kafka的小秘密吧
- Spark是分布式批处理框架，提供分析挖掘与迭代式内存计算能力，支持多种语言（Scala/Java/Python）的应用开发。 Spark Streaming是一种构建在Spark上的实时计算框架，扩展了Spark处理大规模流式数据的能力。 本文介绍如何使用MRS集群运行Spark Streaming作业以消费Kafka数据。 Spark是分布式批处理框架，提供分析挖掘与迭代式内存计算能力，支持多种语言（Scala/Java/Python）的应用开发。 Spark Streaming是一种构建在Spark上的实时计算框架，扩展了Spark处理大规模流式数据的能力。 本文介绍如何使用MRS集群运行Spark Streaming作业以消费Kafka数据。
- 什么是粘性分区 什么是粘性分区
- kafka 网络通信模块的常用配置属性详解 kafka 网络通信模块的常用配置属性详解
- 图解Kafka服务端网络模型 图解Kafka服务端网络模型
- 🔥《Kafka运维管控平台LogiKM》🔥 ✏️更强大的管控能力✏️ 🎾更高效的问题定位能力🎾 🌅更便捷的集群运维能力🌅 🎼更专业的资源治理🎼 🌞更友好的运维生态🌞 大家好，我是彦祖呀在阅读本文之前, 希望你可以思考一下下面几个问题, 带着问题去阅读文章会获得更好的效果。发送消息的时候, 当Broker挂掉了,消息体还能写入到消息缓存中... 🔥《Kafka运维管控平台LogiKM》🔥 ✏️更强大的管控能力✏️ 🎾更高效的问题定位能力🎾 🌅更便捷的集群运维能力🌅 🎼更专业的资源治理🎼 🌞更友好的运维生态🌞 大家好，我是彦祖呀在阅读本文之前, 希望你可以思考一下下面几个问题, 带着问题去阅读文章会获得更好的效果。发送消息的时候, 当Broker挂掉了,消息体还能写入到消息缓存中...
- 主流的消息中间件包含Kafka、RabbitMQ和RocketMQ，本期云图说为您介绍它们之前的差异。 主流的消息中间件包含Kafka、RabbitMQ和RocketMQ，本期云图说为您介绍它们之前的差异。
- PartitionStateMachine分区状态转换实现 1 我为何读这源码？PartitionStateMachine，分区状态机负责管理Kafka分区状态的转换，类似ReplicaStateMachine。很多面试官都爱问Leader选举策略。学完本文，你不但能说出4种Leader选举场景，还能总结出它们的共性。 2 简介PartitionStateMachine：定义如startu... PartitionStateMachine分区状态转换实现 1 我为何读这源码？PartitionStateMachine，分区状态机负责管理Kafka分区状态的转换，类似ReplicaStateMachine。很多面试官都爱问Leader选举策略。学完本文，你不但能说出4种Leader选举场景，还能总结出它们的共性。 2 简介PartitionStateMachine：定义如startu...
- 一文带你了解kafka为什么那么快？ 1.首先来说一下我们为什么要使用消息系统在没有使用消息系统之前，许多传统的系统业务对于消息的处理一般会采用串行方式或者并行方法；例如，你去网站注册一个账号，下面是串行跟并行的处理方式。串行方式：用户注册例子：用户主责，将注册信息记录到数据库后，发送注册消息邮件，再发送注册短信验证，每个过程小号50毫秒，一共就需要150毫秒并行方式：与串行不同的就是，在... 一文带你了解kafka为什么那么快？ 1.首先来说一下我们为什么要使用消息系统在没有使用消息系统之前，许多传统的系统业务对于消息的处理一般会采用串行方式或者并行方法；例如，你去网站注册一个账号，下面是串行跟并行的处理方式。串行方式：用户注册例子：用户主责，将注册信息记录到数据库后，发送注册消息邮件，再发送注册短信验证，每个过程小号50毫秒，一共就需要150毫秒并行方式：与串行不同的就是，在...
- 1.在华为云数据可视化DLV里，使用WT双轴线状图时，刚开始，显示数据化展示没有问题，等过了1—2天，出现异常。但是经查询发现mysql里的数据没有问题，考虑的是不是基础版的存储空间不够的原因，但是在文档找不到如何查询DLV的存储空间。只能提交工单，经华为云研发工程师确认，DLV查询请求返回的数据总大小是有限制的。控制的是每个请求响应体的长度，不是从数据条数限制的。而且跟DLV版本的... 1.在华为云数据可视化DLV里，使用WT双轴线状图时，刚开始，显示数据化展示没有问题，等过了1—2天，出现异常。但是经查询发现mysql里的数据没有问题，考虑的是不是基础版的存储空间不够的原因，但是在文档找不到如何查询DLV的存储空间。只能提交工单，经华为云研发工程师确认，DLV查询请求返回的数据总大小是有限制的。控制的是每个请求响应体的长度，不是从数据条数限制的。而且跟DLV版本的...
- 在高可靠场景使用kafka作为消息队列时，要求即使有Broker宕机也不能出现消息丢失。为了实现这一目的，很多人都知道要将producer的ack设置成all或-1。然而除了Producer的配置外还有两个服务端配置也会影响宕机时的消息可靠性，分别是min.insync.replicas和unclean.leader.election.enable。本文将描述这两个配置如何影响可靠性，以及推... 在高可靠场景使用kafka作为消息队列时，要求即使有Broker宕机也不能出现消息丢失。为了实现这一目的，很多人都知道要将producer的ack设置成all或-1。然而除了Producer的配置外还有两个服务端配置也会影响宕机时的消息可靠性，分别是min.insync.replicas和unclean.leader.election.enable。本文将描述这两个配置如何影响可靠性，以及推...
- 摘要：很多 DBA 同学经常会遇到要从一个数据库实时同步到另一个数据库的问题，同构数据还相对容易，遇上异构数据、表多、数据量大等情况就难以同步。我自己亲测了一种方式，可以非常方便地完成 MySQL 数据实... 摘要：很多 DBA 同学经常会遇到要从一个数据库实时同步到另一个数据库的问题，同构数据还相对容易，遇上异构数据、表多、数据量大等情况就难以同步。我自己亲测了一种方式，可以非常方便地完成 MySQL 数据实...
上滑加载中
推荐直播
-
华为云IoT开源专家实践分享：开源让物联网平台更开放、易用2024/05/14 周二 16:30-18:00
张俭 华为云IoT DTSE技术布道师
作为开发者的你是否也想加入开源社区？本期物联网平台资深“程序猿”，开源专家张俭，为你揭秘华为云IoT如何借助开源构建可靠、开放、易用的物联网平台，并手把手教你玩转开源社区！
去报名 -
华为云开发者日·广州站2024/05/15 周三 14:30-17:30
华为云专家团
华为云开发者日HDC.Cloud Day是面向全球开发者的旗舰活动，汇聚来自千行百业、高校及科研院所的开发人员。致力于打造开发者专属的技术盛宴，全方位服务与赋能开发者围绕华为云生态“知、学、用、创、商”的成长路径。通过前沿的技术分享、场景化的动手体验、优秀的应用创新推介，为开发者提供沉浸式学习与交流平台。开放创新，与开发者共创、共享、共赢未来。
去报名 -
企业级数仓迁移工具助您轻松上云2024/05/21 周二 16:30-18:00
Nick 华为云数仓GaussDB(DWS)研发专家
随着云时代的到来，传统数仓已无法满足企业的需求，越来越多的企业选择从传统数仓迁移到云数据仓库，云数仓为企业提供了更低的成本、更灵活极致的体验。本期直播将为您带来企业级数仓搬迁的解决方案，带您一览华为云数仓GaussDB(DWS)提供了哪些迁移方案助力用户实现数据迁移，如何保障迁移后数据的一致性。
去报名
热门标签