- 背景：线上业务在流量峰值时出现明显抖动，借此机会做一次完整复盘。现状与问题在原有架构下，核心瓶颈集中在 缓存命中率：改用二进制协议减少带宽。随着业务量增长，该问题在高峰期被进一步放大。方案设计整体思路是用 Python 替换原方案中耦合较重的部分，把 连接池 拆成独立可水平扩展的单元。关键点有三：1. 改用二进制协议减少带宽2. 边界条件单独处理，避免主链路被污染3. 保留灰度开关，便于回滚... 背景：线上业务在流量峰值时出现明显抖动，借此机会做一次完整复盘。现状与问题在原有架构下，核心瓶颈集中在 缓存命中率：改用二进制协议减少带宽。随着业务量增长，该问题在高峰期被进一步放大。方案设计整体思路是用 Python 替换原方案中耦合较重的部分，把 连接池 拆成独立可水平扩展的单元。关键点有三：1. 改用二进制协议减少带宽2. 边界条件单独处理，避免主链路被污染3. 保留灰度开关，便于回滚...
- 凌晨消费 lag 垂直上涨、半小时 rebalance 47 次：从 coordinator 的 poll timeout 日志定位到单批处理时间超过 max.poll.interval.ms，用批拉小 + 批量落库 + 幂等去重三步把积压 58 分钟清零。 凌晨消费 lag 垂直上涨、半小时 rebalance 47 次：从 coordinator 的 poll timeout 日志定位到单批处理时间超过 max.poll.interval.ms，用批拉小 + 批量落库 + 幂等去重三步把积压 58 分钟清零。
- lag 上涨但进程正常、没有 rebalance，先别加消费者。分区倾斜、单条耗时、扩容顺序三个维度定位。 lag 上涨但进程正常、没有 rebalance，先别加消费者。分区倾斜、单条耗时、扩容顺序三个维度定位。
- 本文深入探讨 Apache Kafka 高吞吐分布式消息队列调优以及保证消息零丢失的架构设计与关键配置实践。 本文深入探讨 Apache Kafka 高吞吐分布式消息队列调优以及保证消息零丢失的架构设计与关键配置实践。
- 华为云 DMS 分布式消息队列 Kafka 消息堆积与消费位点重置实战上周一上线一个新的订单聚合服务，上线后观察窗内一切正常。但周一晚高峰刚开始，Kafka 的消费延迟曲线突然从几百毫秒直接拉到了十几分钟，堆积量一路涨到八百万条。更诡异的是，应用的消费线程并没有报错，也没有触发任何告警，只是"变慢了"。事后看监控才发现，问题的源头其实在上线前一天。为了赶进度，我们把一个原本放在同步链路里的"... 华为云 DMS 分布式消息队列 Kafka 消息堆积与消费位点重置实战上周一上线一个新的订单聚合服务，上线后观察窗内一切正常。但周一晚高峰刚开始，Kafka 的消费延迟曲线突然从几百毫秒直接拉到了十几分钟，堆积量一路涨到八百万条。更诡异的是，应用的消费线程并没有报错，也没有触发任何告警，只是"变慢了"。事后看监控才发现，问题的源头其实在上线前一天。为了赶进度，我们把一个原本放在同步链路里的"...
- 下面按「问题定位 → 方案设计 → 落地验证 → 效果对比」四个阶段展开。现状与问题在原有架构下，核心瓶颈集中在 调度延迟：本地缓存 + 分布式缓存两级。随着业务量增长，该问题在高峰期被进一步放大。方案设计整体思路是用 Redis 替换原方案中耦合较重的部分，把 调度延迟 拆成独立可水平扩展的单元。关键点有三：1. 热点 key 打散到多分片2. 边界条件单独处理，避免主链路被污染3. 保留... 下面按「问题定位 → 方案设计 → 落地验证 → 效果对比」四个阶段展开。现状与问题在原有架构下，核心瓶颈集中在 调度延迟：本地缓存 + 分布式缓存两级。随着业务量增长，该问题在高峰期被进一步放大。方案设计整体思路是用 Redis 替换原方案中耦合较重的部分，把 调度延迟 拆成独立可水平扩展的单元。关键点有三：1. 热点 key 打散到多分片2. 边界条件单独处理，避免主链路被污染3. 保留...
- 针对电商订单状态机、数据库 Binlog 同步等必须保证 Kafka 消息严格顺序消费的场景，若强行采用单分区（Single Partition）导致吞吐量彻底瘫痪的痛点，本文分享一套基于业务 Key 路由（Hash）与局部顺序处理的实战工程架构解法。 针对电商订单状态机、数据库 Binlog 同步等必须保证 Kafka 消息严格顺序消费的场景，若强行采用单分区（Single Partition）导致吞吐量彻底瘫痪的痛点，本文分享一套基于业务 Key 路由（Hash）与局部顺序处理的实战工程架构解法。
- AIOps｜实时日志流处理：Kafka+Flink构建日志审计管道 日志流处理架构传统的日志分析模式是"先存储后查询"——日志通过Filebeat采集写入Elasticsearch，然后运维人员进行事后检索。这种模式适合排障和报表，但无法满足实时安全审计和即时告警的需求。当攻击者正在进行暴力破解、当系统正在发生雪崩故障，等到日志写入ES再被人发现往往已经错过了最佳响应窗口。实时日志流处理架... AIOps｜实时日志流处理：Kafka+Flink构建日志审计管道 日志流处理架构传统的日志分析模式是"先存储后查询"——日志通过Filebeat采集写入Elasticsearch，然后运维人员进行事后检索。这种模式适合排障和报表，但无法满足实时安全审计和即时告警的需求。当攻击者正在进行暴力破解、当系统正在发生雪崩故障，等到日志写入ES再被人发现往往已经错过了最佳响应窗口。实时日志流处理架...
- 产线设备事件先进 Kafka，再由 Flink 按 5 分钟窗口统计产量和停机次数，最后写进下游宽表。平时跑得好好的，某天任务重启一次，复核时发现某个窗口的产量少了几十件，另一天重启后，同一个窗口又多出了一批重复计数。这种时丢时重的情况，第一反应往往是怀疑 Kafka 位点乱了，或者窗口触发器写错了。但在翻消费组位点之前，有一个更前置的问题值得先确认：这个任务到底开没开 checkpoint... 产线设备事件先进 Kafka，再由 Flink 按 5 分钟窗口统计产量和停机次数，最后写进下游宽表。平时跑得好好的，某天任务重启一次，复核时发现某个窗口的产量少了几十件，另一天重启后，同一个窗口又多出了一批重复计数。这种时丢时重的情况，第一反应往往是怀疑 Kafka 位点乱了，或者窗口触发器写错了。但在翻消费组位点之前，有一个更前置的问题值得先确认：这个任务到底开没开 checkpoint...
- 消息队列是后端系统解耦的常用工具。当服务 A 不需要立刻等服务 B 的结果时，让 A 把消息写进队列、B 慢慢消费，系统就不再互相拖累。Kafka 是其中最常用的一种，它把消息按主题组织、按分区并行处理，既能扛住高吞吐，也能把数据留下来供多个消费者反复读取。先把几个核心概念讲清楚。Broker 是 Kafka 的服务节点，多个 Broker 组成集群。Topic 是消息的逻辑分类，好比一个文... 消息队列是后端系统解耦的常用工具。当服务 A 不需要立刻等服务 B 的结果时，让 A 把消息写进队列、B 慢慢消费，系统就不再互相拖累。Kafka 是其中最常用的一种，它把消息按主题组织、按分区并行处理，既能扛住高吞吐，也能把数据留下来供多个消费者反复读取。先把几个核心概念讲清楚。Broker 是 Kafka 的服务节点，多个 Broker 组成集群。Topic 是消息的逻辑分类，好比一个文...
- 华为云 DMS 消息队列实战：Kafka 与 RabbitMQ 选型指南 前言分布式消息服务（DMS）是华为云提供的消息队列托管服务，支持 Kafka 和 RabbitMQ 两种引擎。本文对比两者特点，介绍选型方法和应用场景。 Kafka vs RabbitMQ Kafka 特点Kafka 是高吞吐量分布式消息系统，基于日志存储消息。优势是极高的吞吐量（百万级 TPS）、消息持久化、支持消... 华为云 DMS 消息队列实战：Kafka 与 RabbitMQ 选型指南 前言分布式消息服务（DMS）是华为云提供的消息队列托管服务，支持 Kafka 和 RabbitMQ 两种引擎。本文对比两者特点，介绍选型方法和应用场景。 Kafka vs RabbitMQ Kafka 特点Kafka 是高吞吐量分布式消息系统，基于日志存储消息。优势是极高的吞吐量（百万级 TPS）、消息持久化、支持消...
- Spring + 消息队列实战：从异步解耦到可靠投递关键词：Spring Boot / RabbitMQ / Kafka / 消息可靠性 / 幂等消费 / 死信队列本文以 Spring Boot 3.x + RabbitMQ 为主线，讲清楚消息队列的核心场景、完整代码实现，以及生产环境绕不开的三个问题：消息不丢、消息不重、消息有序。文末附 Spring Kafka 的对应写法与最佳实践清单... Spring + 消息队列实战：从异步解耦到可靠投递关键词：Spring Boot / RabbitMQ / Kafka / 消息可靠性 / 幂等消费 / 死信队列本文以 Spring Boot 3.x + RabbitMQ 为主线，讲清楚消息队列的核心场景、完整代码实现，以及生产环境绕不开的三个问题：消息不丢、消息不重、消息有序。文末附 Spring Kafka 的对应写法与最佳实践清单...
- 针对高吞吐业务中 Kafka 消费端因处理耗时过长，触发集群假死误判并引发灾难性的“无限重平衡（Rebalance Storm）”痛点，本文提供一套基于心跳参数调优与 I/O 线程池异步解耦的工程化解法，彻底消除消费链路的间歇性停摆。 针对高吞吐业务中 Kafka 消费端因处理耗时过长，触发集群假死误判并引发灾难性的“无限重平衡（Rebalance Storm）”痛点，本文提供一套基于心跳参数调优与 I/O 线程池异步解耦的工程化解法，彻底消除消费链路的间歇性停摆。
- 讲解消费者组内的分区分配策略、位点提交与再平衡流程，说明重复消费与消息丢失的成因，分析再平衡抖动问题，并给出稳定消费的实现要点。 文章从技术背景和发展历程入手，帮助读者理解该技术的产生原因和演进脉络。通过对比不同版本的特性变化，分析技术选型的考量因素，为读者提供全面的技术视野。 结合实际项目中的真实场景，详细讲解技术的核心概念和关键实现。通过代码示例和架构图示，帮助读者快速理解复杂原理，并提... 讲解消费者组内的分区分配策略、位点提交与再平衡流程，说明重复消费与消息丢失的成因，分析再平衡抖动问题，并给出稳定消费的实现要点。 文章从技术背景和发展历程入手，帮助读者理解该技术的产生原因和演进脉络。通过对比不同版本的特性变化，分析技术选型的考量因素，为读者提供全面的技术视野。 结合实际项目中的真实场景，详细讲解技术的核心概念和关键实现。通过代码示例和架构图示，帮助读者快速理解复杂原理，并提...
- 下面按「问题定位 → 方案设计 → 落地验证 → 效果对比」四个阶段展开。现状与问题在原有架构下，核心瓶颈集中在 缓存命中率：预拉取减少按需加载抖动。随着业务量增长，该问题在高峰期被进一步放大。方案设计整体思路是用 GaussDB 替换原方案中耦合较重的部分，把 调度延迟 拆成独立可水平扩展的单元。关键点有三：1. 连接复用并设置合理上限2. 边界条件单独处理，避免主链路被污染3. 保留灰度... 下面按「问题定位 → 方案设计 → 落地验证 → 效果对比」四个阶段展开。现状与问题在原有架构下，核心瓶颈集中在 缓存命中率：预拉取减少按需加载抖动。随着业务量增长，该问题在高峰期被进一步放大。方案设计整体思路是用 GaussDB 替换原方案中耦合较重的部分，把 调度延迟 拆成独立可水平扩展的单元。关键点有三：1. 连接复用并设置合理上限2. 边界条件单独处理，避免主链路被污染3. 保留灰度...
上滑加载中
推荐直播
-
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家；李炎-华为云码道产品专家；彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战，从0到1打通消息通道；码道鸿蒙端云一体化实战，快速搭建员工签到系统。
回顾中 -
华为云开发者AI素养直播课·第五期2026/09/04 周五 16:00-18:00
林华鼎-华为云AI开发者运营负责人；蒋春阳-华为云AI开发者案例开发专家
本期直播内容： AI工具体验营 · 第5-8课连讲。Agent-Team 多智能体协作完成毕业设计实践
回顾中 -
华为云开发者AI素养ClassRoom·第六期2026/09/08 周二 19:00-20:00
樊渊-2026华为软件挑战赛冠军
高手来了：看软挑高手解析二维排样问题—从工业难题到算法突破
回顾中
热门标签