- Kafka Replication Factor 大于可用 Broker 数量的问题解决方案在使用 Apache Kafka 时，经常会遇到配置 replication factor（副本因子）大于可用的 broker（代理服务器）数量的问题。这会导致 Kafka 无法创建 topic，或者在创建 topic 时抛出错误。本文将探讨这个问题的原因，并提供几种解决方法。问题描述... Kafka Replication Factor 大于可用 Broker 数量的问题解决方案在使用 Apache Kafka 时，经常会遇到配置 replication factor（副本因子）大于可用的 broker（代理服务器）数量的问题。这会导致 Kafka 无法创建 topic，或者在创建 topic 时抛出错误。本文将探讨这个问题的原因，并提供几种解决方法。问题描述...
- 在分布式系统中，消息中间件（如 RabbitMQ、RocketMQ、Kafka、Pulsar 等）扮演着关键角色，用于解耦生产者和消费者，并确保数据传输的可靠性和顺序性。尽管我们通常会采取多种措施来防止消息丢失，如消息持久化、手动确认机制和重试机制等，但如果消息已经丢失了这种情况，当丢失已经发生又应该如何处理呢？下面我们探讨可能的丢失场景及相应的补救措施。1. 生产者发送消息失败场景: 生产... 在分布式系统中，消息中间件（如 RabbitMQ、RocketMQ、Kafka、Pulsar 等）扮演着关键角色，用于解耦生产者和消费者，并确保数据传输的可靠性和顺序性。尽管我们通常会采取多种措施来防止消息丢失，如消息持久化、手动确认机制和重试机制等，但如果消息已经丢失了这种情况，当丢失已经发生又应该如何处理呢？下面我们探讨可能的丢失场景及相应的补救措施。1. 生产者发送消息失败场景: 生产...
- Kafka 流式计算架构 介绍Kafka 是一个分布式流处理平台，旨在以高吞吐量和低延迟的方式处理实时数据流。它最初由 LinkedIn 开发，并贡献给 Apache 基金会。Kafka 可以用于构建实时流数据管道和流式应用程序。 应用使用场景实时数据分析：如股票行情、传感器数据监控。日志聚合与处理：集中收集多个来源的日志并进行分析。事件驱动应用：响应用户交互或系统事件。数据流管道：连接多... Kafka 流式计算架构 介绍Kafka 是一个分布式流处理平台，旨在以高吞吐量和低延迟的方式处理实时数据流。它最初由 LinkedIn 开发，并贡献给 Apache 基金会。Kafka 可以用于构建实时流数据管道和流式应用程序。 应用使用场景实时数据分析：如股票行情、传感器数据监控。日志聚合与处理：集中收集多个来源的日志并进行分析。事件驱动应用：响应用户交互或系统事件。数据流管道：连接多...
- Kafka 是一个高吞吐量、高性能的消息中间件，关于 Kafka 高性能背后的实现，是大厂面试高频问题。本篇全面详解 Kafka 高性能背后的实现。关注【mikechen的互联网架构】，10年+BAT架构经验倾囊相授。 Kafka 是一个高吞吐量、高性能的消息中间件，关于 Kafka 高性能背后的实现，是大厂面试高频问题。本篇全面详解 Kafka 高性能背后的实现。关注【mikechen的互联网架构】，10年+BAT架构经验倾囊相授。
- 本文详细解析了 Kafka 的核心架构和实现原理，消息中间件是亿级互联网架构的基石，大厂面试高频，非常重要，建议收藏。关注【mikechen的互联网架构】，10年+BAT架构经验倾囊相授。 本文详细解析了 Kafka 的核心架构和实现原理，消息中间件是亿级互联网架构的基石，大厂面试高频，非常重要，建议收藏。关注【mikechen的互联网架构】，10年+BAT架构经验倾囊相授。
- 本文详细介绍 RocketMQ 的五大要点、核心特性及应用场景，涵盖高并发业务场景下的消息中间件关键知识点。关注【mikechen的互联网架构】，10年+BAT架构经验倾囊相授。 本文详细介绍 RocketMQ 的五大要点、核心特性及应用场景，涵盖高并发业务场景下的消息中间件关键知识点。关注【mikechen的互联网架构】，10年+BAT架构经验倾囊相授。
- 原生的kafka客户端并不支持修改客户端连接的服务器地址，我们有需求需要支持动态地更新kafka客户端的地址，最简单的一个做法就是通过组合的方式，对原生的kafka客户端做一层wrap，来支持修改kafka客户端地址。这层wrap尽量做到无锁化，不影响性能 核心代码 生产者import lombok.extern.slf4j.Slf4j;import org.apache.kafka.cli... 原生的kafka客户端并不支持修改客户端连接的服务器地址，我们有需求需要支持动态地更新kafka客户端的地址，最简单的一个做法就是通过组合的方式，对原生的kafka客户端做一层wrap，来支持修改kafka客户端地址。这层wrap尽量做到无锁化，不影响性能 核心代码 生产者import lombok.extern.slf4j.Slf4j;import org.apache.kafka.cli...
- 现象近期，参与了一次处理线上Kafka单partition积压问题的定位处理。总结一下 处理过程我上线的情况是，16个partition的消息，其中有一个partition的积压特别大，而且该partition所在消费者同时消费者两个partition。同事反馈之前已经尝试过重启，该partition已经迁移到了其他服务所在的机器，情况仍没有好转。其实当时就有想过，是否是处理该partit... 现象近期，参与了一次处理线上Kafka单partition积压问题的定位处理。总结一下 处理过程我上线的情况是，16个partition的消息，其中有一个partition的积压特别大，而且该partition所在消费者同时消费者两个partition。同事反馈之前已经尝试过重启，该partition已经迁移到了其他服务所在的机器，情况仍没有好转。其实当时就有想过，是否是处理该partit...
- Requirementjdk 1.8及以上Kafka 软件包 2.0及以上 执行路径将Kafka软件包解压，进入到bin目录[bin]# lsconnect-distributed.sh kafka-consumer-perf-test.sh kafka-reassign-partitions.sh trogdor.shconnect-mirr... Requirementjdk 1.8及以上Kafka 软件包 2.0及以上 执行路径将Kafka软件包解压，进入到bin目录[bin]# lsconnect-distributed.sh kafka-consumer-perf-test.sh kafka-reassign-partitions.sh trogdor.shconnect-mirr...
- 为什么我们想要业务主键，想要幂等 在分布式微服务场景下，有太多的环节可以引发错误的处理（包括丢失或者重复处理），如果业务本身有幂等的特性，我们可以以较低的代价解决大部分问题。 我们假设我们在k8s集群中维护着下面的系统，部署了数个网关实例，数个业务处理服务，一套Kafka集群，数个消费者服务，一个数据库，平时的业务流程是这样子的：客户--->(step1) 网关--->(step2) ... 为什么我们想要业务主键，想要幂等 在分布式微服务场景下，有太多的环节可以引发错误的处理（包括丢失或者重复处理），如果业务本身有幂等的特性，我们可以以较低的代价解决大部分问题。 我们假设我们在k8s集群中维护着下面的系统，部署了数个网关实例，数个业务处理服务，一套Kafka集群，数个消费者服务，一个数据库，平时的业务流程是这样子的：客户--->(step1) 网关--->(step2) ...
- 环境Centos 7.9JDK 11Kafka 版本：kafka_2.12-3.0.1.tgzkafka 配置知识（https://doc.knowstreaming.com/study-kafka/6-operation#611-%E4%BC%98%E9%9B%85%E5%85%B3%E6%9C%BA） 安装步骤 准备 服务器三台做集群部署192.168.3.100 master192.... 环境Centos 7.9JDK 11Kafka 版本：kafka_2.12-3.0.1.tgzkafka 配置知识（https://doc.knowstreaming.com/study-kafka/6-operation#611-%E4%BC%98%E9%9B%85%E5%85%B3%E6%9C%BA） 安装步骤 准备 服务器三台做集群部署192.168.3.100 master192....
- 背景 当前我所在的产品的缓存消息采用的是Etag标签机制，以Domain为粒度，由缓存读取服务通过主动拉取Etag的方式，对缓存和DB中的消息进行比较。颗粒太大，效率低下。所以我们需要一种以更细的粒度的，通过事件驱动，主动推送变化的方式。技术选型 方法一：在S层解决。在增删改接口中，拼装业务变化，推送kafka消息。缺点很明显，需要对所有的接口进行遍... 背景 当前我所在的产品的缓存消息采用的是Etag标签机制，以Domain为粒度，由缓存读取服务通过主动拉取Etag的方式，对缓存和DB中的消息进行比较。颗粒太大，效率低下。所以我们需要一种以更细的粒度的，通过事件驱动，主动推送变化的方式。技术选型 方法一：在S层解决。在增删改接口中，拼装业务变化，推送kafka消息。缺点很明显，需要对所有的接口进行遍...
- wget https://repo.huaweicloud.com/apache/kafka/1.1.0/kafka_2.12-1.1.0.tgz #下载Kafkatar zxvf kafka_2.12-1.1.0.tgz #解压cd ~/kafka_2.... wget https://repo.huaweicloud.com/apache/kafka/1.1.0/kafka_2.12-1.1.0.tgz #下载Kafkatar zxvf kafka_2.12-1.1.0.tgz #解压cd ~/kafka_2....
- Kafka是由LinkedIn开发的一个分布式的消息系统，使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。 Kafka是由LinkedIn开发的一个分布式的消息系统，使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。
- 一、Kafka简介kafka is a distributed,partitioned,replicated commit logservice。它提供了类似于JMS的特性，但是在实现上完全不同，此外它并不是JMS规范的实现。kafka对消息保存时根据Topic进行归类，发送消息者成为Producer,消息接受者成为Consumer,此外kafka集群有多个kafka实例组成，每个实例()成... 一、Kafka简介kafka is a distributed,partitioned,replicated commit logservice。它提供了类似于JMS的特性，但是在实现上完全不同，此外它并不是JMS规范的实现。kafka对消息保存时根据Topic进行归类，发送消息者成为Producer,消息接受者成为Consumer,此外kafka集群有多个kafka实例组成，每个实例()成...
上滑加载中
推荐直播
-
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家；李炎-华为云码道产品专家；彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战，从0到1打通消息通道；码道鸿蒙端云一体化实战，快速搭建员工签到系统。
回顾中 -
华为云开发者AI素养直播课·第五期2026/09/04 周五 16:00-18:00
林华鼎-华为云AI开发者运营负责人；蒋春阳-华为云AI开发者案例开发专家
本期直播内容： AI工具体验营 · 第5-8课连讲。Agent-Team 多智能体协作完成毕业设计实践
回顾中 -
华为云开发者AI素养ClassRoom·第六期2026/09/08 周二 19:00-20:00
樊渊-2026华为软件挑战赛冠军
高手来了：看软挑高手解析二维排样问题—从工业难题到算法突破
回顾中
热门标签