- 摘要： Apache Kafka是一款高性能分布式消息队列，采用主题（topic）、分区（partition）和分段（segment）机制实现海量数据吞吐。其核心设计包括：批量日志存储（压缩消息至4KB批次）、稀疏索引（偏移量和时间戳索引）加速查询，以及基于顺序I/O的Page Cache异步刷盘策略。日志支持两种清理策略——按时间/大小删除或按Key合并（保留最新值）。 摘要： Apache Kafka是一款高性能分布式消息队列，采用主题（topic）、分区（partition）和分段（segment）机制实现海量数据吞吐。其核心设计包括：批量日志存储（压缩消息至4KB批次）、稀疏索引（偏移量和时间戳索引）加速查询，以及基于顺序I/O的Page Cache异步刷盘策略。日志支持两种清理策略——按时间/大小删除或按Key合并（保留最新值）。
- 验证kafka集群2AZ部署可行性 验证kafka集群2AZ部署可行性
- 不是你消息太多，而是你不会排队：openEuler 的消息队列实战手记 不是你消息太多，而是你不会排队：openEuler 的消息队列实战手记
- Spring Boot + Kafka 亿级日志收集系统：零丢失传输与实时分析架构关键词：Spring Boot、Kafka、亿级日志、零丢失、实时分析、Exactly-Once、背压、熔断、可观测性 一、总体设计思路维度目标关键技术吞吐单集群 300 MB/s → 1 GB/s异步批量、压缩、零拷贝可靠性零消息丢失acks=all、幂等 Producer、事务、ISR实时性90% 日志 ... Spring Boot + Kafka 亿级日志收集系统：零丢失传输与实时分析架构关键词：Spring Boot、Kafka、亿级日志、零丢失、实时分析、Exactly-Once、背压、熔断、可观测性 一、总体设计思路维度目标关键技术吞吐单集群 300 MB/s → 1 GB/s异步批量、压缩、零拷贝可靠性零消息丢失acks=all、幂等 Producer、事务、ISR实时性90% 日志 ...
- 开篇语哈喽，各位小伙伴们，你们好呀，我是喵手。运营社区：C站/掘金/腾讯云/阿里云/华为云/51CTO；欢迎大家常来逛逛 今天我要给大家分享一些自己日常学习到的一些知识点，并以文字的形式跟大家一起交流，互相学习，一个人虽可以走的更快，但一群人可以走的更远。 我是一名后端开发爱好者，工作日常接触到最多的就是Java语言啦，所以我都尽量抽业余时间把自己所学到所会的，通过文章的形式进行输出，... 开篇语哈喽，各位小伙伴们，你们好呀，我是喵手。运营社区：C站/掘金/腾讯云/阿里云/华为云/51CTO；欢迎大家常来逛逛 今天我要给大家分享一些自己日常学习到的一些知识点，并以文字的形式跟大家一起交流，互相学习，一个人虽可以走的更快，但一群人可以走的更远。 我是一名后端开发爱好者，工作日常接触到最多的就是Java语言啦，所以我都尽量抽业余时间把自己所学到所会的，通过文章的形式进行输出，...
- 🏆本文收录于「滚雪球学SpringBoot」专栏(全网一个名)，手把手带你零基础入门Spring Boot，从入门到就业，助你早日登顶实现财富自由🚀；同时，欢迎大家关注&&收藏&&订阅！持续更新中，up！up！up！！环境说明：Windows 10 + IntelliJ IDEA 2021.3.2 + Jdk 1.8 🚀 前言在现代分布式系统中，事件驱动架构（EDA）和消息流处理已成为... 🏆本文收录于「滚雪球学SpringBoot」专栏(全网一个名)，手把手带你零基础入门Spring Boot，从入门到就业，助你早日登顶实现财富自由🚀；同时，欢迎大家关注&&收藏&&订阅！持续更新中，up！up！up！！环境说明：Windows 10 + IntelliJ IDEA 2021.3.2 + Jdk 1.8 🚀 前言在现代分布式系统中，事件驱动架构（EDA）和消息流处理已成为...
- 在当今互联网应用中，高并发场景如电商秒杀、社交平台热点事件或金融交易系统，常常面临突如其来的流量洪峰。这些峰值可能导致后端服务瞬间过载，引发系统崩溃、响应延迟甚至数据丢失。想象一下，双十一购物节时，数百万用户同时下单，如果数据库直接处理所有写入请求，服务器可能像堵车的高速公路一样瘫痪。那么，如何优雅地应对这种挑战？答案就是引入消息队列（Message Queue）作为缓冲层，实现流量削峰（T... 在当今互联网应用中，高并发场景如电商秒杀、社交平台热点事件或金融交易系统，常常面临突如其来的流量洪峰。这些峰值可能导致后端服务瞬间过载，引发系统崩溃、响应延迟甚至数据丢失。想象一下，双十一购物节时，数百万用户同时下单，如果数据库直接处理所有写入请求，服务器可能像堵车的高速公路一样瘫痪。那么，如何优雅地应对这种挑战？答案就是引入消息队列（Message Queue）作为缓冲层，实现流量削峰（T...
- Java消息队列应用：Kafka、RabbitMQ选择与优化在Java应用领域，消息队列是实现异步通信、应用解耦、流量削峰等重要功能的关键组件。Kafka和RabbitMQ作为两种主流的消息队列技术，各有特点和适用场景。本文将深入探讨Kafka和RabbitMQ在Java中的应用，并提供优化建议，帮助开发者根据业务需求做出合理选择。 一、Kafka和RabbitMQ的基本概念与架构 （一）... Java消息队列应用：Kafka、RabbitMQ选择与优化在Java应用领域，消息队列是实现异步通信、应用解耦、流量削峰等重要功能的关键组件。Kafka和RabbitMQ作为两种主流的消息队列技术，各有特点和适用场景。本文将深入探讨Kafka和RabbitMQ在Java中的应用，并提供优化建议，帮助开发者根据业务需求做出合理选择。 一、Kafka和RabbitMQ的基本概念与架构 （一）...
- linux命令使用消费kafka的生产者、消费者 linux命令使用消费kafka的生产者、消费者
- 本文深入探讨了消息中间件的核心功能实现与高并发、高可用设计。在生产者设计中，涵盖消息构造、序列化、路由策略及可靠性保障（如ACK机制）。消费者部分分析了拉取/推送模式、分区分配与消息确认机制。同时，Broker作为核心组件，负责消息路由、存储和投递，并通过索引技术实现快速检索。 高并发设计方面，重点讨论了文件存储（顺序写入、分段存储）、日志结构存储及负载均衡策略（如哈希分区、轮询分区）。为确保高可 本文深入探讨了消息中间件的核心功能实现与高并发、高可用设计。在生产者设计中，涵盖消息构造、序列化、路由策略及可靠性保障（如ACK机制）。消费者部分分析了拉取/推送模式、分区分配与消息确认机制。同时，Broker作为核心组件，负责消息路由、存储和投递，并通过索引技术实现快速检索。 高并发设计方面，重点讨论了文件存储（顺序写入、分段存储）、日志结构存储及负载均衡策略（如哈希分区、轮询分区）。为确保高可
- 消息中间件是一种基于异步消息传递的分布式系统通信工具，核心功能包括消息传输、存储、路由与投递，能够实现系统解耦、异步处理和流量削峰。其主要组件包括生产者、消费者、Broker、主题/队列等，支持点对点和发布-订阅两种消息模型。主流中间件如Kafka（高吞吐）、RabbitMQ（灵活路由）、RocketMQ（事务支持）各有特色，适用于不同场景。此外，中间件还涉及多种协议（AMQP、MQTT等）、可靠 消息中间件是一种基于异步消息传递的分布式系统通信工具，核心功能包括消息传输、存储、路由与投递，能够实现系统解耦、异步处理和流量削峰。其主要组件包括生产者、消费者、Broker、主题/队列等，支持点对点和发布-订阅两种消息模型。主流中间件如Kafka（高吞吐）、RabbitMQ（灵活路由）、RocketMQ（事务支持）各有特色，适用于不同场景。此外，中间件还涉及多种协议（AMQP、MQTT等）、可靠
- 一 分区的leader与follower1.1 Leader和Follower在Kafka中，每个topic都可以配置多个分区以及多个副本。每个分区都有一个leader以及0个或者多个follower，在创建topic时，Kafka会将每个分区的leader均匀地分配在每个broker上。我们正常使用kafka是感觉不到leader、follower的存在的。但其实，所有的读写操作都是由le... 一 分区的leader与follower1.1 Leader和Follower在Kafka中，每个topic都可以配置多个分区以及多个副本。每个分区都有一个leader以及0个或者多个follower，在创建topic时，Kafka会将每个分区的leader均匀地分配在每个broker上。我们正常使用kafka是感觉不到leader、follower的存在的。但其实，所有的读写操作都是由le...
- 一、Kafka-Eagle简介在开发工作中，当业务前提不复杂时，可以使用Kafka命令来进行一些集群的管理工作。但如果业务变得复杂，例如：我们需要增加group、topic分区，此时，我们再使用命令行就感觉很不方便，此时，如果使用一个可视化的工具帮助我们完成日常的管理工作，将会大大提高对于Kafka集群管理的效率，而且我们使用工具来监控消费者在Kafka中消费情况。早期，要监控Kafka集群... 一、Kafka-Eagle简介在开发工作中，当业务前提不复杂时，可以使用Kafka命令来进行一些集群的管理工作。但如果业务变得复杂，例如：我们需要增加group、topic分区，此时，我们再使用命令行就感觉很不方便，此时，如果使用一个可视化的工具帮助我们完成日常的管理工作，将会大大提高对于Kafka集群管理的效率，而且我们使用工具来监控消费者在Kafka中消费情况。早期，要监控Kafka集群...
- Apache Kafka 是一个分布式流处理平台，广泛应用于高吞吐量、低延迟的消息传递场景。其核心设计理念之一是通过 分区（Partition） 和 副本（Replica） 机制实现 水平扩展 和 高可用性。分区（Partition）：Kafka 的 Topic 可以划分为多个 Partition，每个 Partition 是一个有序的、不可变的消息序列，支持并行生产和消费，从而提升吞吐量。... Apache Kafka 是一个分布式流处理平台，广泛应用于高吞吐量、低延迟的消息传递场景。其核心设计理念之一是通过 分区（Partition） 和 副本（Replica） 机制实现 水平扩展 和 高可用性。分区（Partition）：Kafka 的 Topic 可以划分为多个 Partition，每个 Partition 是一个有序的、不可变的消息序列，支持并行生产和消费，从而提升吞吐量。...
- Kafka通过幂等生产者（Idempotent Producer）机制来实现消息的幂等性，确保每条消息在Kafka中只被处理一次，即使在生产者重试发送的情况下也不会导致重复消息。以下是Kafka实现幂等性的详细说明：1. 幂等生产者的基本概念 幂等性（Idempotence）：指操作的结果不会因为多次执行而改变。在Kafka中，幂等性确保每条消息在Topic的Partition中只被写入一次。 Kafka通过幂等生产者（Idempotent Producer）机制来实现消息的幂等性，确保每条消息在Kafka中只被处理一次，即使在生产者重试发送的情况下也不会导致重复消息。以下是Kafka实现幂等性的详细说明：1. 幂等生产者的基本概念 幂等性（Idempotence）：指操作的结果不会因为多次执行而改变。在Kafka中，幂等性确保每条消息在Topic的Partition中只被写入一次。
上滑加载中
推荐直播
-
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家；李炎-华为云码道产品专家；彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战，从0到1打通消息通道；码道鸿蒙端云一体化实战，快速搭建员工签到系统。
回顾中 -
华为云开发者AI素养直播课·第五期2026/09/04 周五 16:00-18:00
林华鼎-华为云AI开发者运营负责人；蒋春阳-华为云AI开发者案例开发专家
本期直播内容： AI工具体验营 · 第5-8课连讲。Agent-Team 多智能体协作完成毕业设计实践
回顾中 -
华为云开发者AI素养ClassRoom·第六期2026/09/08 周二 19:00-20:00
樊渊-2026华为软件挑战赛冠军
高手来了：看软挑高手解析二维排样问题—从工业难题到算法突破
回顾中
热门标签