- 本篇博主带来的是Kafka生产过程的分析。 目录 1. 写入方式2. 分区（Partition）3. 副本（Replication）4. producer写入消息流程 1. 写入方式 producer采用推（push）模式将消息发布到broker，每条消息都被追加（append）到分区（patition）中，属于顺序写磁盘（顺序写磁盘效率比... 本篇博主带来的是Kafka生产过程的分析。 目录 1. 写入方式2. 分区（Partition）3. 副本（Replication）4. producer写入消息流程 1. 写入方式 producer采用推（push）模式将消息发布到broker，每条消息都被追加（append）到分区（patition）中，属于顺序写磁盘（顺序写磁盘效率比...
- 一、编写LoggerGenerator.java文件用于生成日志信息 添加依赖 <dependency> <groupId>org.apache.flume.flume-ng-clients</groupId> <artifactId>flume-ng-log4jappender</artifactId> &l... 一、编写LoggerGenerator.java文件用于生成日志信息 添加依赖 <dependency> <groupId>org.apache.flume.flume-ng-clients</groupId> <artifactId>flume-ng-log4jappender</artifactId> &l...
- 文章目录 ProducerBrokerConsumerZookeeper Kafka优点单机版安装教程3、安装JDK ##kafka原理简介 Kafka是由LinkedIn开发的一个分布式的消息系统，使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都... 文章目录 ProducerBrokerConsumerZookeeper Kafka优点单机版安装教程3、安装JDK ##kafka原理简介 Kafka是由LinkedIn开发的一个分布式的消息系统，使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都...
- 本篇博主带来的是Kafka Streams的相关知识。 目录 1. 什么是Kafka Streams2. Kafka Streams特点3. 为什么要有Kafka Stream4. Kafka Stream数据清洗案例1. 需求2. 需求分析3. 案例实操 1. 什么是Kafka Streams Kafka Streams。Apache... 本篇博主带来的是Kafka Streams的相关知识。 目录 1. 什么是Kafka Streams2. Kafka Streams特点3. 为什么要有Kafka Stream4. Kafka Stream数据清洗案例1. 需求2. 需求分析3. 案例实操 1. 什么是Kafka Streams Kafka Streams。Apache...
- 本篇博主带来的是Kafka的Consumer API操作。 目录 1. 手动提交offset2. 自动提交offset3. 自己维护offset Consumer消费数据时的可靠性是很容易保证的，因为数据在Kafka中是持久化的，故不用担心数据丢失问题。 由于consumer在消费过程中可能会出现断电宕机等故障，consumer恢复后，需... 本篇博主带来的是Kafka的Consumer API操作。 目录 1. 手动提交offset2. 自动提交offset3. 自己维护offset Consumer消费数据时的可靠性是很容易保证的，因为数据在Kafka中是持久化的，故不用担心数据丢失问题。 由于consumer在消费过程中可能会出现断电宕机等故障，consumer恢复后，需...
- 本篇博主带来的是producer(生产者)的数据可靠性保证。 目录 1. 副本数据同步策略2. ISR3. ack应答机制4. 故障处理细节1. follower故障2. leader故障 为保证producer发送的数据，能可靠的发送到指定的topic，topic的每个partition收到producer发送的数据后，都需要向prod... 本篇博主带来的是producer(生产者)的数据可靠性保证。 目录 1. 副本数据同步策略2. ISR3. ack应答机制4. 故障处理细节1. follower故障2. leader故障 为保证producer发送的数据，能可靠的发送到指定的topic，topic的每个partition收到producer发送的数据后，都需要向prod...
- 文章目录 消息中间件简介常用消息队列对比RocketMQKafkaActiveMQRabbitMQZeroMQ RocketMQ简介NameServerProducerConsumerBroker RocketMQ存储特点RocketMQ集群配置附录：安装教程 消息中间件简介 消息队列(Message Queue，简称MQ)。消息中间件作为... 文章目录 消息中间件简介常用消息队列对比RocketMQKafkaActiveMQRabbitMQZeroMQ RocketMQ简介NameServerProducerConsumerBroker RocketMQ存储特点RocketMQ集群配置附录：安装教程 消息中间件简介 消息队列(Message Queue，简称MQ)。消息中间件作为...
- 文章目录 3、安装JDK ##前言 ###Kafka简介 Kafka是由LinkedIn开发的一个分布式的消息系统，使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。 ###Kafka优点 Kafka好处：转自 InfoQ... 文章目录 3、安装JDK ##前言 ###Kafka简介 Kafka是由LinkedIn开发的一个分布式的消息系统，使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。 ###Kafka优点 Kafka好处：转自 InfoQ...
- 本篇博主带来的是Flume对接Kafka。 目录 1. Kafka与Flume比较2. Flume与kafka集成 1. Kafka与Flume比较 在企业中必须要清楚流式数据采集框架flume和kafka的定位是什么： 1. flume：cloudera公司研发 适合多个生产者； 适合下游数据消费者不多的情况； 适合数据安全性要求不高的操... 本篇博主带来的是Flume对接Kafka。 目录 1. Kafka与Flume比较2. Flume与kafka集成 1. Kafka与Flume比较 在企业中必须要清楚流式数据采集框架flume和kafka的定位是什么： 1. flume：cloudera公司研发 适合多个生产者； 适合下游数据消费者不多的情况； 适合数据安全性要求不高的操...
- 本篇博主带来的是Kafka中如何自定义Interceptor及其原理。 目录 1. 拦截器（Interceptor）原理2. 自定义拦截器1. 需求2. 编写代码 3. 运行结果 1. 拦截器（Interceptor）原理 Producer拦截器(interceptor)是在Kafka 0.10版本被引入的，主要用于实现clients端... 本篇博主带来的是Kafka中如何自定义Interceptor及其原理。 目录 1. 拦截器（Interceptor）原理2. 自定义拦截器1. 需求2. 编写代码 3. 运行结果 1. 拦截器（Interceptor）原理 Producer拦截器(interceptor)是在Kafka 0.10版本被引入的，主要用于实现clients端...
- 本篇博主带来的是Kafka常用脚本介绍及简单的shell操作。 目录 一. Kafka常用脚本二. 简单的shell操作 一. Kafka常用脚本 至于怎样查看脚本，我们可以查看Kafka/bin目录，下图标记即为常用的脚本 1.kafka-topics.sh：对topic进行增删改查2.kafka-server-start.sh：启动... 本篇博主带来的是Kafka常用脚本介绍及简单的shell操作。 目录 一. Kafka常用脚本二. 简单的shell操作 一. Kafka常用脚本 至于怎样查看脚本，我们可以查看Kafka/bin目录，下图标记即为常用的脚本 1.kafka-topics.sh：对topic进行增删改查2.kafka-server-start.sh：启动...
- 本篇博主带来的是Kafka的Producer API操作。 目录 1. 消息发送流程2. 无回调参数的API3. 带回调函数的API4. 同步发送API / 只是比异步多了一个.get() 1. 消息发送流程 Kafka的Producer发送消息采用的是异步发送的方式。在消息发送的过程中，涉及到了两个线程——main线程和Sender线程，... 本篇博主带来的是Kafka的Producer API操作。 目录 1. 消息发送流程2. 无回调参数的API3. 带回调函数的API4. 同步发送API / 只是比异步多了一个.get() 1. 消息发送流程 Kafka的Producer发送消息采用的是异步发送的方式。在消息发送的过程中，涉及到了两个线程——main线程和Sender线程，...
- 本篇博主带来的是Kafka的两种监控软件。 目录 一. Kafka Monitor二. Kafka Manager 一. Kafka Monitor 1. 上传jar包KafkaOffsetMonitor-assembly-0.4.6.jar到集群 2.在/opt/module/下创建kafka-offset-console文件夹 [bi... 本篇博主带来的是Kafka的两种监控软件。 目录 一. Kafka Monitor二. Kafka Manager 一. Kafka Monitor 1. 上传jar包KafkaOffsetMonitor-assembly-0.4.6.jar到集群 2.在/opt/module/下创建kafka-offset-console文件夹 [bi...
- 本篇博主带来的是Kafka的工作流程及文件存储机制。 目录 一. Kafka的工作流程二. Kafka文件的存储机制 一. Kafka的工作流程 1. Kafka开始部分 2. 创建topic 3.生产者往每一个partition-leader，其中所发数据为一批一批的发送(提高效率) follower为leader的备份，当leader... 本篇博主带来的是Kafka的工作流程及文件存储机制。 目录 一. Kafka的工作流程二. Kafka文件的存储机制 一. Kafka的工作流程 1. Kafka开始部分 2. 创建topic 3.生产者往每一个partition-leader，其中所发数据为一批一批的发送(提高效率) follower为leader的备份，当leader...
- 自Flume快速入门系列结束后，博主决定后面几篇博客为大家带来关于Kafka的知识分享作为快速入门Kafka系列的第一篇博客，本篇为大家带来的是Kafka的简单介绍。 目录 1. Kafka的定义2. 消息与消息队列2.1 传统消息队列的应用场景1. MQ传统应用场景之异步处理2. 流量消峰 2.2 消息队列的两种模式1. 消息队列内部实现原理2 为什么需... 自Flume快速入门系列结束后，博主决定后面几篇博客为大家带来关于Kafka的知识分享作为快速入门Kafka系列的第一篇博客，本篇为大家带来的是Kafka的简单介绍。 目录 1. Kafka的定义2. 消息与消息队列2.1 传统消息队列的应用场景1. MQ传统应用场景之异步处理2. 流量消峰 2.2 消息队列的两种模式1. 消息队列内部实现原理2 为什么需...
上滑加载中
推荐直播
-
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家；李炎-华为云码道产品专家；彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战，从0到1打通消息通道；码道鸿蒙端云一体化实战，快速搭建员工签到系统。
回顾中 -
华为云开发者AI素养直播课·第五期2026/09/04 周五 16:00-18:00
林华鼎-华为云AI开发者运营负责人；蒋春阳-华为云AI开发者案例开发专家
本期直播内容： AI工具体验营 · 第5-8课连讲。Agent-Team 多智能体协作完成毕业设计实践
回顾中 -
华为云开发者AI素养ClassRoom·第六期2026/09/08 周二 19:00-20:00
樊渊-2026华为软件挑战赛冠军
高手来了：看软挑高手解析二维排样问题—从工业难题到算法突破
回顾中
热门标签