- 27. read: 先说说这个方法的返回对象: FetchDataInfo——这是一个case类，包含了日志位移元数据信息以及一个消息集合。这个方法也很简单，就是从日志中读取消息，将起始位移和读取到的消息集合封装进一个FetchDataInfo中。此方法接收3个参数: startOffset表示读取操作执行的开始位移点; maxLength表示最多读取的字节数; maxOffset表示读取操 27. read: 先说说这个方法的返回对象: FetchDataInfo——这是一个case类，包含了日志位移元数据信息以及一个消息集合。这个方法也很简单，就是从日志中读取消息，将起始位移和读取到的消息集合封装进一个FetchDataInfo中。此方法接收3个参数: startOffset表示读取操作执行的开始位移点; maxLength表示最多读取的字节数; maxOffset表示读取操
- Log模块读写源码分析1. 基本原理注：本文部分内容摘自互联网1.1 Kafka消息存储方式首先深入的了解一下Kafka中的Topic.Topic是发布的消息的类别或者种子Feed名。对于每一个Topic, Kafka集群维护这一个分区的log,就像下图中的示例：每一个分区都是一个顺序的、不可变的消息队列，并且可以持续的添加。分区中的消息都被分配了一个序列号，称之为 Log模块读写源码分析1. 基本原理注：本文部分内容摘自互联网1.1 Kafka消息存储方式首先深入的了解一下Kafka中的Topic.Topic是发布的消息的类别或者种子Feed名。对于每一个Topic, Kafka集群维护这一个分区的log,就像下图中的示例：每一个分区都是一个顺序的、不可变的消息队列，并且可以持续的添加。分区中的消息都被分配了一个序列号，称之为
- 这里主要是根据config.queueEnqueueTimeoutMs参数选择不同的入队列方式，该参数的值含义如下：# Timeout for event enqueue:# 0: events will be enqueued immediately or dropped if the queue is full# -ve: enqueue will block indefinitely if 这里主要是根据config.queueEnqueueTimeoutMs参数选择不同的入队列方式，该参数的值含义如下：# Timeout for event enqueue:# 0: events will be enqueued immediately or dropped if the queue is full# -ve: enqueue will block indefinitely if
- 上期链接：kafka源码解析之一：源代码工程目录介绍1. 初始化代码分析：首先Demo里封装了一个Producer类， 这个类提供了同步和异步两种方式来发送消息。 异步发送消息是基于同步发送消息的接口来实现的。异步发送消息的实现很简单，客户端消息发送过来以后，先放入到一个队列中然后就返回了。Producer再开启一个线程（ProducerSendThread）不断从队列中取出消息，然后调用同步 上期链接：kafka源码解析之一：源代码工程目录介绍1. 初始化代码分析：首先Demo里封装了一个Producer类， 这个类提供了同步和异步两种方式来发送消息。 异步发送消息是基于同步发送消息的接口来实现的。异步发送消息的实现很简单，客户端消息发送过来以后，先放入到一个队列中然后就返回了。Producer再开启一个线程（ProducerSendThread）不断从队列中取出消息，然后调用同步
- 对于kafka，我们不仅在单机、集群、参数调优等方面，对kakfa全方位研究，更要在代码层解读，从原理到代码细节一一打开看看。(声明：所有这系列代码分析章节，有些图片/资料整理来自网络公开资料，站在巨人肩膀上二次仔细解读代码总结分享给大家) 对于kafka，我们不仅在单机、集群、参数调优等方面，对kakfa全方位研究，更要在代码层解读，从原理到代码细节一一打开看看。(声明：所有这系列代码分析章节，有些图片/资料整理来自网络公开资料，站在巨人肩膀上二次仔细解读代码总结分享给大家)
- 分布式消息服务（Distributed Message Service，简称DMS）是一项基于高可用分布式集群技术的消息中间件服务，提供了可靠且可扩展的托管消息队列，用于收发消息和存储消息。 分布式消息服务（Distributed Message Service，简称DMS）是一项基于高可用分布式集群技术的消息中间件服务，提供了可靠且可扩展的托管消息队列，用于收发消息和存储消息。
- Kalfka 消息队列原理架构阐述 Kalfka 消息队列原理架构阐述
- 前期PUMA千节点系列，讲的是通过扩展节点资源，来达到千万TPS等海量吞吐诉求，实际上，我们大部分业务可能不需要那么大规模，对于集群资源有限，如何最大可能调优kafka集群性能，下面我们从broker、producer、consumer 3个方面性能相关参数详细解析，实测解密PUMA集群如何最大性能化。 前期PUMA千节点系列，讲的是通过扩展节点资源，来达到千万TPS等海量吞吐诉求，实际上，我们大部分业务可能不需要那么大规模，对于集群资源有限，如何最大可能调优kafka集群性能，下面我们从broker、producer、consumer 3个方面性能相关参数详细解析，实测解密PUMA集群如何最大性能化。
- 前期PUMA千节点系列，讲的是通过扩展节点资源，来达到千万TPS等海量吞吐诉求，实际上，我们大部分业务可能不需要那么大规模，对于集群资源有限，如何最大可能调优kafka集群性能，下面我们从broker、producer、consumer 3个方面性能相关参数详细解析，实测解密PUMA集群如何最大性能化。 前期PUMA千节点系列，讲的是通过扩展节点资源，来达到千万TPS等海量吞吐诉求，实际上，我们大部分业务可能不需要那么大规模，对于集群资源有限，如何最大可能调优kafka集群性能，下面我们从broker、producer、consumer 3个方面性能相关参数详细解析，实测解密PUMA集群如何最大性能化。
- 前期PUMA千节点系列，讲的是通过扩展节点资源，来达到千万TPS等海量吞吐诉求，实际上，我们大部分业务可能不需要那么大规模，对于集群资源有限，如何最大可能调优kafka集群性能，下面我们从broker、producer、consumer 3个方面性能相关参数详细解析，实测解密PUMA集群如何最大性能化。 前期PUMA千节点系列，讲的是通过扩展节点资源，来达到千万TPS等海量吞吐诉求，实际上，我们大部分业务可能不需要那么大规模，对于集群资源有限，如何最大可能调优kafka集群性能，下面我们从broker、producer、consumer 3个方面性能相关参数详细解析，实测解密PUMA集群如何最大性能化。
- 文章目录 业务实现之编写写入ODS层业务代码 一、代码编写 二、创建Iceberg-ODS层表 1、在Hive中添加Iceberg表格式需要的包 2、创建Iceberg表 三、代码测试 1、在Kafka中创建对应的topic 2、将代码中消费Kafka数据改成从头开始消费 3、启动日志采集接口，启动Flume监控 4... 文章目录 业务实现之编写写入ODS层业务代码 一、代码编写 二、创建Iceberg-ODS层表 1、在Hive中添加Iceberg表格式需要的包 2、创建Iceberg表 三、代码测试 1、在Kafka中创建对应的topic 2、将代码中消费Kafka数据改成从头开始消费 3、启动日志采集接口，启动Flume监控 4...
- 从时间节点上来看，每年的 3月、4月是一年中求职跳槽的黄金季！ 最近也收到很多小伙伴的后台留言 “有没有大数据学习资源，进阶学习路线，PDF，电子书，面试文档等等...” 一系列问题，这篇文章等于是针对以上的问题统一做回答了。 肝了一周，做了一些资源筛选，依照自己的学习经验和相关的资料做个整理，把一些我看过的精品视频，技术书籍... 从时间节点上来看，每年的 3月、4月是一年中求职跳槽的黄金季！ 最近也收到很多小伙伴的后台留言 “有没有大数据学习资源，进阶学习路线，PDF，电子书，面试文档等等...” 一系列问题，这篇文章等于是针对以上的问题统一做回答了。 肝了一周，做了一些资源筛选，依照自己的学习经验和相关的资料做个整理，把一些我看过的精品视频，技术书籍...
- 关于如何消费kafka数据，请参看Vertica的这些事（十四）——Vertica实时消费kafka实现 最近有小伙伴提出了消费kafka的一些疑问，答疑如下： #####1、 Vertica消费kaf... 关于如何消费kafka数据，请参看Vertica的这些事（十四）——Vertica实时消费kafka实现 最近有小伙伴提出了消费kafka的一些疑问，答疑如下： #####1、 Vertica消费kaf...
- 本文选自电子工业出版社的新书《kafka进阶》，推荐一下。 送书规则：文末留言，精选精彩留言，对留言点赞最多的4位包邮送书一本~ 截止时间：2022.06.20 8:00 一个功能健全的kafka集群可以处理相当大的数据量，由于消息系统是很多大型应用的基石，因此broker集群在性能上的缺陷，都会引起整个应用栈的... 本文选自电子工业出版社的新书《kafka进阶》，推荐一下。 送书规则：文末留言，精选精彩留言，对留言点赞最多的4位包邮送书一本~ 截止时间：2022.06.20 8:00 一个功能健全的kafka集群可以处理相当大的数据量，由于消息系统是很多大型应用的基石，因此broker集群在性能上的缺陷，都会引起整个应用栈的...
- 点击下方“Java编程鸭”关注并标星 更多精彩 第一时间直达 文章来源：https://c1n.cn/RWt2e 前言 最近一直在做微服务开发，涉及了一些数据处理模块的开发，每个处理业务都会开发独立的微服务，便于后面拓展和流编排。 学习了 SpringCloud Data Flow... 点击下方“Java编程鸭”关注并标星 更多精彩 第一时间直达 文章来源：https://c1n.cn/RWt2e 前言 最近一直在做微服务开发，涉及了一些数据处理模块的开发，每个处理业务都会开发独立的微服务，便于后面拓展和流编排。 学习了 SpringCloud Data Flow...
上滑加载中
推荐直播
-
昇腾AI算法挑战赛-核心算子如何优化？专家带你深度解析2025/11/17 周一 16:00-17:00
王老师 华为算子专家
昇腾AI算法挑战赛进阶赛战鼓催征！本期直播间，我们特邀华为算子专家王老师，为你深度剖析Matmul、wholereducesum等核心算子的底层原理与优化技巧，直击赛题核心。想提升代码效率、冲击更高排名？锁定直播，带你破局！
回顾中 -
AI编码实干派，“码”力全开2026/02/26 周四 15:00-16:30
谈宗玮/于邦旭/丁俊卿/陈云亮/王一男
【中国，深圳，2026年2月26日】，以“AI编码实干派，码力全开”为主题的华为云码道（CodeArts）代码智能体新春发布会在线上成功召开。华为云码道公测版正式发布，为开发者和企业提供具备工程化能力的智能编码解决方案。
回顾中 -
华为云码道-玩转OpenClaw，开启在线养虾模式2026/03/11 周三 19:00-20:00
刘昱，华为云高级工程师/谈心，华为云技术专家/李海仑，上海圭卓智能科技有限公司CEO
OpenClaw 火爆开发者圈，华为云码道最新推出 Skill ——开发者只需输入一句口令，即可部署一个功能完整的「小龙虾」智能体。直播带你玩转华为云码道，玩转OpenClaw
回顾中
热门标签