- Apache Kafka是一个开源的分布式事件流平台，旨在高吞吐量、低延迟地处理实时数据流。它最初由LinkedIn开发，2011年开源，2012年成为Apache Software Foundation顶级项目。Kafka广泛应用于流处理、数据集成、发布/订阅消息传递等场景，全球数千家组织使用它来支持关键业务的实时应用。 Apache Kafka是一个开源的分布式事件流平台，旨在高吞吐量、低延迟地处理实时数据流。它最初由LinkedIn开发，2011年开源，2012年成为Apache Software Foundation顶级项目。Kafka广泛应用于流处理、数据集成、发布/订阅消息传递等场景，全球数千家组织使用它来支持关键业务的实时应用。
- 在实时数据处理领域，Apache Flink 作为一款强大的流处理引擎，其 SQL 接口（Flink SQL）让开发者无需深入编写复杂代码，即可通过熟悉的 SQL 语法实现高效的数据分析。尤其在实际生产环境中，Flink 常需与外部系统（如消息队列 Kafka、关系型数据库 MySQL）无缝集成，以构建端到端的数据流水线。本文将聚焦于 Flink SQL 如何连接这些外部系统，通过实战案例帮... 在实时数据处理领域，Apache Flink 作为一款强大的流处理引擎，其 SQL 接口（Flink SQL）让开发者无需深入编写复杂代码，即可通过熟悉的 SQL 语法实现高效的数据分析。尤其在实际生产环境中，Flink 常需与外部系统（如消息队列 Kafka、关系型数据库 MySQL）无缝集成，以构建端到端的数据流水线。本文将聚焦于 Flink SQL 如何连接这些外部系统，通过实战案例帮...
- 从“数据堆积如山”到“实时驱动业务”——聊聊Kafka到Flink的实时数据处理演进 从“数据堆积如山”到“实时驱动业务”——聊聊Kafka到Flink的实时数据处理演进
- 1. 引言：为什么选择 Kafka + Spark？在广告点击流分析、IoT设备监控等实时大数据场景下，传统批处理（如Hadoop MapReduce）已无法满足低延迟需求。我们曾用Kafka+Spark Streaming替换原有Lambda架构，使数据处理延迟从小时级降至秒级。关键对比（表1）：方案延迟吞吐量开发复杂度适用场景Hadoop MR小时级高★★☆离线报表Flink毫秒级极高... 1. 引言：为什么选择 Kafka + Spark？在广告点击流分析、IoT设备监控等实时大数据场景下，传统批处理（如Hadoop MapReduce）已无法满足低延迟需求。我们曾用Kafka+Spark Streaming替换原有Lambda架构，使数据处理延迟从小时级降至秒级。关键对比（表1）：方案延迟吞吐量开发复杂度适用场景Hadoop MR小时级高★★☆离线报表Flink毫秒级极高...
- docker安装命令，其中172.16.11.111是宿主机ip，14818是宿主机端口，对应容器端口9092：docker run -d \ --name kafka \ -p 14818:9092 \ -p 9093:9093 \ -v /tmp/kraft-combined-logs:/tmp/kraft-combined-logs \ -e TZ=Asia/Shangha... docker安装命令，其中172.16.11.111是宿主机ip，14818是宿主机端口，对应容器端口9092：docker run -d \ --name kafka \ -p 14818:9092 \ -p 9093:9093 \ -v /tmp/kraft-combined-logs:/tmp/kraft-combined-logs \ -e TZ=Asia/Shangha...
- 开篇语哈喽，各位小伙伴们，你们好呀，我是喵手。运营社区：C站/掘金/腾讯云/阿里云/华为云/51CTO；欢迎大家常来逛逛 今天我要给大家分享一些自己日常学习到的一些知识点，并以文字的形式跟大家一起交流，互相学习，一个人虽可以走的更快，但一群人可以走的更远。 我是一名后端开发爱好者，工作日常接触到最多的就是Java语言啦，所以我都尽量抽业余时间把自己所学到所会的，通过文章的形式进行输出，... 开篇语哈喽，各位小伙伴们，你们好呀，我是喵手。运营社区：C站/掘金/腾讯云/阿里云/华为云/51CTO；欢迎大家常来逛逛 今天我要给大家分享一些自己日常学习到的一些知识点，并以文字的形式跟大家一起交流，互相学习，一个人虽可以走的更快，但一群人可以走的更远。 我是一名后端开发爱好者，工作日常接触到最多的就是Java语言啦，所以我都尽量抽业余时间把自己所学到所会的，通过文章的形式进行输出，...
- 🏆本文收录于「滚雪球学SpringBoot」专栏(全网一个名)，手把手带你零基础入门Spring Boot，从入门到就业，助你早日登顶实现财富自由🚀；同时，欢迎大家关注&&收藏&&订阅！持续更新中，up！up！up！！环境说明：Windows 10 + IntelliJ IDEA 2021.3.2 + Jdk 1.8 前言随着系统复杂度的提升，异步通信和解耦变得越来越重要。Kafka 作... 🏆本文收录于「滚雪球学SpringBoot」专栏(全网一个名)，手把手带你零基础入门Spring Boot，从入门到就业，助你早日登顶实现财富自由🚀；同时，欢迎大家关注&&收藏&&订阅！持续更新中，up！up！up！！环境说明：Windows 10 + IntelliJ IDEA 2021.3.2 + Jdk 1.8 前言随着系统复杂度的提升，异步通信和解耦变得越来越重要。Kafka 作...
- 🏆本文收录于「滚雪球学SpringBoot」专栏(全网一个名)，手把手带你零基础入门Spring Boot，从入门到就业，助你早日登顶实现财富自由🚀；同时，欢迎大家关注&&收藏&&订阅！持续更新中，up！up！up！！环境说明：Windows 10 + IntelliJ IDEA 2021.3.2 + Jdk 1.8 前言在现代分布式系统中，消息队列作为一种强有力的解耦工具，帮助开发者在... 🏆本文收录于「滚雪球学SpringBoot」专栏(全网一个名)，手把手带你零基础入门Spring Boot，从入门到就业，助你早日登顶实现财富自由🚀；同时，欢迎大家关注&&收藏&&订阅！持续更新中，up！up！up！！环境说明：Windows 10 + IntelliJ IDEA 2021.3.2 + Jdk 1.8 前言在现代分布式系统中，消息队列作为一种强有力的解耦工具，帮助开发者在...
- 1、为什么要使用MQ1）解耦：A 系统发送数据到 BCD 三个系统，通过接口调用发送。如果 E 系统也要这个数据呢？那如果 C 系统现在不需要了呢？A 系统负责人几乎崩溃…A 系统跟其它各种乱七八糟的系统严重耦合，A 系统产生一条比较关键的数据，很多系统都需要 A 系统将这个数据发送过来。如果使用MQ，A 系统产生一条数据，发送到 MQ 里面去，哪个系统需要数据自己去 MQ 里面消费。如... 1、为什么要使用MQ1）解耦：A 系统发送数据到 BCD 三个系统，通过接口调用发送。如果 E 系统也要这个数据呢？那如果 C 系统现在不需要了呢？A 系统负责人几乎崩溃…A 系统跟其它各种乱七八糟的系统严重耦合，A 系统产生一条比较关键的数据，很多系统都需要 A 系统将这个数据发送过来。如果使用MQ，A 系统产生一条数据，发送到 MQ 里面去，哪个系统需要数据自己去 MQ 里面消费。如...
- 摘要： Apache Kafka是一款高性能分布式消息队列，采用主题（topic）、分区（partition）和分段（segment）机制实现海量数据吞吐。其核心设计包括：批量日志存储（压缩消息至4KB批次）、稀疏索引（偏移量和时间戳索引）加速查询，以及基于顺序I/O的Page Cache异步刷盘策略。日志支持两种清理策略——按时间/大小删除或按Key合并（保留最新值）。 摘要： Apache Kafka是一款高性能分布式消息队列，采用主题（topic）、分区（partition）和分段（segment）机制实现海量数据吞吐。其核心设计包括：批量日志存储（压缩消息至4KB批次）、稀疏索引（偏移量和时间戳索引）加速查询，以及基于顺序I/O的Page Cache异步刷盘策略。日志支持两种清理策略——按时间/大小删除或按Key合并（保留最新值）。
- 验证kafka集群2AZ部署可行性 验证kafka集群2AZ部署可行性
- 不是你消息太多，而是你不会排队：openEuler 的消息队列实战手记 不是你消息太多，而是你不会排队：openEuler 的消息队列实战手记
- Spring Boot + Kafka 亿级日志收集系统：零丢失传输与实时分析架构关键词：Spring Boot、Kafka、亿级日志、零丢失、实时分析、Exactly-Once、背压、熔断、可观测性 一、总体设计思路维度目标关键技术吞吐单集群 300 MB/s → 1 GB/s异步批量、压缩、零拷贝可靠性零消息丢失acks=all、幂等 Producer、事务、ISR实时性90% 日志 ... Spring Boot + Kafka 亿级日志收集系统：零丢失传输与实时分析架构关键词：Spring Boot、Kafka、亿级日志、零丢失、实时分析、Exactly-Once、背压、熔断、可观测性 一、总体设计思路维度目标关键技术吞吐单集群 300 MB/s → 1 GB/s异步批量、压缩、零拷贝可靠性零消息丢失acks=all、幂等 Producer、事务、ISR实时性90% 日志 ...
- 开篇语哈喽，各位小伙伴们，你们好呀，我是喵手。运营社区：C站/掘金/腾讯云/阿里云/华为云/51CTO；欢迎大家常来逛逛 今天我要给大家分享一些自己日常学习到的一些知识点，并以文字的形式跟大家一起交流，互相学习，一个人虽可以走的更快，但一群人可以走的更远。 我是一名后端开发爱好者，工作日常接触到最多的就是Java语言啦，所以我都尽量抽业余时间把自己所学到所会的，通过文章的形式进行输出，... 开篇语哈喽，各位小伙伴们，你们好呀，我是喵手。运营社区：C站/掘金/腾讯云/阿里云/华为云/51CTO；欢迎大家常来逛逛 今天我要给大家分享一些自己日常学习到的一些知识点，并以文字的形式跟大家一起交流，互相学习，一个人虽可以走的更快，但一群人可以走的更远。 我是一名后端开发爱好者，工作日常接触到最多的就是Java语言啦，所以我都尽量抽业余时间把自己所学到所会的，通过文章的形式进行输出，...
- 🏆本文收录于「滚雪球学SpringBoot」专栏(全网一个名)，手把手带你零基础入门Spring Boot，从入门到就业，助你早日登顶实现财富自由🚀；同时，欢迎大家关注&&收藏&&订阅！持续更新中，up！up！up！！环境说明：Windows 10 + IntelliJ IDEA 2021.3.2 + Jdk 1.8 🚀 前言在现代分布式系统中，事件驱动架构（EDA）和消息流处理已成为... 🏆本文收录于「滚雪球学SpringBoot」专栏(全网一个名)，手把手带你零基础入门Spring Boot，从入门到就业，助你早日登顶实现财富自由🚀；同时，欢迎大家关注&&收藏&&订阅！持续更新中，up！up！up！！环境说明：Windows 10 + IntelliJ IDEA 2021.3.2 + Jdk 1.8 🚀 前言在现代分布式系统中，事件驱动架构（EDA）和消息流处理已成为...
上滑加载中
推荐直播
-
Skill 构建 × 智能创作：基于华为云码道的 AI 内容生产提效方案2026/03/25 周三 19:00-20:00
余伟，华为云软件研发工程师/万邵业（万少），华为云HCDE开发者专家
本次直播带来两大实战：华为云码道 Skill-Creator 手把手搭建专属知识库 Skill；如何用码道提效 OpenClaw 小说文本，打造从大纲到成稿的 AI 原创小说全链路。技术干货 + OPC创作思路，一次讲透！
回顾中 -
码道新技能，AI 新生产力——从自动视频生成到开源项目解析2026/04/08 周三 19:00-21:00
童得力-华为云开发者生态运营总监/何文强-无人机企业AI提效负责人
本次华为云码道 Skill 实战活动，聚焦两大 AI 开发场景：通过实战教学，带你打造 AI 编程自动生成视频 Skill，并实现对 GitHub 热门开源项目的智能知识抽取，手把手掌握 Skill 开发全流程，用 AI 提升研发效率与内容生产力。
回顾中 -
华为云码道：零代码股票智能决策平台全功能实战2026/04/18 周六 10:00-12:00
秦拳德-中软国际教育卓越研究院研究员、华为云金牌讲师、云原生技术专家
利用Tushare接口获取实时行情数据，采用Transformer算法进行时序预测与涨跌分析，并集成DeepSeek API提供智能解读。同时，项目深度结合华为云CodeArts（码道）的代码智能体能力，实现代码一键推送至云端代码仓库，建立起高效、可协作的团队开发新范式。开发者可快速上手，从零打造功能完整的个股筛选、智能分析与风险管控产品。
回顾中
热门标签