- Kafka 最佳实践：分区策略、重试、幂等生产者 Kafka 最佳实践：分区策略、重试、幂等生产者
- 别再纠结了：Lambda 还是 Kappa？流批统一这件事，真没你想得那么玄乎 别再纠结了：Lambda 还是 Kappa？流批统一这件事，真没你想得那么玄乎
- 在大数据实时处理领域，Apache Flink 作为一款高性能的流处理框架，已被众多企业应用于核心业务系统。然而，当 Flink 作业部署到生产环境后，面对海量数据和复杂业务逻辑，问题排查往往成为运维人员的噩梦。本文将深入探讨如何通过有效的日志分析策略，快速定位并解决 Flink 生产环境中的各类问题。 日志：Flink 生产环境的"生命线"Flink 作业在生产环境中运行时，如同一个精密的... 在大数据实时处理领域，Apache Flink 作为一款高性能的流处理框架，已被众多企业应用于核心业务系统。然而，当 Flink 作业部署到生产环境后，面对海量数据和复杂业务逻辑，问题排查往往成为运维人员的噩梦。本文将深入探讨如何通过有效的日志分析策略，快速定位并解决 Flink 生产环境中的各类问题。 日志：Flink 生产环境的"生命线"Flink 作业在生产环境中运行时，如同一个精密的...
- 基于Kubernetes部署Kafka集群随着云计算和微服务架构的普及，Kubernetes (K8s) 作为容器编排工具已经成为管理云原生应用的标准。Apache Kafka 是一个分布式流处理平台，广泛用于构建实时数据管道和流应用。本文将介绍如何在 Kubernetes 集群上部署 Apache Kafka，包括环境准备、组件安装以及集群配置等步骤。环境准备Kubernetes 集群确保... 基于Kubernetes部署Kafka集群随着云计算和微服务架构的普及，Kubernetes (K8s) 作为容器编排工具已经成为管理云原生应用的标准。Apache Kafka 是一个分布式流处理平台，广泛用于构建实时数据管道和流应用。本文将介绍如何在 Kubernetes 集群上部署 Apache Kafka，包括环境准备、组件安装以及集群配置等步骤。环境准备Kubernetes 集群确保...
- 数据一多就卡？别急，先把“数据入口”修好 数据一多就卡？别急，先把“数据入口”修好
- 扩展Logback将日志输出到Kafka实例扩展在现代的分布式系统中，日志管理是一个非常重要的组成部分。它不仅帮助我们监控系统的运行状态，还能在出现问题时提供宝贵的调试信息。随着技术的发展，越来越多的应用开始采用消息队列来异步处理日志，以提高系统的性能和可维护性。Apache Kafka作为一种高性能的消息队列系统，因其高吞吐量、可持久化存储等特性，在日志处理方面有着广泛的应用。本文将介绍如... 扩展Logback将日志输出到Kafka实例扩展在现代的分布式系统中，日志管理是一个非常重要的组成部分。它不仅帮助我们监控系统的运行状态，还能在出现问题时提供宝贵的调试信息。随着技术的发展，越来越多的应用开始采用消息队列来异步处理日志，以提高系统的性能和可维护性。Apache Kafka作为一种高性能的消息队列系统，因其高吞吐量、可持久化存储等特性，在日志处理方面有着广泛的应用。本文将介绍如...
- Apache Kafka是一个开源的分布式事件流平台，旨在高吞吐量、低延迟地处理实时数据流。它最初由LinkedIn开发，2011年开源，2012年成为Apache Software Foundation顶级项目。Kafka广泛应用于流处理、数据集成、发布/订阅消息传递等场景，全球数千家组织使用它来支持关键业务的实时应用。 Apache Kafka是一个开源的分布式事件流平台，旨在高吞吐量、低延迟地处理实时数据流。它最初由LinkedIn开发，2011年开源，2012年成为Apache Software Foundation顶级项目。Kafka广泛应用于流处理、数据集成、发布/订阅消息传递等场景，全球数千家组织使用它来支持关键业务的实时应用。
- 在实时数据处理领域，Apache Flink 作为一款强大的流处理引擎，其 SQL 接口（Flink SQL）让开发者无需深入编写复杂代码，即可通过熟悉的 SQL 语法实现高效的数据分析。尤其在实际生产环境中，Flink 常需与外部系统（如消息队列 Kafka、关系型数据库 MySQL）无缝集成，以构建端到端的数据流水线。本文将聚焦于 Flink SQL 如何连接这些外部系统，通过实战案例帮... 在实时数据处理领域，Apache Flink 作为一款强大的流处理引擎，其 SQL 接口（Flink SQL）让开发者无需深入编写复杂代码，即可通过熟悉的 SQL 语法实现高效的数据分析。尤其在实际生产环境中，Flink 常需与外部系统（如消息队列 Kafka、关系型数据库 MySQL）无缝集成，以构建端到端的数据流水线。本文将聚焦于 Flink SQL 如何连接这些外部系统，通过实战案例帮...
- 从“数据堆积如山”到“实时驱动业务”——聊聊Kafka到Flink的实时数据处理演进 从“数据堆积如山”到“实时驱动业务”——聊聊Kafka到Flink的实时数据处理演进
- 1. 引言：为什么选择 Kafka + Spark？在广告点击流分析、IoT设备监控等实时大数据场景下，传统批处理（如Hadoop MapReduce）已无法满足低延迟需求。我们曾用Kafka+Spark Streaming替换原有Lambda架构，使数据处理延迟从小时级降至秒级。关键对比（表1）：方案延迟吞吐量开发复杂度适用场景Hadoop MR小时级高★★☆离线报表Flink毫秒级极高... 1. 引言：为什么选择 Kafka + Spark？在广告点击流分析、IoT设备监控等实时大数据场景下，传统批处理（如Hadoop MapReduce）已无法满足低延迟需求。我们曾用Kafka+Spark Streaming替换原有Lambda架构，使数据处理延迟从小时级降至秒级。关键对比（表1）：方案延迟吞吐量开发复杂度适用场景Hadoop MR小时级高★★☆离线报表Flink毫秒级极高...
- docker安装命令，其中172.16.11.111是宿主机ip，14818是宿主机端口，对应容器端口9092：docker run -d \ --name kafka \ -p 14818:9092 \ -p 9093:9093 \ -v /tmp/kraft-combined-logs:/tmp/kraft-combined-logs \ -e TZ=Asia/Shangha... docker安装命令，其中172.16.11.111是宿主机ip，14818是宿主机端口，对应容器端口9092：docker run -d \ --name kafka \ -p 14818:9092 \ -p 9093:9093 \ -v /tmp/kraft-combined-logs:/tmp/kraft-combined-logs \ -e TZ=Asia/Shangha...
- 开篇语哈喽，各位小伙伴们，你们好呀，我是喵手。运营社区：C站/掘金/腾讯云/阿里云/华为云/51CTO；欢迎大家常来逛逛 今天我要给大家分享一些自己日常学习到的一些知识点，并以文字的形式跟大家一起交流，互相学习，一个人虽可以走的更快，但一群人可以走的更远。 我是一名后端开发爱好者，工作日常接触到最多的就是Java语言啦，所以我都尽量抽业余时间把自己所学到所会的，通过文章的形式进行输出，... 开篇语哈喽，各位小伙伴们，你们好呀，我是喵手。运营社区：C站/掘金/腾讯云/阿里云/华为云/51CTO；欢迎大家常来逛逛 今天我要给大家分享一些自己日常学习到的一些知识点，并以文字的形式跟大家一起交流，互相学习，一个人虽可以走的更快，但一群人可以走的更远。 我是一名后端开发爱好者，工作日常接触到最多的就是Java语言啦，所以我都尽量抽业余时间把自己所学到所会的，通过文章的形式进行输出，...
- 🏆本文收录于「滚雪球学SpringBoot」专栏(全网一个名)，手把手带你零基础入门Spring Boot，从入门到就业，助你早日登顶实现财富自由🚀；同时，欢迎大家关注&&收藏&&订阅！持续更新中，up！up！up！！环境说明：Windows 10 + IntelliJ IDEA 2021.3.2 + Jdk 1.8 前言随着系统复杂度的提升，异步通信和解耦变得越来越重要。Kafka 作... 🏆本文收录于「滚雪球学SpringBoot」专栏(全网一个名)，手把手带你零基础入门Spring Boot，从入门到就业，助你早日登顶实现财富自由🚀；同时，欢迎大家关注&&收藏&&订阅！持续更新中，up！up！up！！环境说明：Windows 10 + IntelliJ IDEA 2021.3.2 + Jdk 1.8 前言随着系统复杂度的提升，异步通信和解耦变得越来越重要。Kafka 作...
- 🏆本文收录于「滚雪球学SpringBoot」专栏(全网一个名)，手把手带你零基础入门Spring Boot，从入门到就业，助你早日登顶实现财富自由🚀；同时，欢迎大家关注&&收藏&&订阅！持续更新中，up！up！up！！环境说明：Windows 10 + IntelliJ IDEA 2021.3.2 + Jdk 1.8 前言在现代分布式系统中，消息队列作为一种强有力的解耦工具，帮助开发者在... 🏆本文收录于「滚雪球学SpringBoot」专栏(全网一个名)，手把手带你零基础入门Spring Boot，从入门到就业，助你早日登顶实现财富自由🚀；同时，欢迎大家关注&&收藏&&订阅！持续更新中，up！up！up！！环境说明：Windows 10 + IntelliJ IDEA 2021.3.2 + Jdk 1.8 前言在现代分布式系统中，消息队列作为一种强有力的解耦工具，帮助开发者在...
- 1、为什么要使用MQ1）解耦：A 系统发送数据到 BCD 三个系统，通过接口调用发送。如果 E 系统也要这个数据呢？那如果 C 系统现在不需要了呢？A 系统负责人几乎崩溃…A 系统跟其它各种乱七八糟的系统严重耦合，A 系统产生一条比较关键的数据，很多系统都需要 A 系统将这个数据发送过来。如果使用MQ，A 系统产生一条数据，发送到 MQ 里面去，哪个系统需要数据自己去 MQ 里面消费。如... 1、为什么要使用MQ1）解耦：A 系统发送数据到 BCD 三个系统，通过接口调用发送。如果 E 系统也要这个数据呢？那如果 C 系统现在不需要了呢？A 系统负责人几乎崩溃…A 系统跟其它各种乱七八糟的系统严重耦合，A 系统产生一条比较关键的数据，很多系统都需要 A 系统将这个数据发送过来。如果使用MQ，A 系统产生一条数据，发送到 MQ 里面去，哪个系统需要数据自己去 MQ 里面消费。如...
上滑加载中
推荐直播
-
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家；李炎-华为云码道产品专家；彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战，从0到1打通消息通道；码道鸿蒙端云一体化实战，快速搭建员工签到系统。
回顾中 -
华为云开发者AI素养直播课·第五期2026/09/04 周五 16:00-18:00
林华鼎-华为云AI开发者运营负责人；蒋春阳-华为云AI开发者案例开发专家
本期直播内容： AI工具体验营 · 第5-8课连讲。Agent-Team 多智能体协作完成毕业设计实践
回顾中 -
华为云开发者AI素养ClassRoom·第六期2026/09/08 周二 19:00-20:00
樊渊-2026华为软件挑战赛冠军
高手来了：看软挑高手解析二维排样问题—从工业难题到算法突破
回顾中
热门标签