- Flume读取日志数据写入Kafka在大数据处理领域，日志数据的收集、传输和存储是非常重要的环节。Apache Flume 是一个分布式、可靠且可用的服务，用于有效地收集、聚合和移动大量日志数据。而 Apache Kafka 则是一个高吞吐量的分布式发布订阅消息系统，常用于构建实时数据管道和流应用。本文将介绍如何配置 Flume 从文件中读取日志数据并将其写入到 Kafka 中。环境准备在开... Flume读取日志数据写入Kafka在大数据处理领域，日志数据的收集、传输和存储是非常重要的环节。Apache Flume 是一个分布式、可靠且可用的服务，用于有效地收集、聚合和移动大量日志数据。而 Apache Kafka 则是一个高吞吐量的分布式发布订阅消息系统，常用于构建实时数据管道和流应用。本文将介绍如何配置 Flume 从文件中读取日志数据并将其写入到 Kafka 中。环境准备在开...
- 1 简介事件架构的几个例子，事件驱动型架构（Event-Driven Architecture, EDA）是一种以事件为中心的架构模式，通常用于解耦系统组件，提高可扩展性和响应性。主流的事件驱动架构包括： 基于消息队列（Message Queue-Based EDA）典型技术栈：Kafka、RabbitMQ、NSQ事件存储在消息队列中，多个消费者可以异步消费事件。适用于高吞吐量和可靠性要求... 1 简介事件架构的几个例子，事件驱动型架构（Event-Driven Architecture, EDA）是一种以事件为中心的架构模式，通常用于解耦系统组件，提高可扩展性和响应性。主流的事件驱动架构包括： 基于消息队列（Message Queue-Based EDA）典型技术栈：Kafka、RabbitMQ、NSQ事件存储在消息队列中，多个消费者可以异步消费事件。适用于高吞吐量和可靠性要求...
- 在 Spring Boot 2.7.x 中引入 Kafka 0.9 的实践涉及 Kafka 的基本概念、Spring Boot 的集成方式、实际应用场景以及代码实现。以下是详细的介绍和实践指南。 1. Kafka 简介与核心特性 Kafka 简介Apache Kafka 是一个分布式流处理平台，主要用于构建实时数据管道和流应用。它的核心特性包括：高吞吐量：支持每秒处理数百万条消息。持久化：消... 在 Spring Boot 2.7.x 中引入 Kafka 0.9 的实践涉及 Kafka 的基本概念、Spring Boot 的集成方式、实际应用场景以及代码实现。以下是详细的介绍和实践指南。 1. Kafka 简介与核心特性 Kafka 简介Apache Kafka 是一个分布式流处理平台，主要用于构建实时数据管道和流应用。它的核心特性包括：高吞吐量：支持每秒处理数百万条消息。持久化：消...
- Kafka单机多Broker实例集群搭建Apache Kafka 是一个分布式流处理平台，广泛应用于日志收集、监控数据聚合、流式数据处理等场景。在开发和测试环境中，为了节约资源，我们常常需要在一个物理机器上搭建多个Kafka Broker实例来模拟生产环境中的集群。本文将详细介绍如何在一个单机上搭建多个Kafka Broker实例的步骤。环境准备操作系统：Ubuntu 20.04Java版本... Kafka单机多Broker实例集群搭建Apache Kafka 是一个分布式流处理平台，广泛应用于日志收集、监控数据聚合、流式数据处理等场景。在开发和测试环境中，为了节约资源，我们常常需要在一个物理机器上搭建多个Kafka Broker实例来模拟生产环境中的集群。本文将详细介绍如何在一个单机上搭建多个Kafka Broker实例的步骤。环境准备操作系统：Ubuntu 20.04Java版本...
- 🏆本文收录于「滚雪球学SpringBoot」专栏，手把手带你零基础入门Spring Boot，从入门到就业，助你早日登顶实现财富自由🚀；同时，欢迎大家关注&&收藏&&订阅！持续更新中，up！up！up！！环境说明：Windows 10 + IntelliJ IDEA 2021.3.2 + Jdk 1.8 🚀 Spring Boot与消息队列：如何用RabbitMQ和Kafka提升你的系... 🏆本文收录于「滚雪球学SpringBoot」专栏，手把手带你零基础入门Spring Boot，从入门到就业，助你早日登顶实现财富自由🚀；同时，欢迎大家关注&&收藏&&订阅！持续更新中，up！up！up！！环境说明：Windows 10 + IntelliJ IDEA 2021.3.2 + Jdk 1.8 🚀 Spring Boot与消息队列：如何用RabbitMQ和Kafka提升你的系...
- Kafka Replication Factor 大于可用 Broker 数量的问题解决方案在使用 Apache Kafka 时，经常会遇到配置 replication factor（副本因子）大于可用的 broker（代理服务器）数量的问题。这会导致 Kafka 无法创建 topic，或者在创建 topic 时抛出错误。本文将探讨这个问题的原因，并提供几种解决方法。问题描述... Kafka Replication Factor 大于可用 Broker 数量的问题解决方案在使用 Apache Kafka 时，经常会遇到配置 replication factor（副本因子）大于可用的 broker（代理服务器）数量的问题。这会导致 Kafka 无法创建 topic，或者在创建 topic 时抛出错误。本文将探讨这个问题的原因，并提供几种解决方法。问题描述...
- 在分布式系统中，消息中间件（如 RabbitMQ、RocketMQ、Kafka、Pulsar 等）扮演着关键角色，用于解耦生产者和消费者，并确保数据传输的可靠性和顺序性。尽管我们通常会采取多种措施来防止消息丢失，如消息持久化、手动确认机制和重试机制等，但如果消息已经丢失了这种情况，当丢失已经发生又应该如何处理呢？下面我们探讨可能的丢失场景及相应的补救措施。1. 生产者发送消息失败场景: 生产... 在分布式系统中，消息中间件（如 RabbitMQ、RocketMQ、Kafka、Pulsar 等）扮演着关键角色，用于解耦生产者和消费者，并确保数据传输的可靠性和顺序性。尽管我们通常会采取多种措施来防止消息丢失，如消息持久化、手动确认机制和重试机制等，但如果消息已经丢失了这种情况，当丢失已经发生又应该如何处理呢？下面我们探讨可能的丢失场景及相应的补救措施。1. 生产者发送消息失败场景: 生产...
- Kafka 流式计算架构 介绍Kafka 是一个分布式流处理平台，旨在以高吞吐量和低延迟的方式处理实时数据流。它最初由 LinkedIn 开发，并贡献给 Apache 基金会。Kafka 可以用于构建实时流数据管道和流式应用程序。 应用使用场景实时数据分析：如股票行情、传感器数据监控。日志聚合与处理：集中收集多个来源的日志并进行分析。事件驱动应用：响应用户交互或系统事件。数据流管道：连接多... Kafka 流式计算架构 介绍Kafka 是一个分布式流处理平台，旨在以高吞吐量和低延迟的方式处理实时数据流。它最初由 LinkedIn 开发，并贡献给 Apache 基金会。Kafka 可以用于构建实时流数据管道和流式应用程序。 应用使用场景实时数据分析：如股票行情、传感器数据监控。日志聚合与处理：集中收集多个来源的日志并进行分析。事件驱动应用：响应用户交互或系统事件。数据流管道：连接多...
- Kafka 是一个高吞吐量、高性能的消息中间件，关于 Kafka 高性能背后的实现，是大厂面试高频问题。本篇全面详解 Kafka 高性能背后的实现。关注【mikechen的互联网架构】，10年+BAT架构经验倾囊相授。 Kafka 是一个高吞吐量、高性能的消息中间件，关于 Kafka 高性能背后的实现，是大厂面试高频问题。本篇全面详解 Kafka 高性能背后的实现。关注【mikechen的互联网架构】，10年+BAT架构经验倾囊相授。
- 本文详细解析了 Kafka 的核心架构和实现原理，消息中间件是亿级互联网架构的基石，大厂面试高频，非常重要，建议收藏。关注【mikechen的互联网架构】，10年+BAT架构经验倾囊相授。 本文详细解析了 Kafka 的核心架构和实现原理，消息中间件是亿级互联网架构的基石，大厂面试高频，非常重要，建议收藏。关注【mikechen的互联网架构】，10年+BAT架构经验倾囊相授。
- 本文详细介绍 RocketMQ 的五大要点、核心特性及应用场景，涵盖高并发业务场景下的消息中间件关键知识点。关注【mikechen的互联网架构】，10年+BAT架构经验倾囊相授。 本文详细介绍 RocketMQ 的五大要点、核心特性及应用场景，涵盖高并发业务场景下的消息中间件关键知识点。关注【mikechen的互联网架构】，10年+BAT架构经验倾囊相授。
- 原生的kafka客户端并不支持修改客户端连接的服务器地址，我们有需求需要支持动态地更新kafka客户端的地址，最简单的一个做法就是通过组合的方式，对原生的kafka客户端做一层wrap，来支持修改kafka客户端地址。这层wrap尽量做到无锁化，不影响性能 核心代码 生产者import lombok.extern.slf4j.Slf4j;import org.apache.kafka.cli... 原生的kafka客户端并不支持修改客户端连接的服务器地址，我们有需求需要支持动态地更新kafka客户端的地址，最简单的一个做法就是通过组合的方式，对原生的kafka客户端做一层wrap，来支持修改kafka客户端地址。这层wrap尽量做到无锁化，不影响性能 核心代码 生产者import lombok.extern.slf4j.Slf4j;import org.apache.kafka.cli...
- 现象近期，参与了一次处理线上Kafka单partition积压问题的定位处理。总结一下 处理过程我上线的情况是，16个partition的消息，其中有一个partition的积压特别大，而且该partition所在消费者同时消费者两个partition。同事反馈之前已经尝试过重启，该partition已经迁移到了其他服务所在的机器，情况仍没有好转。其实当时就有想过，是否是处理该partit... 现象近期，参与了一次处理线上Kafka单partition积压问题的定位处理。总结一下 处理过程我上线的情况是，16个partition的消息，其中有一个partition的积压特别大，而且该partition所在消费者同时消费者两个partition。同事反馈之前已经尝试过重启，该partition已经迁移到了其他服务所在的机器，情况仍没有好转。其实当时就有想过，是否是处理该partit...
- Requirementjdk 1.8及以上Kafka 软件包 2.0及以上 执行路径将Kafka软件包解压，进入到bin目录[bin]# lsconnect-distributed.sh kafka-consumer-perf-test.sh kafka-reassign-partitions.sh trogdor.shconnect-mirr... Requirementjdk 1.8及以上Kafka 软件包 2.0及以上 执行路径将Kafka软件包解压，进入到bin目录[bin]# lsconnect-distributed.sh kafka-consumer-perf-test.sh kafka-reassign-partitions.sh trogdor.shconnect-mirr...
- 为什么我们想要业务主键，想要幂等 在分布式微服务场景下，有太多的环节可以引发错误的处理（包括丢失或者重复处理），如果业务本身有幂等的特性，我们可以以较低的代价解决大部分问题。 我们假设我们在k8s集群中维护着下面的系统，部署了数个网关实例，数个业务处理服务，一套Kafka集群，数个消费者服务，一个数据库，平时的业务流程是这样子的：客户--->(step1) 网关--->(step2) ... 为什么我们想要业务主键，想要幂等 在分布式微服务场景下，有太多的环节可以引发错误的处理（包括丢失或者重复处理），如果业务本身有幂等的特性，我们可以以较低的代价解决大部分问题。 我们假设我们在k8s集群中维护着下面的系统，部署了数个网关实例，数个业务处理服务，一套Kafka集群，数个消费者服务，一个数据库，平时的业务流程是这样子的：客户--->(step1) 网关--->(step2) ...
上滑加载中
推荐直播
-
昇腾AI算法挑战赛-核心算子如何优化？专家带你深度解析2025/11/17 周一 16:00-17:00
王老师 华为算子专家
昇腾AI算法挑战赛进阶赛战鼓催征！本期直播间，我们特邀华为算子专家王老师，为你深度剖析Matmul、wholereducesum等核心算子的底层原理与优化技巧，直击赛题核心。想提升代码效率、冲击更高排名？锁定直播，带你破局！
回顾中 -
AI编码实干派，“码”力全开2026/02/26 周四 15:00-16:30
谈宗玮/于邦旭/丁俊卿/陈云亮/王一男
【中国，深圳，2026年2月26日】，以“AI编码实干派，码力全开”为主题的华为云码道（CodeArts）代码智能体新春发布会在线上成功召开。华为云码道公测版正式发布，为开发者和企业提供具备工程化能力的智能编码解决方案。
回顾中 -
华为云码道-玩转OpenClaw，开启在线养虾模式2026/03/11 周三 19:00-20:00
刘昱，华为云高级工程师/谈心，华为云技术专家/李海仑，上海圭卓智能科技有限公司CEO
OpenClaw 火爆开发者圈，华为云码道最新推出 Skill ——开发者只需输入一句口令，即可部署一个功能完整的「小龙虾」智能体。直播带你玩转华为云码道，玩转OpenClaw
回顾中
热门标签