- Apache Kafka 是一个分布式发布-订阅消息系统。是大数据领域消息队列中唯一的王者。最初由 linkedin 公司使用 scala 语言开发，在2010年贡献给了Apache基金会并成为顶级开源项目。至今已有十余年，仍然是大数据领域不可或缺的并且是越来越重要的一个组件。Kafka 适合离线和在线消息，消息保留在磁盘上，并在集群内复制以防止数据丢失。kafka构建在zookeeper同... Apache Kafka 是一个分布式发布-订阅消息系统。是大数据领域消息队列中唯一的王者。最初由 linkedin 公司使用 scala 语言开发，在2010年贡献给了Apache基金会并成为顶级开源项目。至今已有十余年，仍然是大数据领域不可或缺的并且是越来越重要的一个组件。Kafka 适合离线和在线消息，消息保留在磁盘上，并在集群内复制以防止数据丢失。kafka构建在zookeeper同...
- 5.1 同步生产消息到Kafka中5.1.1 需求接下来，我们将编写Java程序，将1-100的数字消息写入到Kafka中。5.1.2 准备工作5.1.2.1 导入Maven Kafka POM依赖<repositories><!-- 代码库 --> <repository> <id>central</id> <url>http://maven.aliyun... 5.1 同步生产消息到Kafka中5.1.1 需求接下来，我们将编写Java程序，将1-100的数字消息写入到Kafka中。5.1.2 准备工作5.1.2.1 导入Maven Kafka POM依赖<repositories><!-- 代码库 --> <repository> <id>central</id> <url>http://maven.aliyun...
- 🏆本文收录于「滚雪球学SpringBoot」专栏(全网一个名)，手把手带你零基础入门Spring Boot，从入门到就业，助你早日登顶实现财富自由🚀；同时，欢迎大家关注&&收藏&&订阅！持续更新中，up！up！up！！环境说明：Windows 10 + IntelliJ IDEA 2021.3.2 + Jdk 1.8 前言在这篇文章中，我们将讨论如何在Spring Boot应用中集成Ka... 🏆本文收录于「滚雪球学SpringBoot」专栏(全网一个名)，手把手带你零基础入门Spring Boot，从入门到就业，助你早日登顶实现财富自由🚀；同时，欢迎大家关注&&收藏&&订阅！持续更新中，up！up！up！！环境说明：Windows 10 + IntelliJ IDEA 2021.3.2 + Jdk 1.8 前言在这篇文章中，我们将讨论如何在Spring Boot应用中集成Ka...
- 为什么需要有Topic？Topic是一个消息的逻辑分类。Kafka为什么需要Topic，就是Kafka为什么需要对消息进行逻辑上的分类。在一个小型电商项目中，如果订单模块和商品模块都需要使用消息队列。两个模块中的消息一个是订单信息，一个是商品的描述消息。两种消息肯定不是同一类的消息，它们消息内容不一样、结构不一样、并且分别有自己的生产者群体和消费者群体。Kafka消息系统是一个庞大的系统，不... 为什么需要有Topic？Topic是一个消息的逻辑分类。Kafka为什么需要Topic，就是Kafka为什么需要对消息进行逻辑上的分类。在一个小型电商项目中，如果订单模块和商品模块都需要使用消息队列。两个模块中的消息一个是订单信息，一个是商品的描述消息。两种消息肯定不是同一类的消息，它们消息内容不一样、结构不一样、并且分别有自己的生产者群体和消费者群体。Kafka消息系统是一个庞大的系统，不...
- Kafka 是个分布式的、持分区的（partition）、多副本的 （replica），基于 zookeeper 协调的分布式消息系统，它最大的特性就是可以实时处理大量数据以满足各类需求场景：日志收集：使用 Kafka 收集各种服务的日志，并通过 kafka 以统一接口服务的方式开放给各种 consumer，例如 hadoop、Hbase、Solr 等消息系统：解耦和生产者和消费者、缓存消息... Kafka 是个分布式的、持分区的（partition）、多副本的 （replica），基于 zookeeper 协调的分布式消息系统，它最大的特性就是可以实时处理大量数据以满足各类需求场景：日志收集：使用 Kafka 收集各种服务的日志，并通过 kafka 以统一接口服务的方式开放给各种 consumer，例如 hadoop、Hbase、Solr 等消息系统：解耦和生产者和消费者、缓存消息...
- 消息队列中间件就是用来存储消息的软件（组件）。举个例子来理解，为了分析网站的用户行为，我们需要记录用户的访问日志。这些一条条的日志，可以看成是一条条的消息，我们可以将它们保存到消息队列中。Kafka作为分布式流处理的代表，通过分区、副本、零拷贝等技术实现了高吞吐量与可靠性，尤其适合大规模数据处理和实时分析场景。其技术生态（如Kafka Streams、KSQL）进一步扩展了应用范围，但在复杂路由和 消息队列中间件就是用来存储消息的软件（组件）。举个例子来理解，为了分析网站的用户行为，我们需要记录用户的访问日志。这些一条条的日志，可以看成是一条条的消息，我们可以将它们保存到消息队列中。Kafka作为分布式流处理的代表，通过分区、副本、零拷贝等技术实现了高吞吐量与可靠性，尤其适合大规模数据处理和实时分析场景。其技术生态（如Kafka Streams、KSQL）进一步扩展了应用范围，但在复杂路由和
- 安装单节点并配置启动KafkaApache Kafka 是一个分布式流处理平台，用于构建实时数据管道和流应用。它能够处理大量数据，并且具有高吞吐量、低延迟的特点。本文将详细介绍如何在单节点上安装、配置并启动 Apache Kafka。环境准备系统要求操作系统：Linux（本教程以 Ubuntu 20.04 为例）Java 环境：JDK 1.8 或更高版本安装 Java首先，确保你的系统中已经... 安装单节点并配置启动KafkaApache Kafka 是一个分布式流处理平台，用于构建实时数据管道和流应用。它能够处理大量数据，并且具有高吞吐量、低延迟的特点。本文将详细介绍如何在单节点上安装、配置并启动 Apache Kafka。环境准备系统要求操作系统：Linux（本教程以 Ubuntu 20.04 为例）Java 环境：JDK 1.8 或更高版本安装 Java首先，确保你的系统中已经...
- 本文介绍了数据中台的整体架构设计，涵盖数据采集、存储、计算、服务及治理等多个层面。在数据采集层，通过实时与离线方式整合多类型数据源；存储层采用分层策略，包括原始层、清洗层、服务层和归档层，满足不同访问频率需求；计算层提供批处理、流处理、交互式分析和AI计算能力，支持多样化业务场景。数据服务层封装数据为标准化API，实现灵活调用，同时强调数据治理与安全，确保元数据管理、质量监控、权限控制及加密措施 本文介绍了数据中台的整体架构设计，涵盖数据采集、存储、计算、服务及治理等多个层面。在数据采集层，通过实时与离线方式整合多类型数据源；存储层采用分层策略，包括原始层、清洗层、服务层和归档层，满足不同访问频率需求；计算层提供批处理、流处理、交互式分析和AI计算能力，支持多样化业务场景。数据服务层封装数据为标准化API，实现灵活调用，同时强调数据治理与安全，确保元数据管理、质量监控、权限控制及加密措施
- 消息系统之Kafka什么是消息系统消息系统是专用的中间件，负责将数据从一个应用传递到另外一个应用。使应用只需关注于数据，无需关注数据在两个或多个应用间是如何传递的。消息系统一般基于可靠的消息队列来实现，使用点对点模式或发布订阅模式。数据实时在消息系统中传递，被看作流。为什么使用消息系统使用消息系统具有以下优势：解耦：发送方和接收方统一使用消息系统提供的接口进行通信，易修改易扩展。持久化：传递... 消息系统之Kafka什么是消息系统消息系统是专用的中间件，负责将数据从一个应用传递到另外一个应用。使应用只需关注于数据，无需关注数据在两个或多个应用间是如何传递的。消息系统一般基于可靠的消息队列来实现，使用点对点模式或发布订阅模式。数据实时在消息系统中传递，被看作流。为什么使用消息系统使用消息系统具有以下优势：解耦：发送方和接收方统一使用消息系统提供的接口进行通信，易修改易扩展。持久化：传递...
- 🏆本文收录于「滚雪球学SpringBoot」专栏(全网一个名)，手把手带你零基础入门Spring Boot，从入门到就业，助你早日登顶实现财富自由🚀；同时，欢迎大家关注&&收藏&&订阅！持续更新中，up！up！up！！环境说明：Windows 10 + IntelliJ IDEA 2021.3.2 + Jdk 1.8 📢 前言 在微服务架构中，服务之间的通信不仅仅限于 HTTP 请求... 🏆本文收录于「滚雪球学SpringBoot」专栏(全网一个名)，手把手带你零基础入门Spring Boot，从入门到就业，助你早日登顶实现财富自由🚀；同时，欢迎大家关注&&收藏&&订阅！持续更新中，up！up！up！！环境说明：Windows 10 + IntelliJ IDEA 2021.3.2 + Jdk 1.8 📢 前言 在微服务架构中，服务之间的通信不仅仅限于 HTTP 请求...
- Flume读取日志数据写入Kafka在大数据处理领域，日志数据的收集、传输和存储是非常重要的环节。Apache Flume 是一个分布式、可靠且可用的服务，用于有效地收集、聚合和移动大量日志数据。而 Apache Kafka 则是一个高吞吐量的分布式发布订阅消息系统，常用于构建实时数据管道和流应用。本文将介绍如何配置 Flume 从文件中读取日志数据并将其写入到 Kafka 中。环境准备在开... Flume读取日志数据写入Kafka在大数据处理领域，日志数据的收集、传输和存储是非常重要的环节。Apache Flume 是一个分布式、可靠且可用的服务，用于有效地收集、聚合和移动大量日志数据。而 Apache Kafka 则是一个高吞吐量的分布式发布订阅消息系统，常用于构建实时数据管道和流应用。本文将介绍如何配置 Flume 从文件中读取日志数据并将其写入到 Kafka 中。环境准备在开...
- 1 简介事件架构的几个例子，事件驱动型架构（Event-Driven Architecture, EDA）是一种以事件为中心的架构模式，通常用于解耦系统组件，提高可扩展性和响应性。主流的事件驱动架构包括： 基于消息队列（Message Queue-Based EDA）典型技术栈：Kafka、RabbitMQ、NSQ事件存储在消息队列中，多个消费者可以异步消费事件。适用于高吞吐量和可靠性要求... 1 简介事件架构的几个例子，事件驱动型架构（Event-Driven Architecture, EDA）是一种以事件为中心的架构模式，通常用于解耦系统组件，提高可扩展性和响应性。主流的事件驱动架构包括： 基于消息队列（Message Queue-Based EDA）典型技术栈：Kafka、RabbitMQ、NSQ事件存储在消息队列中，多个消费者可以异步消费事件。适用于高吞吐量和可靠性要求...
- 在 Spring Boot 2.7.x 中引入 Kafka 0.9 的实践涉及 Kafka 的基本概念、Spring Boot 的集成方式、实际应用场景以及代码实现。以下是详细的介绍和实践指南。 1. Kafka 简介与核心特性 Kafka 简介Apache Kafka 是一个分布式流处理平台，主要用于构建实时数据管道和流应用。它的核心特性包括：高吞吐量：支持每秒处理数百万条消息。持久化：消... 在 Spring Boot 2.7.x 中引入 Kafka 0.9 的实践涉及 Kafka 的基本概念、Spring Boot 的集成方式、实际应用场景以及代码实现。以下是详细的介绍和实践指南。 1. Kafka 简介与核心特性 Kafka 简介Apache Kafka 是一个分布式流处理平台，主要用于构建实时数据管道和流应用。它的核心特性包括：高吞吐量：支持每秒处理数百万条消息。持久化：消...
- Kafka单机多Broker实例集群搭建Apache Kafka 是一个分布式流处理平台，广泛应用于日志收集、监控数据聚合、流式数据处理等场景。在开发和测试环境中，为了节约资源，我们常常需要在一个物理机器上搭建多个Kafka Broker实例来模拟生产环境中的集群。本文将详细介绍如何在一个单机上搭建多个Kafka Broker实例的步骤。环境准备操作系统：Ubuntu 20.04Java版本... Kafka单机多Broker实例集群搭建Apache Kafka 是一个分布式流处理平台，广泛应用于日志收集、监控数据聚合、流式数据处理等场景。在开发和测试环境中，为了节约资源，我们常常需要在一个物理机器上搭建多个Kafka Broker实例来模拟生产环境中的集群。本文将详细介绍如何在一个单机上搭建多个Kafka Broker实例的步骤。环境准备操作系统：Ubuntu 20.04Java版本...
- 🏆本文收录于「滚雪球学SpringBoot」专栏，手把手带你零基础入门Spring Boot，从入门到就业，助你早日登顶实现财富自由🚀；同时，欢迎大家关注&&收藏&&订阅！持续更新中，up！up！up！！环境说明：Windows 10 + IntelliJ IDEA 2021.3.2 + Jdk 1.8 🚀 Spring Boot与消息队列：如何用RabbitMQ和Kafka提升你的系... 🏆本文收录于「滚雪球学SpringBoot」专栏，手把手带你零基础入门Spring Boot，从入门到就业，助你早日登顶实现财富自由🚀；同时，欢迎大家关注&&收藏&&订阅！持续更新中，up！up！up！！环境说明：Windows 10 + IntelliJ IDEA 2021.3.2 + Jdk 1.8 🚀 Spring Boot与消息队列：如何用RabbitMQ和Kafka提升你的系...
上滑加载中
推荐直播
-
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家；李炎-华为云码道产品专家；彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战，从0到1打通消息通道；码道鸿蒙端云一体化实战，快速搭建员工签到系统。
回顾中 -
华为云开发者AI素养直播课·第五期2026/09/04 周五 16:00-18:00
林华鼎-华为云AI开发者运营负责人；蒋春阳-华为云AI开发者案例开发专家
本期直播内容： AI工具体验营 · 第5-8课连讲。Agent-Team 多智能体协作完成毕业设计实践
回顾中 -
华为云开发者AI素养ClassRoom·第六期2026/09/08 周二 19:00-20:00
樊渊-2026华为软件挑战赛冠军
高手来了：看软挑高手解析二维排样问题—从工业难题到算法突破
回顾中
热门标签