- 安装单节点并配置启动KafkaApache Kafka 是一个分布式流处理平台，用于构建实时数据管道和流应用。它能够处理大量数据，并且具有高吞吐量、低延迟的特点。本文将详细介绍如何在单节点上安装、配置并启动 Apache Kafka。环境准备系统要求操作系统：Linux（本教程以 Ubuntu 20.04 为例）Java 环境：JDK 1.8 或更高版本安装 Java首先，确保你的系统中已经... 安装单节点并配置启动KafkaApache Kafka 是一个分布式流处理平台，用于构建实时数据管道和流应用。它能够处理大量数据，并且具有高吞吐量、低延迟的特点。本文将详细介绍如何在单节点上安装、配置并启动 Apache Kafka。环境准备系统要求操作系统：Linux（本教程以 Ubuntu 20.04 为例）Java 环境：JDK 1.8 或更高版本安装 Java首先，确保你的系统中已经...
- 本文介绍了数据中台的整体架构设计，涵盖数据采集、存储、计算、服务及治理等多个层面。在数据采集层，通过实时与离线方式整合多类型数据源；存储层采用分层策略，包括原始层、清洗层、服务层和归档层，满足不同访问频率需求；计算层提供批处理、流处理、交互式分析和AI计算能力，支持多样化业务场景。数据服务层封装数据为标准化API，实现灵活调用，同时强调数据治理与安全，确保元数据管理、质量监控、权限控制及加密措施 本文介绍了数据中台的整体架构设计，涵盖数据采集、存储、计算、服务及治理等多个层面。在数据采集层，通过实时与离线方式整合多类型数据源；存储层采用分层策略，包括原始层、清洗层、服务层和归档层，满足不同访问频率需求；计算层提供批处理、流处理、交互式分析和AI计算能力，支持多样化业务场景。数据服务层封装数据为标准化API，实现灵活调用，同时强调数据治理与安全，确保元数据管理、质量监控、权限控制及加密措施
- 消息系统之Kafka什么是消息系统消息系统是专用的中间件，负责将数据从一个应用传递到另外一个应用。使应用只需关注于数据，无需关注数据在两个或多个应用间是如何传递的。消息系统一般基于可靠的消息队列来实现，使用点对点模式或发布订阅模式。数据实时在消息系统中传递，被看作流。为什么使用消息系统使用消息系统具有以下优势：解耦：发送方和接收方统一使用消息系统提供的接口进行通信，易修改易扩展。持久化：传递... 消息系统之Kafka什么是消息系统消息系统是专用的中间件，负责将数据从一个应用传递到另外一个应用。使应用只需关注于数据，无需关注数据在两个或多个应用间是如何传递的。消息系统一般基于可靠的消息队列来实现，使用点对点模式或发布订阅模式。数据实时在消息系统中传递，被看作流。为什么使用消息系统使用消息系统具有以下优势：解耦：发送方和接收方统一使用消息系统提供的接口进行通信，易修改易扩展。持久化：传递...
- 🏆本文收录于「滚雪球学SpringBoot」专栏(全网一个名)，手把手带你零基础入门Spring Boot，从入门到就业，助你早日登顶实现财富自由🚀；同时，欢迎大家关注&&收藏&&订阅！持续更新中，up！up！up！！环境说明：Windows 10 + IntelliJ IDEA 2021.3.2 + Jdk 1.8 📢 前言 在微服务架构中，服务之间的通信不仅仅限于 HTTP 请求... 🏆本文收录于「滚雪球学SpringBoot」专栏(全网一个名)，手把手带你零基础入门Spring Boot，从入门到就业，助你早日登顶实现财富自由🚀；同时，欢迎大家关注&&收藏&&订阅！持续更新中，up！up！up！！环境说明：Windows 10 + IntelliJ IDEA 2021.3.2 + Jdk 1.8 📢 前言 在微服务架构中，服务之间的通信不仅仅限于 HTTP 请求...
- Flume读取日志数据写入Kafka在大数据处理领域，日志数据的收集、传输和存储是非常重要的环节。Apache Flume 是一个分布式、可靠且可用的服务，用于有效地收集、聚合和移动大量日志数据。而 Apache Kafka 则是一个高吞吐量的分布式发布订阅消息系统，常用于构建实时数据管道和流应用。本文将介绍如何配置 Flume 从文件中读取日志数据并将其写入到 Kafka 中。环境准备在开... Flume读取日志数据写入Kafka在大数据处理领域，日志数据的收集、传输和存储是非常重要的环节。Apache Flume 是一个分布式、可靠且可用的服务，用于有效地收集、聚合和移动大量日志数据。而 Apache Kafka 则是一个高吞吐量的分布式发布订阅消息系统，常用于构建实时数据管道和流应用。本文将介绍如何配置 Flume 从文件中读取日志数据并将其写入到 Kafka 中。环境准备在开...
- 1 简介事件架构的几个例子，事件驱动型架构（Event-Driven Architecture, EDA）是一种以事件为中心的架构模式，通常用于解耦系统组件，提高可扩展性和响应性。主流的事件驱动架构包括： 基于消息队列（Message Queue-Based EDA）典型技术栈：Kafka、RabbitMQ、NSQ事件存储在消息队列中，多个消费者可以异步消费事件。适用于高吞吐量和可靠性要求... 1 简介事件架构的几个例子，事件驱动型架构（Event-Driven Architecture, EDA）是一种以事件为中心的架构模式，通常用于解耦系统组件，提高可扩展性和响应性。主流的事件驱动架构包括： 基于消息队列（Message Queue-Based EDA）典型技术栈：Kafka、RabbitMQ、NSQ事件存储在消息队列中，多个消费者可以异步消费事件。适用于高吞吐量和可靠性要求...
- 在 Spring Boot 2.7.x 中引入 Kafka 0.9 的实践涉及 Kafka 的基本概念、Spring Boot 的集成方式、实际应用场景以及代码实现。以下是详细的介绍和实践指南。 1. Kafka 简介与核心特性 Kafka 简介Apache Kafka 是一个分布式流处理平台，主要用于构建实时数据管道和流应用。它的核心特性包括：高吞吐量：支持每秒处理数百万条消息。持久化：消... 在 Spring Boot 2.7.x 中引入 Kafka 0.9 的实践涉及 Kafka 的基本概念、Spring Boot 的集成方式、实际应用场景以及代码实现。以下是详细的介绍和实践指南。 1. Kafka 简介与核心特性 Kafka 简介Apache Kafka 是一个分布式流处理平台，主要用于构建实时数据管道和流应用。它的核心特性包括：高吞吐量：支持每秒处理数百万条消息。持久化：消...
- Kafka单机多Broker实例集群搭建Apache Kafka 是一个分布式流处理平台，广泛应用于日志收集、监控数据聚合、流式数据处理等场景。在开发和测试环境中，为了节约资源，我们常常需要在一个物理机器上搭建多个Kafka Broker实例来模拟生产环境中的集群。本文将详细介绍如何在一个单机上搭建多个Kafka Broker实例的步骤。环境准备操作系统：Ubuntu 20.04Java版本... Kafka单机多Broker实例集群搭建Apache Kafka 是一个分布式流处理平台，广泛应用于日志收集、监控数据聚合、流式数据处理等场景。在开发和测试环境中，为了节约资源，我们常常需要在一个物理机器上搭建多个Kafka Broker实例来模拟生产环境中的集群。本文将详细介绍如何在一个单机上搭建多个Kafka Broker实例的步骤。环境准备操作系统：Ubuntu 20.04Java版本...
- 🏆本文收录于「滚雪球学SpringBoot」专栏，手把手带你零基础入门Spring Boot，从入门到就业，助你早日登顶实现财富自由🚀；同时，欢迎大家关注&&收藏&&订阅！持续更新中，up！up！up！！环境说明：Windows 10 + IntelliJ IDEA 2021.3.2 + Jdk 1.8 🚀 Spring Boot与消息队列：如何用RabbitMQ和Kafka提升你的系... 🏆本文收录于「滚雪球学SpringBoot」专栏，手把手带你零基础入门Spring Boot，从入门到就业，助你早日登顶实现财富自由🚀；同时，欢迎大家关注&&收藏&&订阅！持续更新中，up！up！up！！环境说明：Windows 10 + IntelliJ IDEA 2021.3.2 + Jdk 1.8 🚀 Spring Boot与消息队列：如何用RabbitMQ和Kafka提升你的系...
- Kafka Replication Factor 大于可用 Broker 数量的问题解决方案在使用 Apache Kafka 时，经常会遇到配置 replication factor（副本因子）大于可用的 broker（代理服务器）数量的问题。这会导致 Kafka 无法创建 topic，或者在创建 topic 时抛出错误。本文将探讨这个问题的原因，并提供几种解决方法。问题描述... Kafka Replication Factor 大于可用 Broker 数量的问题解决方案在使用 Apache Kafka 时，经常会遇到配置 replication factor（副本因子）大于可用的 broker（代理服务器）数量的问题。这会导致 Kafka 无法创建 topic，或者在创建 topic 时抛出错误。本文将探讨这个问题的原因，并提供几种解决方法。问题描述...
- 在分布式系统中，消息中间件（如 RabbitMQ、RocketMQ、Kafka、Pulsar 等）扮演着关键角色，用于解耦生产者和消费者，并确保数据传输的可靠性和顺序性。尽管我们通常会采取多种措施来防止消息丢失，如消息持久化、手动确认机制和重试机制等，但如果消息已经丢失了这种情况，当丢失已经发生又应该如何处理呢？下面我们探讨可能的丢失场景及相应的补救措施。1. 生产者发送消息失败场景: 生产... 在分布式系统中，消息中间件（如 RabbitMQ、RocketMQ、Kafka、Pulsar 等）扮演着关键角色，用于解耦生产者和消费者，并确保数据传输的可靠性和顺序性。尽管我们通常会采取多种措施来防止消息丢失，如消息持久化、手动确认机制和重试机制等，但如果消息已经丢失了这种情况，当丢失已经发生又应该如何处理呢？下面我们探讨可能的丢失场景及相应的补救措施。1. 生产者发送消息失败场景: 生产...
- Kafka 流式计算架构 介绍Kafka 是一个分布式流处理平台，旨在以高吞吐量和低延迟的方式处理实时数据流。它最初由 LinkedIn 开发，并贡献给 Apache 基金会。Kafka 可以用于构建实时流数据管道和流式应用程序。 应用使用场景实时数据分析：如股票行情、传感器数据监控。日志聚合与处理：集中收集多个来源的日志并进行分析。事件驱动应用：响应用户交互或系统事件。数据流管道：连接多... Kafka 流式计算架构 介绍Kafka 是一个分布式流处理平台，旨在以高吞吐量和低延迟的方式处理实时数据流。它最初由 LinkedIn 开发，并贡献给 Apache 基金会。Kafka 可以用于构建实时流数据管道和流式应用程序。 应用使用场景实时数据分析：如股票行情、传感器数据监控。日志聚合与处理：集中收集多个来源的日志并进行分析。事件驱动应用：响应用户交互或系统事件。数据流管道：连接多...
- Kafka 是一个高吞吐量、高性能的消息中间件，关于 Kafka 高性能背后的实现，是大厂面试高频问题。本篇全面详解 Kafka 高性能背后的实现。关注【mikechen的互联网架构】，10年+BAT架构经验倾囊相授。 Kafka 是一个高吞吐量、高性能的消息中间件，关于 Kafka 高性能背后的实现，是大厂面试高频问题。本篇全面详解 Kafka 高性能背后的实现。关注【mikechen的互联网架构】，10年+BAT架构经验倾囊相授。
- 本文详细解析了 Kafka 的核心架构和实现原理，消息中间件是亿级互联网架构的基石，大厂面试高频，非常重要，建议收藏。关注【mikechen的互联网架构】，10年+BAT架构经验倾囊相授。 本文详细解析了 Kafka 的核心架构和实现原理，消息中间件是亿级互联网架构的基石，大厂面试高频，非常重要，建议收藏。关注【mikechen的互联网架构】，10年+BAT架构经验倾囊相授。
- 本文详细介绍 RocketMQ 的五大要点、核心特性及应用场景，涵盖高并发业务场景下的消息中间件关键知识点。关注【mikechen的互联网架构】，10年+BAT架构经验倾囊相授。 本文详细介绍 RocketMQ 的五大要点、核心特性及应用场景，涵盖高并发业务场景下的消息中间件关键知识点。关注【mikechen的互联网架构】，10年+BAT架构经验倾囊相授。
上滑加载中
推荐直播
-
Skill 构建 × 智能创作：基于华为云码道的 AI 内容生产提效方案2026/03/25 周三 19:00-20:00
余伟，华为云软件研发工程师/万邵业（万少），华为云HCDE开发者专家
本次直播带来两大实战：华为云码道 Skill-Creator 手把手搭建专属知识库 Skill；如何用码道提效 OpenClaw 小说文本，打造从大纲到成稿的 AI 原创小说全链路。技术干货 + OPC创作思路，一次讲透！
回顾中 -
码道新技能，AI 新生产力——从自动视频生成到开源项目解析2026/04/08 周三 19:00-21:00
童得力-华为云开发者生态运营总监/何文强-无人机企业AI提效负责人
本次华为云码道 Skill 实战活动，聚焦两大 AI 开发场景：通过实战教学，带你打造 AI 编程自动生成视频 Skill，并实现对 GitHub 热门开源项目的智能知识抽取，手把手掌握 Skill 开发全流程，用 AI 提升研发效率与内容生产力。
回顾中 -
华为云码道：零代码股票智能决策平台全功能实战2026/04/18 周六 10:00-12:00
秦拳德-中软国际教育卓越研究院研究员、华为云金牌讲师、云原生技术专家
利用Tushare接口获取实时行情数据，采用Transformer算法进行时序预测与涨跌分析，并集成DeepSeek API提供智能解读。同时，项目深度结合华为云CodeArts（码道）的代码智能体能力，实现代码一键推送至云端代码仓库，建立起高效、可协作的团队开发新范式。开发者可快速上手，从零打造功能完整的个股筛选、智能分析与风险管控产品。
回顾中
热门标签