- 本文深入探讨了消息队列的核心概念、应用场景及Kafka、RocketMQ、RabbitMQ的优劣势比较，大厂面试高频，必知必会，建议收藏。关注【mikechen的互联网架构】，10年+BAT架构经验倾囊相授。 本文深入探讨了消息队列的核心概念、应用场景及Kafka、RocketMQ、RabbitMQ的优劣势比较，大厂面试高频，必知必会，建议收藏。关注【mikechen的互联网架构】，10年+BAT架构经验倾囊相授。
- Flink 操作 kafkaflink 提供了一个特有的 kafka connector 去读写 kafka topic 的数据。这样在 flink 消费 kafka 数据时，就可以通过 flink 内部去跟踪 offset 和设定 checkpoint 去实现 exactly-once 的语义。在 Flink 中，我们作为 Consumer 时需要用 Source Connectors 代... Flink 操作 kafkaflink 提供了一个特有的 kafka connector 去读写 kafka topic 的数据。这样在 flink 消费 kafka 数据时，就可以通过 flink 内部去跟踪 offset 和设定 checkpoint 去实现 exactly-once 的语义。在 Flink 中，我们作为 Consumer 时需要用 Source Connectors 代...
- Kafka生产者流程是一个复杂但高效的过程，它涉及到多个步骤和组件的协同工作。以下是对Kafka生产者流程的详细分析： 一、创建生产者实例配置生产者属性：生产者需要配置一系列参数以连接到Kafka集群，如bootstrap.servers（Kafka集群的地址列表）。配置序列化器（Serializer），用于将消息键（Key）和消息值（Value）序列化为字节数组，以便在网络上传输和存储。常... Kafka生产者流程是一个复杂但高效的过程，它涉及到多个步骤和组件的协同工作。以下是对Kafka生产者流程的详细分析： 一、创建生产者实例配置生产者属性：生产者需要配置一系列参数以连接到Kafka集群，如bootstrap.servers（Kafka集群的地址列表）。配置序列化器（Serializer），用于将消息键（Key）和消息值（Value）序列化为字节数组，以便在网络上传输和存储。常...
- Apache Kafka 和 Amazon SQS（Simple Queue Service）是两种广泛使用的消息队列和事件流处理工具，尽管它们都有助于管理和传输数据流，但它们的设计目标、架构和应用场景有所不同。本文将深入比较 Kafka 和 SQS，探讨它们各自的特点、工作原理、使用场景以及适用性。 Kafka 简介Apache Kafka 是由 LinkedIn 开发并开源的分布式事件流... Apache Kafka 和 Amazon SQS（Simple Queue Service）是两种广泛使用的消息队列和事件流处理工具，尽管它们都有助于管理和传输数据流，但它们的设计目标、架构和应用场景有所不同。本文将深入比较 Kafka 和 SQS，探讨它们各自的特点、工作原理、使用场景以及适用性。 Kafka 简介Apache Kafka 是由 LinkedIn 开发并开源的分布式事件流...
- 作者 乐维社区（forum.lwops.cn）许远在构建现代的分布式系统时，确保数据传输的安全性至关重要。Apache Kafka 和 Zookeeper 作为流行的分布式消息队列和协调服务，提供了SSL（Secure Sockets Layer）认证机制，以增强数据传输过程中的安全性。本文将详细介绍从生成SSL证书到配置服务端和客户端的全过程，确保数据在传输过程中得到充分的保护。1、 配置... 作者 乐维社区（forum.lwops.cn）许远在构建现代的分布式系统时，确保数据传输的安全性至关重要。Apache Kafka 和 Zookeeper 作为流行的分布式消息队列和协调服务，提供了SSL（Secure Sockets Layer）认证机制，以增强数据传输过程中的安全性。本文将详细介绍从生成SSL证书到配置服务端和客户端的全过程，确保数据在传输过程中得到充分的保护。1、 配置...
- 01背景AutoMQ[1] 作为一款流系统，被广泛应用在客户的核心链路中，对可靠性的要求非常的高。所以我们需要一套模拟真实生产场景、长期运行的测试环境，在注入各种故障场景的前提下验证 SLA 的可行性，为新版本的发布和客户的使用提供信心保证。基于这样的考虑，我们研发了一套针对流系统的自动化持续测试平台 Marathon。在实现 Marathon 这套框架之前，我们提炼出三个设计原则：易拓展：... 01背景AutoMQ[1] 作为一款流系统，被广泛应用在客户的核心链路中，对可靠性的要求非常的高。所以我们需要一套模拟真实生产场景、长期运行的测试环境，在注入各种故障场景的前提下验证 SLA 的可行性，为新版本的发布和客户的使用提供信心保证。基于这样的考虑，我们研发了一套针对流系统的自动化持续测试平台 Marathon。在实现 Marathon 这套框架之前，我们提炼出三个设计原则：易拓展：...
- 一、简介1.1 概述Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。主要应用场景是：日志收集系统和消息系统。Kafka主要设计目标如下：以时间复杂度为O(1... 一、简介1.1 概述Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。主要应用场景是：日志收集系统和消息系统。Kafka主要设计目标如下：以时间复杂度为O(1...
- 01 事件回顾2024 年 4 月 8 日中午，随着 AutoMQ 的一则简短的标题内容：Show HN: AutoMQ - A Cost-Effective Kafka Distro That Can Autoscale in Seconds[1] 成功登顶 Hacker News （HN） ，我们迎来了大量优质、精准的海外用户的关注。仅在24小时内，我们开源项目[2]的关注量就突破了1... 01 事件回顾2024 年 4 月 8 日中午，随着 AutoMQ 的一则简短的标题内容：Show HN: AutoMQ - A Cost-Effective Kafka Distro That Can Autoscale in Seconds[1] 成功登顶 Hacker News （HN） ，我们迎来了大量优质、精准的海外用户的关注。仅在24小时内，我们开源项目[2]的关注量就突破了1...
- 近年来，无论是海外还是国内，虽然受疫情影响，公有云的市场规模增速有所放缓，但是云的市场总规模仍然是持续增长的。公有云作为一个各个国家重点布局的战略方向和其本身万亿级市场的定位[1]，我们学习用好云是非常有必要的。AutoMQ Kafka 充分认识到“云优先”的重要性，围绕公有云具备规模化效益和技术红利的云基础设施重新设计了 Kafka。在保证 100% 兼容 Apache Kafka 的基础... 近年来，无论是海外还是国内，虽然受疫情影响，公有云的市场规模增速有所放缓，但是云的市场总规模仍然是持续增长的。公有云作为一个各个国家重点布局的战略方向和其本身万亿级市场的定位[1]，我们学习用好云是非常有必要的。AutoMQ Kafka 充分认识到“云优先”的重要性，围绕公有云具备规模化效益和技术红利的云基础设施重新设计了 Kafka。在保证 100% 兼容 Apache Kafka 的基础...
- 01前言今天给大家带来的是 Kafka Producer 的全方位解析（基于 Apache Kafka 3.7[2]）。考虑到篇幅限制，本文分为上下两篇，上篇将介绍 Kafka Producer 的使用方法与实现原理，下篇将介绍 Kafka Producer 的实现细节与常见问题。02使用方法在介绍 Kafka Producer 的具体实现前，首先看一下如何使用。用 Kafka Produc... 01前言今天给大家带来的是 Kafka Producer 的全方位解析（基于 Apache Kafka 3.7[2]）。考虑到篇幅限制，本文分为上下两篇，上篇将介绍 Kafka Producer 的使用方法与实现原理，下篇将介绍 Kafka Producer 的实现细节与常见问题。02使用方法在介绍 Kafka Producer 的具体实现前，首先看一下如何使用。用 Kafka Produc...
- 恰逢今天读到了行业大佬对近期频发的公有云故障的思考《你用的公有云都没做过测试》，该文章的核心观点是「公有云是没法测试的」。我其实对这个事情有相反的观点，云服务本身也是软件，软件工程发展至今测试手段是多样和丰富的，而且公有云因为有大规模的生产流量优势，用好金丝雀 / 灰度发布能在新版本全网发布前尽可能揪出从其他测试环节中逃逸的 Bug。那既然测试是好做的，为什么从结果来看，公有云故障还是那么多... 恰逢今天读到了行业大佬对近期频发的公有云故障的思考《你用的公有云都没做过测试》，该文章的核心观点是「公有云是没法测试的」。我其实对这个事情有相反的观点，云服务本身也是软件，软件工程发展至今测试手段是多样和丰富的，而且公有云因为有大规模的生产流量优势，用好金丝雀 / 灰度发布能在新版本全网发布前尽可能揪出从其他测试环节中逃逸的 Bug。那既然测试是好做的，为什么从结果来看，公有云故障还是那么多...
- 手拉手安装Kafka及工具 手拉手安装Kafka及工具
- 最近，有些读者去头条二面，被面试官问了一个关于Kafka的问题：多个Kafka消费者如何同时消费相同Topic下的相同Partition的数据？看似一个简单的问题，竟然把这位读者问懵了！今天，我们就一起来说说这个面试题，好了，开始今天的主题。 最近，有些读者去头条二面，被面试官问了一个关于Kafka的问题：多个Kafka消费者如何同时消费相同Topic下的相同Partition的数据？看似一个简单的问题，竟然把这位读者问懵了！今天，我们就一起来说说这个面试题，好了，开始今天的主题。
- *本文基于SpringBoot整合Kafka，通过简单配置实现生产及消费，包括生产消费的配置说明、消费者偏移设置方式等。更多功能细节可参考spring kafka 文档：https://docs.spring.io/spring-kafka/docs/current/reference/html 前提条件搭建Kafka环境，参考Kafka集群环境搭建及使用Java环境：JDK1.8Maven... *本文基于SpringBoot整合Kafka，通过简单配置实现生产及消费，包括生产消费的配置说明、消费者偏移设置方式等。更多功能细节可参考spring kafka 文档：https://docs.spring.io/spring-kafka/docs/current/reference/html 前提条件搭建Kafka环境，参考Kafka集群环境搭建及使用Java环境：JDK1.8Maven...
- Kafka 单点部署 下载解压进入官方下载地址：http://kafka.apache.org/downloads，选择合适版本。解压到本地：tar -xzf kafka_2.11-1.1.0.tgzcd kafka_2.11-1.1.0现在您已经在您的机器上下载了最新版本的 Kafka。 启动服务器由于 Kafka 依赖于 ZooKeeper，所以运行前需要先启动 ZooKeeper$ ... Kafka 单点部署 下载解压进入官方下载地址：http://kafka.apache.org/downloads，选择合适版本。解压到本地：tar -xzf kafka_2.11-1.1.0.tgzcd kafka_2.11-1.1.0现在您已经在您的机器上下载了最新版本的 Kafka。 启动服务器由于 Kafka 依赖于 ZooKeeper，所以运行前需要先启动 ZooKeeper$ ...
上滑加载中
推荐直播
-
Skill 构建 × 智能创作：基于华为云码道的 AI 内容生产提效方案2026/03/25 周三 19:00-20:00
余伟，华为云软件研发工程师/万邵业（万少），华为云HCDE开发者专家
本次直播带来两大实战：华为云码道 Skill-Creator 手把手搭建专属知识库 Skill；如何用码道提效 OpenClaw 小说文本，打造从大纲到成稿的 AI 原创小说全链路。技术干货 + OPC创作思路，一次讲透！
回顾中 -
码道新技能，AI 新生产力——从自动视频生成到开源项目解析2026/04/08 周三 19:00-21:00
童得力-华为云开发者生态运营总监/何文强-无人机企业AI提效负责人
本次华为云码道 Skill 实战活动，聚焦两大 AI 开发场景：通过实战教学，带你打造 AI 编程自动生成视频 Skill，并实现对 GitHub 热门开源项目的智能知识抽取，手把手掌握 Skill 开发全流程，用 AI 提升研发效率与内容生产力。
回顾中 -
华为云码道：零代码股票智能决策平台全功能实战2026/04/18 周六 10:00-12:00
秦拳德-中软国际教育卓越研究院研究员、华为云金牌讲师、云原生技术专家
利用Tushare接口获取实时行情数据，采用Transformer算法进行时序预测与涨跌分析，并集成DeepSeek API提供智能解读。同时，项目深度结合华为云CodeArts（码道）的代码智能体能力，实现代码一键推送至云端代码仓库，建立起高效、可协作的团队开发新范式。开发者可快速上手，从零打造功能完整的个股筛选、智能分析与风险管控产品。
回顾中
热门标签