- 在这篇博客中，我将介绍使用数据管道在跨网络的服务器之间建立连接的问题，以及Kafka的消息传递系统如何解决这个问题。一个消息传递系统在实时场景中，我们有不同的系统进程服务，它们将相互通信。数据管道是在两个服务器或两个系统之间建立连接的管道现在让我们以一个电子商务网站为例，它有多个前端服务器，比如用于托管应用程序的成员应用服务器，它有用于客户聊天服务设施的聊天服务器，用于支付的单独服务器等。类... 在这篇博客中，我将介绍使用数据管道在跨网络的服务器之间建立连接的问题，以及Kafka的消息传递系统如何解决这个问题。一个消息传递系统在实时场景中，我们有不同的系统进程服务，它们将相互通信。数据管道是在两个服务器或两个系统之间建立连接的管道现在让我们以一个电子商务网站为例，它有多个前端服务器，比如用于托管应用程序的成员应用服务器，它有用于客户聊天服务设施的聊天服务器，用于支付的单独服务器等。类...
- 使用 Kafkacat 工具可以在 Kafka 集群之间复制数据。Kafkacat 是一个命令行工具，它可以用于生产和消费 Kafka 主题，并支持从一个集群复制数据到另一个集群Unix管道是一种美妙的工具，因为它们可以将各个组件有机地结合在一起，每个组件都专注于做好自己的事情。kafkacat完全支持管道的概念，这意味着您可以将数据从Kafka主题流式传输出来（使用kafkacat作为消费... 使用 Kafkacat 工具可以在 Kafka 集群之间复制数据。Kafkacat 是一个命令行工具，它可以用于生产和消费 Kafka 主题，并支持从一个集群复制数据到另一个集群Unix管道是一种美妙的工具，因为它们可以将各个组件有机地结合在一起，每个组件都专注于做好自己的事情。kafkacat完全支持管道的概念，这意味着您可以将数据从Kafka主题流式传输出来（使用kafkacat作为消费...
- 架构图Filbeat with kafka我们可以配置filebeat从本地/远程服务器提取日志文件内容。Filebeat保证日志文件的内容将至少传递一次到配置的输出，并且没有数据丢失。它实现此行为是因为它将每个事件的交付状态存储在注册表文件中。通常filebeat与ELK堆栈上的logstash集成在一起。Filebeat监听日志文件的新内容，并将它们发布到logstash。Logstas... 架构图Filbeat with kafka我们可以配置filebeat从本地/远程服务器提取日志文件内容。Filebeat保证日志文件的内容将至少传递一次到配置的输出，并且没有数据丢失。它实现此行为是因为它将每个事件的交付状态存储在注册表文件中。通常filebeat与ELK堆栈上的logstash集成在一起。Filebeat监听日志文件的新内容，并将它们发布到logstash。Logstas...
- 2023-07-16：讲一讲Kafka与RocketMQ中零拷贝技术的运用？答案2023-07-16：什么是零拷贝?零拷贝(英语: Zero-copy) 技术是指计算机执行操作时，CPU不需要先将数据从某处内存复制到另一个特定区域。这种技术通常用于通过网络传输文件时节省CPU周期和内存带宽。➢零拷贝技术可以减少数据拷贝和共享总线操作的次数，消除传输数据在存储器之间不必要的中间拷贝次数，从而有... 2023-07-16：讲一讲Kafka与RocketMQ中零拷贝技术的运用？答案2023-07-16：什么是零拷贝?零拷贝(英语: Zero-copy) 技术是指计算机执行操作时，CPU不需要先将数据从某处内存复制到另一个特定区域。这种技术通常用于通过网络传输文件时节省CPU周期和内存带宽。➢零拷贝技术可以减少数据拷贝和共享总线操作的次数，消除传输数据在存储器之间不必要的中间拷贝次数，从而有...
- 2023-07-14：讲一讲Kafka与RocketMQ中存储设计的异同？答案2023-07-14：在Kafka中，文件的布局采用了Topic/Partition的方式，每个分区对应一个物理文件夹，且在分区文件级别上实现了顺序写入。然而，当一个Kafka集群拥有大量的主题和每个主题拥有数百个分区时，在高并发写入消息的情况下，IO操作会变得零散。这是因为消息的落盘策略导致磁盘IO的竞争变得激烈... 2023-07-14：讲一讲Kafka与RocketMQ中存储设计的异同？答案2023-07-14：在Kafka中，文件的布局采用了Topic/Partition的方式，每个分区对应一个物理文件夹，且在分区文件级别上实现了顺序写入。然而，当一个Kafka集群拥有大量的主题和每个主题拥有数百个分区时，在高并发写入消息的情况下，IO操作会变得零散。这是因为消息的落盘策略导致磁盘IO的竞争变得激烈...
- 我们来测试 Spring Boot 在信息系统中使用 Apache Kafka 的应用。为了保证测试集成期间的相关功能，请使用图书馆测试容器，不允许使用测试自动化和隔离环境。Apache Kafka是一个流行的流媒体发行平台，以真实的节奏传播信息。使用 Kafka 的应用程序将全面验证系统组件的功能和功能，并在集成测试期间进行基本验证。[Testcontainers ( https://ja... 我们来测试 Spring Boot 在信息系统中使用 Apache Kafka 的应用。为了保证测试集成期间的相关功能，请使用图书馆测试容器，不允许使用测试自动化和隔离环境。Apache Kafka是一个流行的流媒体发行平台，以真实的节奏传播信息。使用 Kafka 的应用程序将全面验证系统组件的功能和功能，并在集成测试期间进行基本验证。[Testcontainers ( https://ja...
- 前言XSS是一种跨站脚本攻击，攻击者通过在网页中注入恶意脚本，从而获取用户的敏感信息或者控制用户的浏览器。XSS 的应用场景和案例包括但不限于：窃取用户的 Cookie、密码等敏感信息，篡改网页内容，进行钓鱼攻击，控制用户浏览器等。其中，最常见的 XSS 攻击是通过在网站中注入恶意脚本，使得用户在访问该网站时执行该脚本，从而达到攻击的目的。AntiXssUF（XSS）过滤器，以白名单的过滤策... 前言XSS是一种跨站脚本攻击，攻击者通过在网页中注入恶意脚本，从而获取用户的敏感信息或者控制用户的浏览器。XSS 的应用场景和案例包括但不限于：窃取用户的 Cookie、密码等敏感信息，篡改网页内容，进行钓鱼攻击，控制用户浏览器等。其中，最常见的 XSS 攻击是通过在网站中注入恶意脚本，使得用户在访问该网站时执行该脚本，从而达到攻击的目的。AntiXssUF（XSS）过滤器，以白名单的过滤策...
- Canal实时监控案例 Canal实时监控案例
- 1、消息发送的可靠性机制生产者向kafka发送消息时，可以选择需要的可靠性级别。通过acks参数的值进行设置。（1）0值异步发送 生产者向kafka发送消息而不需要kafka反馈成功ack。该方式效率最高，但可靠性最低。其可能会存在消息丢失的情况。 l 在发送之前丢失：生产者首先是将消息写入到buffer中的。当buffer满足消息发送条件（buffer容量、消息数量、时间）时，在buffe... 1、消息发送的可靠性机制生产者向kafka发送消息时，可以选择需要的可靠性级别。通过acks参数的值进行设置。（1）0值异步发送 生产者向kafka发送消息而不需要kafka反馈成功ack。该方式效率最高，但可靠性最低。其可能会存在消息丢失的情况。 l 在发送之前丢失：生产者首先是将消息写入到buffer中的。当buffer满足消息发送条件（buffer容量、消息数量、时间）时，在buffe...
- 🎶 文章简介：RocketMq的基本概念💡 创作目的：关于RocketMq的基本概念的大致介绍☀️ 今日天气：阳光明媚。📝 每日一言：冬有冬的来意，雪有雪的秘密。 🐶 1、Rocket四大部分RocketMQ主要有四大核心组成部分：NameServer、Broker、Producer以及Consumer四部分。 🐺 1.1、NameServer （核心部分）Name S... 🎶 文章简介：RocketMq的基本概念💡 创作目的：关于RocketMq的基本概念的大致介绍☀️ 今日天气：阳光明媚。📝 每日一言：冬有冬的来意，雪有雪的秘密。 🐶 1、Rocket四大部分RocketMQ主要有四大核心组成部分：NameServer、Broker、Producer以及Consumer四部分。 🐺 1.1、NameServer （核心部分）Name S...
- 玩转Kafka—Kafka高性能原因分析Kafka最大的特点：高吞吐，即使在普通的机械硬盘下也可以达到每秒几百万的处理量对比RocketMQ：那么Kafka为什么能实现如此高的吞吐量呢？主要以下四个方面：磁盘的顺序读写页缓存零拷贝技术批量处理下面我们来分别解释下 1 磁盘的顺序读写图片来自《The Pathologies of Big Data》由上到下三个橙色的进度条分别表示机械硬盘、固... 玩转Kafka—Kafka高性能原因分析Kafka最大的特点：高吞吐，即使在普通的机械硬盘下也可以达到每秒几百万的处理量对比RocketMQ：那么Kafka为什么能实现如此高的吞吐量呢？主要以下四个方面：磁盘的顺序读写页缓存零拷贝技术批量处理下面我们来分别解释下 1 磁盘的顺序读写图片来自《The Pathologies of Big Data》由上到下三个橙色的进度条分别表示机械硬盘、固...
- 开发和学习时需要造一些kafka消息，于是写了段脚本实现，在这里记录备忘，后面会常用到 开发和学习时需要造一些kafka消息，于是写了段脚本实现，在这里记录备忘，后面会常用到
- kafka消费端性能优化主要从下面几个方面优化：1.接口使用方面优化：旧版本highlevel-consumer：偏移量信息存储在zookeeper，最大消费线程数与分区数量相同，不推荐旧版本simpleconsumer：自行选择存储偏移量的方式，可以实现多线程消费单分区，若无特殊的性能要求，不推荐新版本highlevel-consumer：偏移量信息存储在kafka指定的topic中，默认... kafka消费端性能优化主要从下面几个方面优化：1.接口使用方面优化：旧版本highlevel-consumer：偏移量信息存储在zookeeper，最大消费线程数与分区数量相同，不推荐旧版本simpleconsumer：自行选择存储偏移量的方式，可以实现多线程消费单分区，若无特殊的性能要求，不推荐新版本highlevel-consumer：偏移量信息存储在kafka指定的topic中，默认...
- 与Topic相关的配置既有服务器默认值，也可以单独设置覆盖默认值。如果没有给出每个Topic的配置，则使用服务器默认值。可以在创建主题时通过提供一个或多个--config选项来设置覆盖。示例为创建一个名为my-topic 的主题，具有自定义的broker批量接收消息大小和刷新率：bin/kafka-topics.sh --zookeeper <ZK_IP1:ZK_PORT,Z... 与Topic相关的配置既有服务器默认值，也可以单独设置覆盖默认值。如果没有给出每个Topic的配置，则使用服务器默认值。可以在创建主题时通过提供一个或多个--config选项来设置覆盖。示例为创建一个名为my-topic 的主题，具有自定义的broker批量接收消息大小和刷新率：bin/kafka-topics.sh --zookeeper <ZK_IP1:ZK_PORT,Z...
- Kafka服务侧常见性能调优参数 Kafka服务侧常见性能调优参数
上滑加载中
推荐直播
-
Skill 构建 × 智能创作：基于华为云码道的 AI 内容生产提效方案2026/03/25 周三 19:00-20:00
余伟，华为云软件研发工程师/万邵业（万少），华为云HCDE开发者专家
本次直播带来两大实战：华为云码道 Skill-Creator 手把手搭建专属知识库 Skill；如何用码道提效 OpenClaw 小说文本，打造从大纲到成稿的 AI 原创小说全链路。技术干货 + OPC创作思路，一次讲透！
回顾中 -
码道新技能，AI 新生产力——从自动视频生成到开源项目解析2026/04/08 周三 19:00-21:00
童得力-华为云开发者生态运营总监/何文强-无人机企业AI提效负责人
本次华为云码道 Skill 实战活动，聚焦两大 AI 开发场景：通过实战教学，带你打造 AI 编程自动生成视频 Skill，并实现对 GitHub 热门开源项目的智能知识抽取，手把手掌握 Skill 开发全流程，用 AI 提升研发效率与内容生产力。
回顾中 -
华为云码道：零代码股票智能决策平台全功能实战2026/04/18 周六 10:00-12:00
秦拳德-中软国际教育卓越研究院研究员、华为云金牌讲师、云原生技术专家
利用Tushare接口获取实时行情数据，采用Transformer算法进行时序预测与涨跌分析，并集成DeepSeek API提供智能解读。同时，项目深度结合华为云CodeArts（码道）的代码智能体能力，实现代码一键推送至云端代码仓库，建立起高效、可协作的团队开发新范式。开发者可快速上手，从零打造功能完整的个股筛选、智能分析与风险管控产品。
回顾中
热门标签