- 近年来，无论是海外还是国内，虽然受疫情影响，公有云的市场规模增速有所放缓，但是云的市场总规模仍然是持续增长的。公有云作为一个各个国家重点布局的战略方向和其本身万亿级市场的定位[1]，我们学习用好云是非常有必要的。AutoMQ Kafka 充分认识到“云优先”的重要性，围绕公有云具备规模化效益和技术红利的云基础设施重新设计了 Kafka。在保证 100% 兼容 Apache Kafka 的基础... 近年来，无论是海外还是国内，虽然受疫情影响，公有云的市场规模增速有所放缓，但是云的市场总规模仍然是持续增长的。公有云作为一个各个国家重点布局的战略方向和其本身万亿级市场的定位[1]，我们学习用好云是非常有必要的。AutoMQ Kafka 充分认识到“云优先”的重要性，围绕公有云具备规模化效益和技术红利的云基础设施重新设计了 Kafka。在保证 100% 兼容 Apache Kafka 的基础...
- 01前言今天给大家带来的是 Kafka Producer 的全方位解析（基于 Apache Kafka 3.7[2]）。考虑到篇幅限制，本文分为上下两篇，上篇将介绍 Kafka Producer 的使用方法与实现原理，下篇将介绍 Kafka Producer 的实现细节与常见问题。02使用方法在介绍 Kafka Producer 的具体实现前，首先看一下如何使用。用 Kafka Produc... 01前言今天给大家带来的是 Kafka Producer 的全方位解析（基于 Apache Kafka 3.7[2]）。考虑到篇幅限制，本文分为上下两篇，上篇将介绍 Kafka Producer 的使用方法与实现原理，下篇将介绍 Kafka Producer 的实现细节与常见问题。02使用方法在介绍 Kafka Producer 的具体实现前，首先看一下如何使用。用 Kafka Produc...
- 恰逢今天读到了行业大佬对近期频发的公有云故障的思考《你用的公有云都没做过测试》，该文章的核心观点是「公有云是没法测试的」。我其实对这个事情有相反的观点，云服务本身也是软件，软件工程发展至今测试手段是多样和丰富的，而且公有云因为有大规模的生产流量优势，用好金丝雀 / 灰度发布能在新版本全网发布前尽可能揪出从其他测试环节中逃逸的 Bug。那既然测试是好做的，为什么从结果来看，公有云故障还是那么多... 恰逢今天读到了行业大佬对近期频发的公有云故障的思考《你用的公有云都没做过测试》，该文章的核心观点是「公有云是没法测试的」。我其实对这个事情有相反的观点，云服务本身也是软件，软件工程发展至今测试手段是多样和丰富的，而且公有云因为有大规模的生产流量优势，用好金丝雀 / 灰度发布能在新版本全网发布前尽可能揪出从其他测试环节中逃逸的 Bug。那既然测试是好做的，为什么从结果来看，公有云故障还是那么多...
- 手拉手安装Kafka及工具 手拉手安装Kafka及工具
- 最近，有些读者去头条二面，被面试官问了一个关于Kafka的问题：多个Kafka消费者如何同时消费相同Topic下的相同Partition的数据？看似一个简单的问题，竟然把这位读者问懵了！今天，我们就一起来说说这个面试题，好了，开始今天的主题。 最近，有些读者去头条二面，被面试官问了一个关于Kafka的问题：多个Kafka消费者如何同时消费相同Topic下的相同Partition的数据？看似一个简单的问题，竟然把这位读者问懵了！今天，我们就一起来说说这个面试题，好了，开始今天的主题。
- *本文基于SpringBoot整合Kafka，通过简单配置实现生产及消费，包括生产消费的配置说明、消费者偏移设置方式等。更多功能细节可参考spring kafka 文档：https://docs.spring.io/spring-kafka/docs/current/reference/html 前提条件搭建Kafka环境，参考Kafka集群环境搭建及使用Java环境：JDK1.8Maven... *本文基于SpringBoot整合Kafka，通过简单配置实现生产及消费，包括生产消费的配置说明、消费者偏移设置方式等。更多功能细节可参考spring kafka 文档：https://docs.spring.io/spring-kafka/docs/current/reference/html 前提条件搭建Kafka环境，参考Kafka集群环境搭建及使用Java环境：JDK1.8Maven...
- Kafka 单点部署 下载解压进入官方下载地址：http://kafka.apache.org/downloads，选择合适版本。解压到本地：tar -xzf kafka_2.11-1.1.0.tgzcd kafka_2.11-1.1.0现在您已经在您的机器上下载了最新版本的 Kafka。 启动服务器由于 Kafka 依赖于 ZooKeeper，所以运行前需要先启动 ZooKeeper$ ... Kafka 单点部署 下载解压进入官方下载地址：http://kafka.apache.org/downloads，选择合适版本。解压到本地：tar -xzf kafka_2.11-1.1.0.tgzcd kafka_2.11-1.1.0现在您已经在您的机器上下载了最新版本的 Kafka。 启动服务器由于 Kafka 依赖于 ZooKeeper，所以运行前需要先启动 ZooKeeper$ ...
- 在这篇博客中，我将介绍使用数据管道在跨网络的服务器之间建立连接的问题，以及Kafka的消息传递系统如何解决这个问题。一个消息传递系统在实时场景中，我们有不同的系统进程服务，它们将相互通信。数据管道是在两个服务器或两个系统之间建立连接的管道现在让我们以一个电子商务网站为例，它有多个前端服务器，比如用于托管应用程序的成员应用服务器，它有用于客户聊天服务设施的聊天服务器，用于支付的单独服务器等。类... 在这篇博客中，我将介绍使用数据管道在跨网络的服务器之间建立连接的问题，以及Kafka的消息传递系统如何解决这个问题。一个消息传递系统在实时场景中，我们有不同的系统进程服务，它们将相互通信。数据管道是在两个服务器或两个系统之间建立连接的管道现在让我们以一个电子商务网站为例，它有多个前端服务器，比如用于托管应用程序的成员应用服务器，它有用于客户聊天服务设施的聊天服务器，用于支付的单独服务器等。类...
- 使用 Kafkacat 工具可以在 Kafka 集群之间复制数据。Kafkacat 是一个命令行工具，它可以用于生产和消费 Kafka 主题，并支持从一个集群复制数据到另一个集群Unix管道是一种美妙的工具，因为它们可以将各个组件有机地结合在一起，每个组件都专注于做好自己的事情。kafkacat完全支持管道的概念，这意味着您可以将数据从Kafka主题流式传输出来（使用kafkacat作为消费... 使用 Kafkacat 工具可以在 Kafka 集群之间复制数据。Kafkacat 是一个命令行工具，它可以用于生产和消费 Kafka 主题，并支持从一个集群复制数据到另一个集群Unix管道是一种美妙的工具，因为它们可以将各个组件有机地结合在一起，每个组件都专注于做好自己的事情。kafkacat完全支持管道的概念，这意味着您可以将数据从Kafka主题流式传输出来（使用kafkacat作为消费...
- 架构图Filbeat with kafka我们可以配置filebeat从本地/远程服务器提取日志文件内容。Filebeat保证日志文件的内容将至少传递一次到配置的输出，并且没有数据丢失。它实现此行为是因为它将每个事件的交付状态存储在注册表文件中。通常filebeat与ELK堆栈上的logstash集成在一起。Filebeat监听日志文件的新内容，并将它们发布到logstash。Logstas... 架构图Filbeat with kafka我们可以配置filebeat从本地/远程服务器提取日志文件内容。Filebeat保证日志文件的内容将至少传递一次到配置的输出，并且没有数据丢失。它实现此行为是因为它将每个事件的交付状态存储在注册表文件中。通常filebeat与ELK堆栈上的logstash集成在一起。Filebeat监听日志文件的新内容，并将它们发布到logstash。Logstas...
- 2023-07-16：讲一讲Kafka与RocketMQ中零拷贝技术的运用？答案2023-07-16：什么是零拷贝?零拷贝(英语: Zero-copy) 技术是指计算机执行操作时，CPU不需要先将数据从某处内存复制到另一个特定区域。这种技术通常用于通过网络传输文件时节省CPU周期和内存带宽。➢零拷贝技术可以减少数据拷贝和共享总线操作的次数，消除传输数据在存储器之间不必要的中间拷贝次数，从而有... 2023-07-16：讲一讲Kafka与RocketMQ中零拷贝技术的运用？答案2023-07-16：什么是零拷贝?零拷贝(英语: Zero-copy) 技术是指计算机执行操作时，CPU不需要先将数据从某处内存复制到另一个特定区域。这种技术通常用于通过网络传输文件时节省CPU周期和内存带宽。➢零拷贝技术可以减少数据拷贝和共享总线操作的次数，消除传输数据在存储器之间不必要的中间拷贝次数，从而有...
- 2023-07-14：讲一讲Kafka与RocketMQ中存储设计的异同？答案2023-07-14：在Kafka中，文件的布局采用了Topic/Partition的方式，每个分区对应一个物理文件夹，且在分区文件级别上实现了顺序写入。然而，当一个Kafka集群拥有大量的主题和每个主题拥有数百个分区时，在高并发写入消息的情况下，IO操作会变得零散。这是因为消息的落盘策略导致磁盘IO的竞争变得激烈... 2023-07-14：讲一讲Kafka与RocketMQ中存储设计的异同？答案2023-07-14：在Kafka中，文件的布局采用了Topic/Partition的方式，每个分区对应一个物理文件夹，且在分区文件级别上实现了顺序写入。然而，当一个Kafka集群拥有大量的主题和每个主题拥有数百个分区时，在高并发写入消息的情况下，IO操作会变得零散。这是因为消息的落盘策略导致磁盘IO的竞争变得激烈...
- 我们来测试 Spring Boot 在信息系统中使用 Apache Kafka 的应用。为了保证测试集成期间的相关功能，请使用图书馆测试容器，不允许使用测试自动化和隔离环境。Apache Kafka是一个流行的流媒体发行平台，以真实的节奏传播信息。使用 Kafka 的应用程序将全面验证系统组件的功能和功能，并在集成测试期间进行基本验证。[Testcontainers ( https://ja... 我们来测试 Spring Boot 在信息系统中使用 Apache Kafka 的应用。为了保证测试集成期间的相关功能，请使用图书馆测试容器，不允许使用测试自动化和隔离环境。Apache Kafka是一个流行的流媒体发行平台，以真实的节奏传播信息。使用 Kafka 的应用程序将全面验证系统组件的功能和功能，并在集成测试期间进行基本验证。[Testcontainers ( https://ja...
- 前言XSS是一种跨站脚本攻击，攻击者通过在网页中注入恶意脚本，从而获取用户的敏感信息或者控制用户的浏览器。XSS 的应用场景和案例包括但不限于：窃取用户的 Cookie、密码等敏感信息，篡改网页内容，进行钓鱼攻击，控制用户浏览器等。其中，最常见的 XSS 攻击是通过在网站中注入恶意脚本，使得用户在访问该网站时执行该脚本，从而达到攻击的目的。AntiXssUF（XSS）过滤器，以白名单的过滤策... 前言XSS是一种跨站脚本攻击，攻击者通过在网页中注入恶意脚本，从而获取用户的敏感信息或者控制用户的浏览器。XSS 的应用场景和案例包括但不限于：窃取用户的 Cookie、密码等敏感信息，篡改网页内容，进行钓鱼攻击，控制用户浏览器等。其中，最常见的 XSS 攻击是通过在网站中注入恶意脚本，使得用户在访问该网站时执行该脚本，从而达到攻击的目的。AntiXssUF（XSS）过滤器，以白名单的过滤策...
- Canal实时监控案例 Canal实时监控案例
上滑加载中
推荐直播
-
算子工具性能优化新特性演示——MatMulLeakyRelu性能调优实操2025/01/10 周五 15:30-17:30
MindStudio布道师
算子工具性能优化新特性演示——MatMulLeakyRelu性能调优实操
回顾中 -
用代码全方位驱动 OBS 存储2025/01/14 周二 16:30-18:00
阿肯 华为云生态技术讲师
如何用代码驱动OBS？常用的数据管理，对象清理，多版本对象访问等应该如何编码？本期课程一一演示解答。
即将直播 -
GaussDB数据库开发2025/01/15 周三 16:00-17:30
Steven 华为云学堂技术讲师
本期直播将带你了解GaussDB数据库开发相关知识，并通过实验指导大家利用java基于JDBC的方式来完成GaussD数据库基础操作。
去报名
热门标签