- 对系统增加MQ对峰值写流量做削峰填谷，对次要业务逻辑做异步，对不同系统模块做解耦。 因为业务逻辑从同步代码中移除了，所以也要有相应队列处理程序处理消息、执行业务逻辑。 随着业务逻辑复杂，会引入更多外部系... 对系统增加MQ对峰值写流量做削峰填谷，对次要业务逻辑做异步，对不同系统模块做解耦。 因为业务逻辑从同步代码中移除了，所以也要有相应队列处理程序处理消息、执行业务逻辑。 随着业务逻辑复杂，会引入更多外部系...
- Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。 Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。
- 本文主要内容考察Kafka架构。生产者发送消息。消费者读取消息。Kafka安装与运行。虽然这是一本关于Kafka Streams的书，但是要研究Kafka Streams不可能不探讨Kafka，毕竟，Kafka Streams是一个运行在Kafka之上的库。Kafka Streams设计得非常好，因此即使具有很少或者零Kafka经验的人都可以启动和运行Kafka Streams。但是，你所取... 本文主要内容考察Kafka架构。生产者发送消息。消费者读取消息。Kafka安装与运行。虽然这是一本关于Kafka Streams的书，但是要研究Kafka Streams不可能不探讨Kafka，毕竟，Kafka Streams是一个运行在Kafka之上的库。Kafka Streams设计得非常好，因此即使具有很少或者零Kafka经验的人都可以启动和运行Kafka Streams。但是，你所取...
- 使用Java和Kafka打造高性能分布式消息系统在现代分布式系统的开发中，数据流的处理、传输和管理是至关重要的。而在这一领域，Apache Kafka作为一个高效、可扩展的分布式消息传递平台，已经成为开发者的首选工具之一。结合Java语言的强大功能，开发者可以构建出高性能的分布式系统。本文将深入探讨如何使用Java与Apache Kafka结合，创建一个高效的分布式消息系统，并提供相关代码... 使用Java和Kafka打造高性能分布式消息系统在现代分布式系统的开发中，数据流的处理、传输和管理是至关重要的。而在这一领域，Apache Kafka作为一个高效、可扩展的分布式消息传递平台，已经成为开发者的首选工具之一。结合Java语言的强大功能，开发者可以构建出高性能的分布式系统。本文将深入探讨如何使用Java与Apache Kafka结合，创建一个高效的分布式消息系统，并提供相关代码...
- Huawei Cloud EulerOS（简称HCE）是基于openEuler构建的云上操作系统。HCE打造云原生、高性能、高安全、易迁移等能力，加速用户业务上云，提升用户的应用创新空间，可替代CentOS、EulerOS等公共镜像。产品优势：华为云服务垂直整合：联合华为云擎天平台垂直优化、GuestOS/HostOS协同，提升应用性能，打造弹性云服务器、云容器引擎、弹性负载均衡、数据库等服... Huawei Cloud EulerOS（简称HCE）是基于openEuler构建的云上操作系统。HCE打造云原生、高性能、高安全、易迁移等能力，加速用户业务上云，提升用户的应用创新空间，可替代CentOS、EulerOS等公共镜像。产品优势：华为云服务垂直整合：联合华为云擎天平台垂直优化、GuestOS/HostOS协同，提升应用性能，打造弹性云服务器、云容器引擎、弹性负载均衡、数据库等服...
- 分布式消息服务Kafka版提供了消息积压诊断功能，如果消息存在堆积，诊断后会生成诊断记录，诊断记录显示消息堆积可能的原因、受影响的分区或者broker，以及解决消息堆积的建议。 分布式消息服务Kafka版提供了消息积压诊断功能，如果消息存在堆积，诊断后会生成诊断记录，诊断记录显示消息堆积可能的原因、受影响的分区或者broker，以及解决消息堆积的建议。
- 在这个数字化时代，分布式系统已经成为我们日常生活和工作不可或缺的一部分。而消息队列中间件，如Kafka、RabbitMQ等，更是这些系统中的关键组件。它们承担着消息传递、系统解耦、异步处理等重要职责。但你是否真正了解如何对这些中间件进行有效的测试呢？大咖公开课亮点● 深入剖析Kafka等消息队列中间件： 我们将详细介绍Kafka、RabbitMQ等主流消息队列中间件的基本原理、架构和特性，帮... 在这个数字化时代，分布式系统已经成为我们日常生活和工作不可或缺的一部分。而消息队列中间件，如Kafka、RabbitMQ等，更是这些系统中的关键组件。它们承担着消息传递、系统解耦、异步处理等重要职责。但你是否真正了解如何对这些中间件进行有效的测试呢？大咖公开课亮点● 深入剖析Kafka等消息队列中间件： 我们将详细介绍Kafka、RabbitMQ等主流消息队列中间件的基本原理、架构和特性，帮...
- ELK集群+(Filebeat+Nginx)+Kafka集群、rsync同步和inotify上传 介绍ELK是Elasticsearch, Logstash, Kibana的简称，是一个流行的日志和数据处理框架。结合Filebeat和Nginx，再加上Kafka集群，可以提供高效的日志收集、存储和分析功能。rsync和inotify用于文件同步和监控，可以进一步增强系统的灵活性和可靠性。 ... ELK集群+(Filebeat+Nginx)+Kafka集群、rsync同步和inotify上传 介绍ELK是Elasticsearch, Logstash, Kibana的简称，是一个流行的日志和数据处理框架。结合Filebeat和Nginx，再加上Kafka集群，可以提供高效的日志收集、存储和分析功能。rsync和inotify用于文件同步和监控，可以进一步增强系统的灵活性和可靠性。 ...
- 作者｜众安保险基础平台 Java 开发专家王凯引言今天给大家带来的是 Kafka 网路通信主要流程的解析（基于 Apache Kafka 3.7[2]）。同时引申分析了业界当前较火的AutoMQ基于Kafka在网络通信层面的优化和提升。01如何构建一个基本的请求和处理响应一个消息队列涉及的网络通信主要有两块：消息生产者与消息队列服务器之间（Kafka 中是生产者向队列「推」消息）消息消费者与... 作者｜众安保险基础平台 Java 开发专家王凯引言今天给大家带来的是 Kafka 网路通信主要流程的解析（基于 Apache Kafka 3.7[2]）。同时引申分析了业界当前较火的AutoMQ基于Kafka在网络通信层面的优化和提升。01如何构建一个基本的请求和处理响应一个消息队列涉及的网络通信主要有两块：消息生产者与消息队列服务器之间（Kafka 中是生产者向队列「推」消息）消息消费者与...
- 今天我们一起梳理了 kafka 2.8.1 版本自带的 BenchMark 测试脚本，我们熟悉了常见的性能测试的工具行命令。希望这些命令在工作做 Kafka 集群BenchMark测试有所帮助。 今天我们一起梳理了 kafka 2.8.1 版本自带的 BenchMark 测试脚本，我们熟悉了常见的性能测试的工具行命令。希望这些命令在工作做 Kafka 集群BenchMark测试有所帮助。
- Kafka采用Pull模式为主，消费者主动拉取消息，保证控制和灵活性；同时融合Push模式，如自动Partition再分配和有序消息传递，实现高可用和负载均衡。专栏提供全面资源和面试题，助力Kafka学习。 Kafka采用Pull模式为主，消费者主动拉取消息，保证控制和灵活性；同时融合Push模式，如自动Partition再分配和有序消息传递，实现高可用和负载均衡。专栏提供全面资源和面试题，助力Kafka学习。
- QueueFullException是在消息队列满或资源受限时抛出的异常，涉及队列容量、资源限制、性能阈值、消息大小、队列策略、系统错误、并发控制、配置错误、外部依赖和安全限制等因素。处理该异常需根据具体场景调整队列配置、优化处理策略等。 QueueFullException是在消息队列满或资源受限时抛出的异常，涉及队列容量、资源限制、性能阈值、消息大小、队列策略、系统错误、并发控制、配置错误、外部依赖和安全限制等因素。处理该异常需根据具体场景调整队列配置、优化处理策略等。
- 01引言在一个线上 Kafka 集群中，流量的波动、Topic 的创建和删除、Broker 的消亡和启动都随时可能发生，而这些变化可能导致流量在集群各个节点间分布不均，从而导致资源浪费、影响业务稳定。此时则需要主动将 Topic 的不同分区在各个节点间移动，以达到平衡流量和数据的目的。当前，Apache Kafka 仅提供了分区迁移工具，但具体的迁移计划则需要运维人员自行决定，而对于动辄成百... 01引言在一个线上 Kafka 集群中，流量的波动、Topic 的创建和删除、Broker 的消亡和启动都随时可能发生，而这些变化可能导致流量在集群各个节点间分布不均，从而导致资源浪费、影响业务稳定。此时则需要主动将 Topic 的不同分区在各个节点间移动，以达到平衡流量和数据的目的。当前，Apache Kafka 仅提供了分区迁移工具，但具体的迁移计划则需要运维人员自行决定，而对于动辄成百...
- 作者｜黄章衡，小红书消息引擎研发专家 01 引言Apache Kafka 因存算一体化架构，分区迁移依赖大量数据同步的完成，以一个 100MB/s 流量的 Kafka 分区为例，运行一天产生的数据量约为 8.2T，如果此时需要将该分区迁移到其他 Broker，则需要对全量数据进行复制，即使对拥有 1 Gbps 带宽的节点，也需要小时级的时间来完成迁移，这使得 Apache Kafka 集群几... 作者｜黄章衡，小红书消息引擎研发专家 01 引言Apache Kafka 因存算一体化架构，分区迁移依赖大量数据同步的完成，以一个 100MB/s 流量的 Kafka 分区为例，运行一天产生的数据量约为 8.2T，如果此时需要将该分区迁移到其他 Broker，则需要对全量数据进行复制，即使对拥有 1 Gbps 带宽的节点，也需要小时级的时间来完成迁移，这使得 Apache Kafka 集群几...
- 01引言Apache Kafka 自诞生之日起，就以其卓越的设计和强大的功能，成为了流处理领域的标杆。它不仅定义了现代流处理架构，更以其独特的分布式日志抽象，为实时数据流的处理和分析提供了前所未有的能力。Kafka 的成功，在于它能够满足各种规模企业对于高吞吐量、低延迟数据处理的需求，经过多年的发展铸就了极其丰富的 Kafka 生态，成为了事实上的行业标准。然而，随着云计算和云原生技术的飞速... 01引言Apache Kafka 自诞生之日起，就以其卓越的设计和强大的功能，成为了流处理领域的标杆。它不仅定义了现代流处理架构，更以其独特的分布式日志抽象，为实时数据流的处理和分析提供了前所未有的能力。Kafka 的成功，在于它能够满足各种规模企业对于高吞吐量、低延迟数据处理的需求，经过多年的发展铸就了极其丰富的 Kafka 生态，成为了事实上的行业标准。然而，随着云计算和云原生技术的飞速...
上滑加载中
推荐直播
-
开发者玩转DeepSeek2025/02/20 周四 16:30-17:30
Thomas – 华为云DTSE技术布道师
双擎驱动优势——华为云CodeArts IDE全栈能力与DeepSeek认知智能深度融合，打造智能编码助手。如何利用DeepSeek的能力，进一步强化业务。
回顾中 -
探秘仓颉编程语言：华为开发者空间的创新利器2025/02/22 周六 15:00-16:30
华为云讲师团
本期直播将与您一起探秘颉编程语言上线华为开发者空间后，显著提升开发效率，在智能化开发支持、全场景跨平台适配能力、工具链与生态完备性、语言简洁与高性能特性等方面展现出的独特优势。直播看点： 1.java转仓颉的小工具 2.仓颉动画三方库lottie 3.开发者空间介绍及如何在空间用仓颉编程语言开发
即将直播 -
大模型Prompt工程深度实践2025/02/24 周一 16:00-17:30
盖伦 华为云学堂技术讲师
如何让大模型精准理解开发需求并生成可靠输出？本期直播聚焦大模型Prompt工程核心技术：理解大模型推理基础原理，关键采样参数定义，提示词撰写关键策略及Prompt工程技巧分享。
去报名
热门标签