- MQ（Message Queue）作为一种用于实现异步通信的技术，具有重要的作用和应用场景。在面试过程中，MQ相关的问题经常被问到，因此了解MQ的用途和设计原则是必不可少的。本文总结了MQ的常见面试题，包括MQ的作用、产品选型、消息不丢失的保证、消息消费的幂等性、消息顺序的保证、消息的高效读写、分布式事务的最终一致性等方面。通过深入理解这些问题，可以更好地理解MQ的应用和设计，为面试和实际应用提供 MQ（Message Queue）作为一种用于实现异步通信的技术，具有重要的作用和应用场景。在面试过程中，MQ相关的问题经常被问到，因此了解MQ的用途和设计原则是必不可少的。本文总结了MQ的常见面试题，包括MQ的作用、产品选型、消息不丢失的保证、消息消费的幂等性、消息顺序的保证、消息的高效读写、分布式事务的最终一致性等方面。通过深入理解这些问题，可以更好地理解MQ的应用和设计，为面试和实际应用提供
- 一、简介1.1 概述Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。主要应用场景是：日志收集系统和消息系统。Kafka主要设计目标如下：以时间复杂度为O(1... 一、简介1.1 概述Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。主要应用场景是：日志收集系统和消息系统。Kafka主要设计目标如下：以时间复杂度为O(1...
- Apache Kafka 是一款开源的消息引擎系统，也是分布式流处理平台，使用的是纯二进制的字节序列。 kafka术语Topic: 发布订阅的对象是主题（Topic） 生产者程序通常持续不断地向一个或多个主题发送消息Producer:向主题发布消息的客户端应用程序称为生产者（Producer）Consumer:订阅这些主题消息的客户端应用程序就被称为消费者（Consumer）Broker: ... Apache Kafka 是一款开源的消息引擎系统，也是分布式流处理平台，使用的是纯二进制的字节序列。 kafka术语Topic: 发布订阅的对象是主题（Topic） 生产者程序通常持续不断地向一个或多个主题发送消息Producer:向主题发布消息的客户端应用程序称为生产者（Producer）Consumer:订阅这些主题消息的客户端应用程序就被称为消费者（Consumer）Broker: ...
- 分区的作用就是提供负载均衡的能力，或者说对数据进行分区的主要原因，就是为了实现系统的高伸缩性（Scalability）。不同的分区能够被放置到不同节点的机器上，而数据的读写操作也都是针对分区这个粒度而进行的，这样每个节点的机器都能独立地执行各自分区的读写请求处理。并且，还可以通过添加新的节点机器来增加整体系统的吞吐量。 分区策略分区策略是决定生产者将消息发送到哪个分区的算法 轮询策略轮询策... 分区的作用就是提供负载均衡的能力，或者说对数据进行分区的主要原因，就是为了实现系统的高伸缩性（Scalability）。不同的分区能够被放置到不同节点的机器上，而数据的读写操作也都是针对分区这个粒度而进行的，这样每个节点的机器都能独立地执行各自分区的读写请求处理。并且，还可以通过添加新的节点机器来增加整体系统的吞吐量。 分区策略分区策略是决定生产者将消息发送到哪个分区的算法 轮询策略轮询策...
- 消费者组: Consumer Group 是 Kafka 提供的可扩展且具有容错性的消费者机制。组内必然可以有多个消费者或消费者实例（Consumer Instance），它们共享一个公共的 ID，这个 ID 被称为 Group ID特性Consumer Group 下可以有一个或多个 Consumer 实例。这里的实例可以是一个单独的进程，也可以是同一进程下的线程。在实际场景中，使用进程更... 消费者组: Consumer Group 是 Kafka 提供的可扩展且具有容错性的消费者机制。组内必然可以有多个消费者或消费者实例（Consumer Instance），它们共享一个公共的 ID，这个 ID 被称为 Group ID特性Consumer Group 下可以有一个或多个 Consumer 实例。这里的实例可以是一个单独的进程，也可以是同一进程下的线程。在实际场景中，使用进程更...
- 诞生背景老版本的Kafka会把位移信息保存在Zk中，当Consumer重启后，自动从Zk中读取位移信息。这种设计使Kafka Broker不需要保存位移数据，可减少Broker端需要持有的状态空间，有利于实现高伸缩性。但zk不适用于高频的写操作，这令zk集群性能严重下降，在新版本中将消费者的位移数据作为一条条普通的Kafka消息，提交至内部主题（_consumer_offsets）中保存。... 诞生背景老版本的Kafka会把位移信息保存在Zk中，当Consumer重启后，自动从Zk中读取位移信息。这种设计使Kafka Broker不需要保存位移数据，可减少Broker端需要持有的状态空间，有利于实现高伸缩性。但zk不适用于高频的写操作，这令zk集群性能严重下降，在新版本中将消费者的位移数据作为一条条普通的Kafka消息，提交至内部主题（_consumer_offsets）中保存。...
- 副本机制好处提供数据冗余。即使系统部分组件失效，系统依然能够继续运转，因而增加了整体可用性以及数据持久性。提供高伸缩性。支持横向扩展，能够通过增加机器的方式来提升读性能，进而提高读操作吞吐量。改善数据局部性。允许将数据放入与用户地理位置相近的地方，从而降低系统延时。副本： 本质就是一个只能追加写消息的提交日志。根据 Kafka 副本机制的定义，同一个分区下的所有副本保存有相同的消息序列，这些... 副本机制好处提供数据冗余。即使系统部分组件失效，系统依然能够继续运转，因而增加了整体可用性以及数据持久性。提供高伸缩性。支持横向扩展，能够通过增加机器的方式来提升读性能，进而提高读操作吞吐量。改善数据局部性。允许将数据放入与用户地理位置相近的地方，从而降低系统延时。副本： 本质就是一个只能追加写消息的提交日志。根据 Kafka 副本机制的定义，同一个分区下的所有副本保存有相同的消息序列，这些...
- 【kafka】服务器命令行查询kafka信息消费情况 【kafka】服务器命令行查询kafka信息消费情况
- 【kafka】解决kafka-tool连接上kafka，brokers和topics不显示问题 【kafka】解决kafka-tool连接上kafka，brokers和topics不显示问题
- 2023-07-10：Kafka如何做到消息不丢失？答案2023-07-10：Kafka采用多种机制来确保消息的不丢失，其中包括副本机制、ISR（In-Sync Replicas）机制以及ACK机制等。1.副本机制Kafka通过副本机制来确保消息不会丢失。在Kafka中，每个分区都可以配置多个副本，每个副本保存分区的完整拷贝。当一个副本宕机时，Kafka会自动将其切换到其他可用副本上。因此，... 2023-07-10：Kafka如何做到消息不丢失？答案2023-07-10：Kafka采用多种机制来确保消息的不丢失，其中包括副本机制、ISR（In-Sync Replicas）机制以及ACK机制等。1.副本机制Kafka通过副本机制来确保消息不会丢失。在Kafka中，每个分区都可以配置多个副本，每个副本保存分区的完整拷贝。当一个副本宕机时，Kafka会自动将其切换到其他可用副本上。因此，...
- RabbitMQ vs RocketMQ vs Kafka：消息队列系统对比引言在互联网应用开发中，消息队列系统扮演着重要的角色，用于解耦和异步处理。RabbitMQ、RocketMQ和Kafka都是流行的开源消息队列系统，本文将对它们进行对比，以便开发者选择适合自己需求的消息队列系统。RabbitMQRabbitMQ是一个可靠、可扩展且易于使用的消息队列系统，它基于AMQP协议（Advan... RabbitMQ vs RocketMQ vs Kafka：消息队列系统对比引言在互联网应用开发中，消息队列系统扮演着重要的角色，用于解耦和异步处理。RabbitMQ、RocketMQ和Kafka都是流行的开源消息队列系统，本文将对它们进行对比，以便开发者选择适合自己需求的消息队列系统。RabbitMQRabbitMQ是一个可靠、可扩展且易于使用的消息队列系统，它基于AMQP协议（Advan...
- kafka官网:https://kafka.apache.org/33/documentation.html#quickstart Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。docker安装curl -sSL https://raw.githubuser... kafka官网:https://kafka.apache.org/33/documentation.html#quickstart Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。docker安装curl -sSL https://raw.githubuser...
- docker安装 docker run -d --name kafka-map -p 10001:8080 -v /opt/kafka-map/data:/usr/local/kafka-map/data -e DEFAULT_USERNAME=admin -e DEFAULT_PASSWORD=admin --restart always dushi... docker安装 docker run -d --name kafka-map -p 10001:8080 -v /opt/kafka-map/data:/usr/local/kafka-map/data -e DEFAULT_USERNAME=admin -e DEFAULT_PASSWORD=admin --restart always dushi...
- 下载安装地址:https://www.elastic.co/cn/downloads/beats/filebeat配置filebeatfilebeat配置分为2个部分,input和output:input:filebeat.inputs:# Each - is an input. Most options can be set at the input level, so# you can ... 下载安装地址:https://www.elastic.co/cn/downloads/beats/filebeat配置filebeatfilebeat配置分为2个部分,input和output:input:filebeat.inputs:# Each - is an input. Most options can be set at the input level, so# you can ...
- 消息传递是现代分布式系统中关键的组件之一。Apache Kafka和ActiveMQ是两个流行的开源消息传递系统，被广泛应用于构建可靠、高吞吐量的分布式应用程序。本文将详细介绍Apache Kafka和ActiveMQ的主要优点和典型用例，帮助读者了解它们的特点和适用场景。 Apache KafkaApache Kafka是一个分布式的流式平台，设计用于高吞吐量、持久性和可水平扩展的数据流处... 消息传递是现代分布式系统中关键的组件之一。Apache Kafka和ActiveMQ是两个流行的开源消息传递系统，被广泛应用于构建可靠、高吞吐量的分布式应用程序。本文将详细介绍Apache Kafka和ActiveMQ的主要优点和典型用例，帮助读者了解它们的特点和适用场景。 Apache KafkaApache Kafka是一个分布式的流式平台，设计用于高吞吐量、持久性和可水平扩展的数据流处...
上滑加载中
推荐直播
-
GaussDB数据库开发2025/01/15 周三 16:00-17:30
Steven 华为云学堂技术讲师
本期直播将带你了解GaussDB数据库开发相关知识，并通过实验指导大家利用java基于JDBC的方式来完成GaussD数据库基础操作。
去报名 -
OpenHarmony应用开发之网络数据请求与数据解析2025/01/16 周四 19:00-20:30
华为开发者布道师、南京师范大学泰州学院副教授，硕士研究生导师，开放原子教育银牌认证讲师
科技浪潮中，鸿蒙生态强势崛起，OpenHarmony开启智能终端无限可能。当下，其原生应用开发适配潜力巨大，终端设备已广泛融入生活各场景，从家居到办公、穿戴至车载。 现在，机会敲门！我们的直播聚焦OpenHarmony关键的网络数据请求与解析，抛开晦涩理论，用真实案例带你掌握数据访问接口，轻松应对复杂网络请求、精准解析Json与Xml数据。参与直播，为开发鸿蒙App夯实基础，抢占科技新高地，别错过！
即将直播
热门标签