环境准备1.          Manager下载krb5.conf，放到/etc/krb5.conf 目前开源代码不支持自定义krb5.conf路径2.          Manager下载客户端，并安装3.          yum -y install epel-release 测试环境使用CentOS，需要安装EPEL源才能安装pip4.          yum install python-pip 安装python安装管理工具pip5.          pip install kafka-python 需要修改源码 /usr/lib/python2.7/site-packages/kafka/conn.py line 570 将self.host修改为‘hadoop.hadoop.com’。或者直接从git下载最新代码，通过saslkerberosdomain_name参数指定为hadoop.hadoop.com.6.          yum install python-gssapi 安装gssapi库7.          kinit 执行pythong脚本前先通过kinit方式认证8.          执行kafka python脚本。创建topic#!/usr/bin/env bash # cd /opt/client 进入实际客户端安装目录 # source bigdata_env 导入环境变量 # kinit 使用具有KafkaAdmin权限的用户登录 # cd ./Kafka/kafka/bin/ 进入Kafka脚本目录  # 查询当前已有的topic ./kafka-topics.sh --list --zookeeper 172.21.3.101:24002,172.21.3.102:24002,172.21.3.103:24002/kafka  # 如果没有test-topic，则创建。partition数量跟同一组中的consumer的数量保持一致。 # 如果要保证消息按顺序被消费，就只建一个partition。 ./kafka-topics.sh --create --zookeeper 172.21.3.101:24002,172.21.3.102:24002,172.21.3.103:24002/kafka --partitions 3 --replication-factor 2 --topic test-topic  # 给producer赋予向topic中生产数据的权限 ./kafka-acls.sh --authorizer-properties zookeeper.connect=172.21.3.101:24002,172.21.3.102:24002,172.21.3.103:24002/kafka --add --allow-principal User:developuser --producer --topic test-topic  # 给consumer赋予从topic中消费数据的权限 ./kafka-acls.sh --authorizer-properties zookeeper.connect=172.21.3.101:24002,172.21.3.102:24002,172.21.3.103:24002/kafka --add --allow-principal User:developuser --consumer --topic test-topic --group test-groupProducer样例from kafka import KafkaProducer producer = KafkaProducer(bootstrap_servers=["172.21.3.101:21007"],                          security_protocl="SASL_PLAINTEXT",                          sasl_mechanism="GSSAPI",                          sasl_kerberos_service_name="kafka") for _ in range(100):     response = producer.send("test-topic", b"testmessage")     result = response.get(timeout=50)     print(result)    Consumer样例from kafka import KafkaConsumer consumer = KafkaConsumer("test-topic",                          bootstrap_servers=["172.21.3.101:21007"],                          group_id="test-group",                          enable_auto_commit="true",                          security_protocl="SASL_PLAINTEXT",                          sasl_mechanism="GSSAPI",                          sasl_kerberos_service_name="kafka") for message in consumer:     print(message)

如题所示，报下面的错误，借鉴网上https://blog.csdn.net/li1987by/article/details/82856873的改法。将kafka-clients-2.6.0.jar 替换为kafka-clients-1.1.0.jar后，改错误消失，但是在哪里可以下载到华为kafka-clients-2.6.0.jar 的jar？？我们需要后面spark 任务需要kafka-client2.6

如题所述，kafka-console-producer.sh & kafka-console-consumer.sh 执行正常。但是代码执行失败, kerberos验证开启debug模式后，日志观察成功。jar引用是华为kafka client libs。kafka版本为：2.11-1.1.0哪位大佬给指点下，万分感谢。----------------------------String krb5 = args[0];String jaasPath = args[1];String broker= args[2];// todoSystem.setProperty("java.security.krb5.conf", krb5);System.setProperty("java.security.auth.login.config", jaasPath);System.setProperty("zookeeper.server.principal", "zookeeper/hadoop.hadoop.com");Properties props = new Properties();props.put("bootstrap.servers", broker);props.put("group.id", "g1");props.put("key.deserializer", StringDeserializer.class.getName());props.put("value.deserializer", ByteBufferDeserializer.class.getName());// todoprops.put("security.protocol", "SASL_PLAINTEXT");props.put("sasl.mechanism", "GSSAPI");props.put("sasl.kerberos.service.name", "kafka");// adminclientAdminClient client = AdminClient.create(props);ListTopicsResult listTopics = client.listTopics();Set<String> strings = listTopics.names().get();System.out.println(strings);client.close();// kafkaconsumerKafkaConsumer<Object, Object> consumer = new KafkaConsumer<>(props);Map<String, List<PartitionInfo>> stringListMap = consumer.listTopics();System.out.println(stringListMap.size());consumer.close();

【操作步骤&问题现象】HD 6.5.1.7版本 kafka节点出现单台故障实例后，执行删除topic标记删除问题业务侧自己执行zk 将对应topic信息删除，后创建topic使用时报错元数据不存在在单节点故障情况下是否可以执行，清理zk元数据 addauth krbgroup deleteall /kafka/brokers/topics/topicnamedeleteall /kafka/config/topics/topicname手动清理Kafka所有节点上的该topic的数据文件重启kafka实例 恢复？

Apache Kafka 3.0.0正式发布，Apache Kafka是一个分布式流平台，具有四个核心API。本次更新是一个重要的版本更新，其中包括许多新的功能：对Java 8和Scala 2.12的支持被废弃了；Kafka Raft支持元数据主题的快照，以及self-managed quorum方面的其他改进；废弃了消息格式v0和v1；默认情况下为Kafka Producer启用更强的交付保证；增强了Kafka Streams中时间戳同步的语义；修改了Stream的TaskId的公共API；优化了OffsetFetch和FindCoordinator请求等等。

【功能模块】kafka【操作步骤&问题现象】1、编写程序，大致逻辑：SparkStreaming读取kafka中的数据，然后写入hbase中2、此demo是华为云上的样例demo，视频地址：https://bbs.huaweicloud.com/forum/thread-90888-1-1.html提交方式使用的是yarn-client【截图信息】【日志信息】（可选，上传日志内容或者附件）一直在重复报地址连不上[Consumer clientId=consumer-testGroup-1, groupId=testGroup] Bootstrap broker 172.31.8.38:21007 (id: -2 rack: null) disconnected | org.apache.kafka.clients.NetworkClient.handleServerDisconnect，详细日志见附件

【功能模块】关于kafka节点部署台数规划【操作步骤&问题现象】1、某局点kafka broker节点部署了4个，在开会讨论中，客户领导说kafka节点必须保持奇数，否则有台broker会浪费，而且leader选举时也会有问题2、但实际情况4台broker节点都进行了存储和使用，并没有出现客户说的问题，而且产品文档中也说明了，broker节点最少三台，并没有说必须保持奇数。只是zookeeper需要保持奇数。客户想让说明，问什么开源的需要保持奇数，但FusionInsight HD 没有这个要求，麻烦大佬帮忙解释下。【截图信息】【日志信息】（可选，上传日志内容或者附件）

传统的消息队列（（Kafka、RocketMQ等）经过多年打磨，在高性能、海量堆积、消息可靠性等诸多方面都已经做得非常极致，但在物联网场景中，往往需要面临着海量的消息传递，传统的消息队列表现的“力不从心”。IoT领域中，从应用服务器到嵌入式芯片，都需要传递事件消息，比如共享充电宝的开柜子、开灯指令从服务器发到设备、工业网关高频消息流等，在这些信息传递的过程中，队列最大意义在于让整个消息事件在不可控的环境因素变成一个平稳运行的系统，因为IoT设备时不时会由于故障或网络抖动会导致大量消息洪峰。阿里云AIoT作为物联网领域的引领者和创新者，在消息队列领域不断深耕与沉淀，为了让物联网从业者更进一步了解IoT场景队列，阿里云技术专家吕建文，整理了一份IoT队列的干货知识，与大家一同探讨一个适合于物联网系统的消息队列。一、IoT队列和普通队列的差异点1，上下行隔离拆分在IoT场景中，我们把需要队列分为两个场景，一个是上行队列，一个是下行队列。 拆分之后，可以隔离上下行链路，控制一个设备，比如支付成功要下发打开柜子等，上行出任何问题，千万不能影响到下行业务。另外，上下行两条链路的特点差异非常大。设备上行消息，并发量非常高，但很多场景下对于可靠性和时延要求低，而设备下行消息，并发量则比较低，但下行消息（一般是控制设备指令）要求到达成功率很高。2，支持设备级的海量topic传统队列的核心诉求是，不论堆积多少不影响它的性能。kafka的topic一多，原本消息顺序写文件优势就会导致一个broker要退化到随机写，失去优势，另外要zookeeper来协调这么多topic也是有局限，所以这些队列本身有提供一个外挂代理桥接器对外入口是多个设备topic，再桥接映射到少量的实际kafka topic，这方案有一定可行性，但做不到隔离效果，治标不治本。通过，图1和图2对比较明显，一个队列拥塞尽量减少对其它设备影响。我们需要的是“海量topic尽量相互隔离，并且不影响整体性能”，尽量做到设备A的消息堆积topic，不影响设备B。3，实时生成消息优先发送先举一个例子，一个快递柜业务的队列堆积，然后“此时此刻”在柜子旁边的用户死命的在旁边用手机点开柜子怎么也打不开（此时后端系统都恢复了），问题就是队列里面还有几十万条的消息，新来的消息需要排队, 等着之前的那些消息消费完，甭管这些消息还有没有用。  因此，实时生成消息优先发送，堆积的消息进入降级模式。二、IoT消息队列诞生1， IoT队列的设计思路设计目标是为了打造一个支持上下行隔离、实时优先、及海量topic的队列网关，设计原则如下：完全follow开源生态、和传统队列互补兼容保序降级，实时优先，堆积退化；仅实时消息相对有序。海量topic，多租户隔离连接、计算、存储分离2， 消息模式图片只是个片段，从这个模式可以看出来机制差别，大家都没有错，只是出发点不同。3， 连接、计算、存储分离broker不做连接，连接网关代理，broker只做流转分发，无状态+水平扩展；存储交给nosql DB，高吞吐写。4， 消息策略-推拉结合这个应该是队列的核心难点之一，和传统队列区分在于，我们考虑为平台化模式，独享资源过于昂贵。但带来问题是消费端不可控，所以使用结合模式，只有在消费者在线时会拉取堆积消息，而拉取是由AMQP队列网关来做，给到用户接口始终是推送过去的onMessage回调。broker不是直接让consumer来连接，而是把队列网关剥离出来，  这样会更灵活，甚至对于部分用户我们的queue可以切换到ons、kafka等实现。kafka、rocketmq做法是在连接时会分配给客户端一个broker接入地址。broker实时消息优先推送给consumer，失败才会落到queue ；这是一个完整事件，如果没有完成则不给producer commit。异步ACK5， 线性扩展-离线消息部分实时部分消息采用推方式，基本上不会成为瓶颈，消费不过来消息进入堆积模式。由于底层依赖存储已经帮我们解决核心存储的扩展，剩下主要问题点在于如何消除写入热点和消费热点，这样broker可以完全做到无状态。三，一个思考——如何解决海量topic问题？首先面对“大量”的问题一般都是考虑分区，单元化，分组等隔离和拆分，这里海量topic我们讨论针对一个单实例模式下如何尽可能做到更多topic，完全任意数量都能100%没问题肯定是不现实的。由于broker和存储已经隔离，broker和topic已经没有什么关系，或者说任何topic数据生成，broker做的事情就是写入和分发。海量topic，每个topic有限数量订阅：  topic和订阅者关系使用redis缓存或本地缓存，针对mqtt topic匹配有个topic tree的树算法，hivemq有实现版本。单个topic 海量订阅：  这个场景其实是组播和广播，我们不会考虑在队列本身上面去做这个事情，而是在上层封装广播组件来协调任务和批量发送。 四， 阿里云AIoT消息队列目前阿里云AIoT队列，也叫服务端订阅，意思就是用户用服务端订阅他们设备消息。为了降低接入成本，用户可以使用AMQP1.0协议接入，符合开源生态。 同时兼容传统队列和新队列，交给用户按场景来选择，用户即可选择使用kafka、mq，也可以选用iot队列，甚至组合模式，比如按消息特征规则来配置流转队列。阿里云AIoT的场景队列实践，在现有mq队列、kafka队列融合之外，加了种自有的实时优先队列实现，同时，加入了队列网关代理，既能让用户选择普通消息队列，也可以选择轻便的IoT消息队列。————————————————原文链接：https://blog.csdn.net/alitech2017/article/details/119563822

提示“您不在此活动范围。”为什么呀？不懂，瑟瑟发抖！

提示“您不在此活动范围。”为什么呀？不懂，瑟瑟发抖！

说明：本文参考https://bbs.huaweicloud.com/forum/thread-147823-1-1.html一、操作系统和软件版本介绍1.操作系统为openEuler 20.03 (LTS-SP1)   可用如下命令查询：[root@1ocalhost ~]# cat /etc/os-release [root@1ocalhost ~]# uname -i2.软件版本   Kafka版本为：Kafka 2.7.03.JDK依赖   Kafka 是用Scala 语言开发的，运行在JVM上，因此在安装Kafka 之前需要先安装JDK。openEuler 20.03 (LTS-SP1) 默认没有安装JDK环境，需要自己自行安装。 这里安装JDK环境做简单说明，请开发者自行安装。[root@1ocalhost ~]# yum install java输入Y确认配置环境变量vim /etc/profile export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.242.b08-1.h5.oe1.x86_64 export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/jre/lib/rt.jar export PATH=$PATH:$JAVA_HOME/bin环境变量生效source /etc/profile  查看JDK版本[root@1ocalhost ~]# java -version openjdk version "1.8.0_242" OpenJDK Runtime Environment (build 1.8.0_242-b08) OpenJDK 64-Bit Server VM (build 25.242-b08, mixed mode)二、详细安装步骤1.在/root目录创建data目录cd /root mkdir data2.进入data目录并下载Kafka 2.7.0 [root@1ocalhost ~]# cd data/ [root@1ocalhost data]# wget http://archive.apache.org/dist/kafka/2.7.0/kafka_2.12-2.7.0.tgz3.解压并进入到解压后的目录[root@1ocalhost data]# tar -zvxf kafka_2.12-2.7.0.tgz [root@1ocalhost data]# cd kafka_2.12-2.7.04.启动zookeeper服务和kafka服务，可以在命令的结尾加个&符号，这样服务就可以在后台运行   说明：单节点的 kafka 是不用修改配置文件，直接照官网的介绍就可以，见kafka官网入门[root@1ocalhost kafka_2.12-2.7.0]# /root/data/kafka_2.12-2.7.0/bin/zookeeper-server-start.sh /root/data/kafka_2.12-2.7.0/config/zookeeper.properties > zookeeper.log 2>&1 & [root@1ocalhost kafka_2.12-2.7.0]# /root/data/kafka_2.12-2.7.0/bin/kafka-server-start.sh /root/data/kafka_2.12-2.7.0/config/server.properties > kafkastart.log 2>&1 & 三、验证   kafka原理：Kafka集群将 Record 流存储在称为 Topic 的类别中，每个记录由一个键、一个值和一个时间戳组成。Kafka 中消息是以 Topic 进行分类的，生产者生产消息，消费者消费消息，面向的都是同一个 Topic。Topic 是逻辑上的概念，而 Partition 是物理上的概念，每个 Partition 对应于一个 log 文件，该 log 文件中存储的就是 Producer 生产的数据。Producer 生产的数据会不断追加到该 log 文件末端，且每条数据都有自己的 Offset。消费者组中的每个消费者，都会实时记录自己消费到了哪个 Offset，以便出错恢复时，从上次的位置继续消费。1.创建一个叫"itren"的topic，它只有一个分区，一个副本：[root@1ocalhost kafka_2.12-2.7.0]# /root/data/kafka_2.12-2.7.0/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic itren2.发送消息，运行producer并在控制台中输一些消息，这些消息将被发送到服务端[root@1ocalhost kafka_2.12-2.7.0]# /root/data/kafka_2.12-2.7.0/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic itren >it520 >itren666 >byebye >3.在另一个终端开启consumer，可以读取到刚才发出的消息并输出[root@1ocalhost ~]# /root/data/kafka_2.12-2.7.0/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic itren it520 itren666 byebye

一、操作系统和软件版本介绍1.操作系统为openEuler 20.03 (LTS-SP1)   可用如下命令查询：[root@ecs-2e3d ~]# cat /etc/os-release [root@ecs-2e3d ~]# uname -i2.软件版本   Kafka版本为：Kafka 2.5.03.JDK依赖   Kafka 是用Scala 语言开发的，运行在JVM上，因此在安装Kafka 之前需要先安装JDK。openEuler 20.03 (LTS-SP1) 默认没有安装JDK环境，需要自己自行安装。 这里安装JDK环境做简单说明，请开发者自行安装。[root@ecs-2e3d ~]# yum install java输入y 配置环境变量  JDK默认安装路径/usr/lib/jvm在/etc/profile文件末尾配置jdk路径vi /etc/profile# set java environment JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.242.b08-1.h5.oe1.x86_64 PATH=$PATH:$JAVA_HOME/bin CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export JAVA_HOME CLASSPATH PATH保存关闭profile文件，执行如下命令生效source /etc/profile 查看JDK版本[root@ecs-2e3d ~]# java -version openjdk version "1.8.0_242" OpenJDK Runtime Environment (build 1.8.0_242-b08) OpenJDK 64-Bit Server VM (build 25.242-b08, mixed mode)二、详细安装步骤1.在/root创建data目录cd /root mkdir data2.进入data目录并下载Kafka 2.5.0 [root@ecs-2e3d ~]# cd data [root@ecs-2e3d data]# wget http://archive.apache.org/dist/kafka/2.5.0/kafka_2.12-2.5.0.tgz3.解压并进入到解压后的目录[root@ecs-2e3d data]# tar -zvxf kafka_2.12-2.5.0.tgz [root@ecs-2e3d data]# cd kafka_2.12-2.5.04.启动zookeeper服务和kafka服务，可以在命令的结尾加个&符号，这样服务就可以在后台运行   说明：单节点的 kafka 是不用修改配置文件，直接照官网的介绍就可以，见kafka官网入门[root@ecs-2e3d kafka_2.12-2.5.0]# /root/data/kafka_2.12-2.5.0/bin/zookeeper-server-start.sh /root/data/kafka_2.12-2.5.0/config/zookeeper.properties > zookeeper.log 2>&1 & [1] 7742 [root@ecs-2e3d kafka_2.12-2.5.0]# /root/data/kafka_2.12-2.5.0/bin/kafka-server-start.sh /root/data/kafka_2.12-2.5.0/config/server.properties > kafkastart.log 2>&1 & [2] 8115 [root@ecs-2e3d kafka_2.12-2.5.0]# 三、验证Kafka工作流程Kafka将消息按Topic进行分类，每条message由三个属性组成。          offset：表示message在当前Partition（分区）中的偏移量，是一个逻辑上的值，唯一确定了Partition中的一条message，可以简单的认为是一个id；           MessageSize：表示message内容data的大小；           data：message的具体内容；在整个kafka架构中，生产者和消费者采用发布和订阅的模式，生产者生产消息，消费者消费消息，它俩各司其职，并且都是面向topic的。（需要注意：topic是逻辑上的概念，而partition是物理上的概念，每个partition对应于一个log文件，该log文件中存储的就是producer生产的数据）Producer生产的数据会被不断追加到该log文件末端，且每条数据都有自己的offset。消费者组中的每个消费者，都会实时记录自己消费到了哪个offset，这样当出现故障并恢复后，可从这个offset位置继续进行消费，避免漏掉数据或者重复消费。1.创建一个叫"demo"的topic，它只有一个分区，一个副本：[root@ecs-2e3d kafka_2.12-2.5.0]# /root/data/kafka_2.12-2.5.0/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic demo Created topic demo. [root@ecs-2e3d kafka_2.12-2.5.0]#2.发送消息，运行producer并在控制台中输一些消息，这些消息将被发送到服务端[root@ecs-2e3d kafka_2.12-2.5.0]# /root/data/kafka_2.12-2.5.0/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic demo >morning >nihao >goodday! >3.在另一个终端开启consumer，可以读取到刚才发出的消息并输出[root@ecs-2e3d kafka_2.12-2.5.0]# /root/data/kafka_2.12-2.5.0/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic demo morning nihao goodday!

一、操作系统和软件版本介绍1.操作系统为openEuler 20.03 (LTS-SP1)   可用如下命令查询：[root@ecs-1d84 ~]# cat /etc/os-release [root@ecs-1d84 ~]# uname -i2.软件版本   Kafka版本为：Kafka 2.4.03.JDK依赖   Kafka 是用Scala 语言开发的，运行在JVM上，因此在安装Kafka 之前需要先安装JDK。openEuler 20.03 (LTS-SP1) 默认没有安装JDK环境，需要自己自行安装。 这里安装JDK环境做简单说明，请开发者自行安装。[root@ecs-1d84 ~]# yum install java输入y 配置环境变量  JDK默认安装路径/usr/lib/jvm在/etc/profile文件末尾配置jdk路径vi /etc/profile# set java environment JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.242.b08-1.h5.oe1.x86_64 PATH=$PATH:$JAVA_HOME/bin CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export JAVA_HOME CLASSPATH PATH保存关闭profile文件，执行如下命令生效source /etc/profile查看JDK版本[root@ecs-1d84 ~]# java -version openjdk version "1.8.0_242" OpenJDK Runtime Environment (build 1.8.0_242-b08) OpenJDK 64-Bit Server VM (build 25.242-b08, mixed mode)二、详细安装步骤1.在/root创建data目录cd /root mkdir data2.进入data目录并下载Kafka 2.4.0 [root@ecs-1d84 ~]# cd data [root@ecs-1d84 data]# wget http://archive.apache.org/dist/kafka/2.4.0/kafka_2.11-2.4.0.tgz3.解压并进入到解压后的目录[root@ecs-1d84 data]# tar -zvxf kafka_2.11-2.4.0.tgz [root@ecs-1d84 data]# cd kafka_2.11-2.4.04.启动zookeeper服务和kafka服务，可以在命令的结尾加个&符号，这样服务就可以在后台运行   说明：单节点的 kafka 是不用修改配置文件，直接照官网的介绍就可以，见kafka官网入门[root@ecs-1d84 kafka_2.11-2.4.0]# /root/data/kafka_2.11-2.4.0/bin/zookeeper-server-start.sh /root/data/kafka_2.11-2.4.0/config/zookeeper.properties > zookeeper.log 2>&1 &[root@ecs-1d84 kafka_2.11-2.4.0]# /root/data/kafka_2.11-2.4.0/bin/kafka-server-start.sh /root/data/kafka_2.11-2.4.0/config/server.properties > kafkastart.log 2>&1 &三、验证   Kafka工作流程Kafka将消息按Topic进行分类，每条message由三个属性组成。          offset：表示message在当前Partition（分区）中的偏移量，是一个逻辑上的值，唯一确定了Partition中的一条message，可以简单的认为是一个id；           MessageSize：表示message内容data的大小；           data：message的具体内容；在整个kafka架构中，生产者和消费者采用发布和订阅的模式，生产者生产消息，消费者消费消息，它俩各司其职，并且都是面向topic的。（需要注意：topic是逻辑上的概念，而partition是物理上的概念，每个partition对应于一个log文件，该log文件中存储的就是producer生产的数据）Producer生产的数据会被不断追加到该log文件末端，且每条数据都有自己的offset。消费者组中的每个消费者，都会实时记录自己消费到了哪个offset，这样当出现故障并恢复后，可从这个offset位置继续进行消费，避免漏掉数据或者重复消费。1.创建一个叫"test"的topic，它只有一个分区，一个副本：[root@ecs-1d84 kafka_2.11-2.4.0]# /root/data/kafka_2.11-2.4.0/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test Created topic test. [root@ecs-1d84 kafka_2.11-2.4.0]# 2.发送消息，运行producer并在控制台中输一些消息，这些消息将被发送到服务端[root@ecs-1d84 kafka_2.11-2.4.0]# /root/data/kafka_2.11-2.4.0/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test >goodnight >20210818 >3.在另一个终端开启consumer，可以读取到刚才发出的消息并输出[root@ecs-1d84 kafka_2.11-2.4.0]# /root/data/kafka_2.11-2.4.0/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test goodnight 20210818现在所有完成，请指正。

在一般网络环境下，都存在一定的网络延迟、网络抖动，网络问题导致消息重复发送的情况是难以避免的，毕竟网络环境无法预知，因此MQ默认允许消息重复发送。是的，只要通过网络交换数据，就无法避免这个问题。秉承着打不过就加入的原则，解决这个问题的办法就是绕过这个问题。那么问题就变成了：如果消费端收到两条一样的消息，应该怎样处理？  RabbitMQ、RocketMQ、Kafka，都有可能会出现消息重复消费的问题。因为这问题通常不是 MQ 自己保证的，而是消费方自己来保证的。  比如说Kafka， 他实际上有个 offset 的概念（偏移量），就是每个消息写进去，都有一个 offset，代表消息的序号，然后 consumer 消费了数据之后，每隔一段时间（定时定期），会把自己消费过的消息的 offset 提交一下。代表我已经消费过了，就算消费者重启，Kafka也会让消费者继上次消费到的offset继续消费。场景示例：  kafka 中有一条数据：A、B，kafka给这条数据分一个 offset（偏移量），offset为： 1001、1002。消费者从 kafka 去消费的时候，也是按照这个顺序去消费。当消费者消费到 offset=1002 的这条数据（此时offset=1001还没消费完），刚提交 offset=1002 到 zookeeper，消费者进程就被重启了。此时消费过的数据 A 的 offset 还没有提交，kafka 也就不知道消费者已经消费了1001这条数据。那么重启之后，消费者会找 Kafka 把上次消费到的那个地方后面的数据继续传递过来。数据 A 再次被消费。

在一般网络环境下，都存在一定的网络延迟、网络抖动，网络问题导致消息重复发送的情况是难以避免的，毕竟网络环境无法预知，因此MQ默认允许消息重复发送。是的，只要通过网络交换数据，就无法避免这个问题。秉承着打不过就加入的原则，解决这个问题的办法就是绕过这个问题。那么问题就变成了：如果消费端收到两条一样的消息，应该怎样处理？  RabbitMQ、RocketMQ、Kafka，都有可能会出现消息重复消费的问题。因为这问题通常不是 MQ 自己保证的，而是消费方自己来保证的。  比如说Kafka， 他实际上有个 offset 的概念（偏移量），就是每个消息写进去，都有一个 offset，代表消息的序号，然后 consumer 消费了数据之后，每隔一段时间（定时定期），会把自己消费过的消息的 offset 提交一下。代表我已经消费过了，就算消费者重启，Kafka也会让消费者继上次消费到的offset继续消费。场景示例：  kafka 中有一条数据：A、B，kafka给这条数据分一个 offset（偏移量），offset为： 1001、1002。消费者从 kafka 去消费的时候，也是按照这个顺序去消费。当消费者消费到 offset=1002 的这条数据（此时offset=1001还没消费完），刚提交 offset=1002 到 zookeeper，消费者进程就被重启了。此时消费过的数据 A 的 offset 还没有提交，kafka 也就不知道消费者已经消费了1001这条数据。那么重启之后，消费者会找 Kafka 把上次消费到的那个地方后面的数据继续传递过来。数据 A 再次被消费。