- 在kafka-0.8.2之后，producer不再区分同步(sync)和异步方式(async)，所有的请求以异步方式发送，这样提升了客户端效率。producer请求会返回一个应答对象，包括偏移量或者错误信。这种异步方地批量的发送消息到kafka broker节点，因而可以减少server端资源的开销。新的producer和所有的服务器网络通信都是异步地，在ack=-1模式下需要等待所有的re... 在kafka-0.8.2之后，producer不再区分同步(sync)和异步方式(async)，所有的请求以异步方式发送，这样提升了客户端效率。producer请求会返回一个应答对象，包括偏移量或者错误信。这种异步方地批量的发送消息到kafka broker节点，因而可以减少server端资源的开销。新的producer和所有的服务器网络通信都是异步地，在ack=-1模式下需要等待所有的re...
- 通过eip访问集群主要是对需要的访问的集群组件的IP修改成hostname，和端口开放。像类似spark和flink这种这种分析组件因为是在本地运行，所以不需要做额外的端口和ip的修改。安全集群相对于普通集群多了个kerboers认证，只要修改kerboers的conf文件和开发对应的端口就可以了。 通过eip访问集群主要是对需要的访问的集群组件的IP修改成hostname，和端口开放。像类似spark和flink这种这种分析组件因为是在本地运行，所以不需要做额外的端口和ip的修改。安全集群相对于普通集群多了个kerboers认证，只要修改kerboers的conf文件和开发对应的端口就可以了。
- 集群后续需要搬迁，割接期同一个业务对接两套集群，发现旧的CDH Kafka集群和新的Mrs kafka集群节点上存储的文件大小相差了几十倍。问题处理过程：一、创建新的消费组分别从头部和尾部进行消费，并查询offset，计算当前存储的消息总数量，对比是否数据量差异导致1.执行如下语句创建新的consumerGroup，并消费数据【这里不能使用现网使用的consumerGroup】kafka-v... 集群后续需要搬迁，割接期同一个业务对接两套集群，发现旧的CDH Kafka集群和新的Mrs kafka集群节点上存储的文件大小相差了几十倍。问题处理过程：一、创建新的消费组分别从头部和尾部进行消费，并查询offset，计算当前存储的消息总数量，对比是否数据量差异导致1.执行如下语句创建新的consumerGroup，并消费数据【这里不能使用现网使用的consumerGroup】kafka-v...
- 配置内外网不同网段IP访问Kafka集群 配置内外网不同网段IP访问Kafka集群
- kafka 生产和消费的offset kafka 生产和消费的offset
- 一.问题描述kafka减容磁盘raid组,比如从3组raid减容到1组。二.思路分析1.减容 broker？ 否 兼容磁盘，不是减容broker2.实例 退服？ 否3.单磁盘partition得考虑下四.解决方法 理论上要把减容磁盘的数据迁移到其他节点或减容节点的非减容磁盘上，去掉磁盘raid组后改manager数据存放目录。五.问题总结操作风险： ①在重建过程中，硬盘驱动器的压力会更大... 一.问题描述kafka减容磁盘raid组,比如从3组raid减容到1组。二.思路分析1.减容 broker？ 否 兼容磁盘，不是减容broker2.实例 退服？ 否3.单磁盘partition得考虑下四.解决方法 理论上要把减容磁盘的数据迁移到其他节点或减容节点的非减容磁盘上，去掉磁盘raid组后改manager数据存放目录。五.问题总结操作风险： ①在重建过程中，硬盘驱动器的压力会更大...
- Kafka connect： 一、是一个可以在kafka和其它数据系统中进行数据传输的工具，一般用于增量数据迁移或者导出导入数据到目标地址。 二、基本概念： 1）Connector：有两种类型的connector，分别是sourceConnector和sinkConnector，其基类都是Connector：sourceConnector：数据导入kafka集群功能；sourceConnec... Kafka connect： 一、是一个可以在kafka和其它数据系统中进行数据传输的工具，一般用于增量数据迁移或者导出导入数据到目标地址。 二、基本概念： 1）Connector：有两种类型的connector，分别是sourceConnector和sinkConnector，其基类都是Connector：sourceConnector：数据导入kafka集群功能；sourceConnec...
- DIS 在华为云场景下有如下优势：支持全局接入：解决公网、跨VPC、PSZ/OM区访问互通问题 与华为云集成认证、监控、企业项目等Serverless：ØTopic as a Service，只需要关注业务带宽按需使用，自动扩缩容 Ø无限扩容、超过单kafka集群限制的上限吞吐能力HA ：多az，跨集群级别的高可用接口rest协议 ：跨平台能力更强，但时延更高 通过压缩等优化，实现公网... DIS 在华为云场景下有如下优势：支持全局接入：解决公网、跨VPC、PSZ/OM区访问互通问题 与华为云集成认证、监控、企业项目等Serverless：ØTopic as a Service，只需要关注业务带宽按需使用，自动扩缩容 Ø无限扩容、超过单kafka集群限制的上限吞吐能力HA ：多az，跨集群级别的高可用接口rest协议 ：跨平台能力更强，但时延更高 通过压缩等优化，实现公网...
- 1. Assign、Subscribe、Pattern 三种模式有什么区别？Assign模式 给Consumer手动分配分区，需要显式指定需要消费的分区。Subscribe模式 直接订阅通道，服务端直接完成分区分配。Pattern模式 也属于Subscribe模式，只不过是使用正则表达式的方式来订阅通道。2. DIS Consumer 如何指定线程数？props.setPrope... 1. Assign、Subscribe、Pattern 三种模式有什么区别？Assign模式 给Consumer手动分配分区，需要显式指定需要消费的分区。Subscribe模式 直接订阅通道，服务端直接完成分区分配。Pattern模式 也属于Subscribe模式，只不过是使用正则表达式的方式来订阅通道。2. DIS Consumer 如何指定线程数？props.setPrope...
- 问题描述cdm新建kafka连接，点测试或者保存 提示 系统错误。 (Cdm.0000)问题分析1.排查网络问题用户kafka 集群和CDM集群在一个VPC下，并且kafka所在安全组的入方向规则已针对CDM集群全部放通，CDM所在安全组出方向规则全部放通，排除网络问题2.排查权限，经分析是用户使用的账户没有ssl没权限 使用其他账号测试，ok，最中确定是客户ROOT用户没有SSL权限，另外... 问题描述cdm新建kafka连接，点测试或者保存 提示 系统错误。 (Cdm.0000)问题分析1.排查网络问题用户kafka 集群和CDM集群在一个VPC下，并且kafka所在安全组的入方向规则已针对CDM集群全部放通，CDM所在安全组出方向规则全部放通，排除网络问题2.排查权限，经分析是用户使用的账户没有ssl没权限 使用其他账号测试，ok，最中确定是客户ROOT用户没有SSL权限，另外...
- 操作场景： Flume消费kafka数据存储到HBase中。前提条件： 已创建混合集群或者流式和分析集群（集群间网络互通，如果开启kerberos，则需配置跨集群互信https://support.huaweicloud.com/usermanual-mrs/mrs_01_0354.html）。操作步骤： 1. 从HBase客户端拷贝配置文件hbase-site.xml到F... 操作场景： Flume消费kafka数据存储到HBase中。前提条件： 已创建混合集群或者流式和分析集群（集群间网络互通，如果开启kerberos，则需配置跨集群互信https://support.huaweicloud.com/usermanual-mrs/mrs_01_0354.html）。操作步骤： 1. 从HBase客户端拷贝配置文件hbase-site.xml到F...
- Kafka-Manager是由Yahoo公司开源的一款基于Web的Kafka管理工具，可以对Kafka集群中的Broker、Topic、Partition、Consumer等进行监控查看和管理。 Kafka-Manager是由Yahoo公司开源的一款基于Web的Kafka管理工具，可以对Kafka集群中的Broker、Topic、Partition、Consumer等进行监控查看和管理。
- 今天大致讲得是生产者的故事，老师给出的demo还是很值得学习的，不仅仅是Kafka，对消息队列而言，入栈需谨慎。附件上是demo的zip包（便于解压），有需要的朋友可以获取。接day1，我们在搭建好Kafka和Java环境后，然后执行程序来调用Kafka进行生产呢？我们切换到Kafka的libs目录，发现并没有我们的demo，需要上传上传demoscp dms.kafka.demo.jar.... 今天大致讲得是生产者的故事，老师给出的demo还是很值得学习的，不仅仅是Kafka，对消息队列而言，入栈需谨慎。附件上是demo的zip包（便于解压），有需要的朋友可以获取。接day1，我们在搭建好Kafka和Java环境后，然后执行程序来调用Kafka进行生产呢？我们切换到Kafka的libs目录，发现并没有我们的demo，需要上传上传demoscp dms.kafka.demo.jar....
- 最近也是在学习消息队列的知识，很有幸参加这次学习活动。废话不多说，直接入正题！从华为云源下载Kafkawget https://repo.huaweicloud.com/apache/kafka/1.1.0/kafka_2.12-1.1.0.tgz解压tar zxvf kafka_2.12-1.1.0.tgz访问华为云Kafka控制台https://console.huaweicloud.c... 最近也是在学习消息队列的知识，很有幸参加这次学习活动。废话不多说，直接入正题！从华为云源下载Kafkawget https://repo.huaweicloud.com/apache/kafka/1.1.0/kafka_2.12-1.1.0.tgz解压tar zxvf kafka_2.12-1.1.0.tgz访问华为云Kafka控制台https://console.huaweicloud.c...
- 既然是集群，必然有多个Kafka节点，只有单节点构成的Kafka伪集群只能用于日常测试，不可能满足线上生产需求。 真正的线上环境需要考量各种因素，结合自身的业务需求而制定。看一些考虑因素（以下顺序，可是分了顺序的哦） 1 操作系统 - OS 可能你会问Kafka不是JVM上的大数据框架吗？Java又是跨平台的语言，把Kafka安装到不同的操作系统上会有什么区别吗？ ... 既然是集群，必然有多个Kafka节点，只有单节点构成的Kafka伪集群只能用于日常测试，不可能满足线上生产需求。 真正的线上环境需要考量各种因素，结合自身的业务需求而制定。看一些考虑因素（以下顺序，可是分了顺序的哦） 1 操作系统 - OS 可能你会问Kafka不是JVM上的大数据框架吗？Java又是跨平台的语言，把Kafka安装到不同的操作系统上会有什么区别吗？ ...
上滑加载中
推荐直播
-
算子工具性能优化新特性演示——MatMulLeakyRelu性能调优实操2025/01/10 周五 15:30-17:30
MindStudio布道师
算子工具性能优化新特性演示——MatMulLeakyRelu性能调优实操
回顾中 -
用代码全方位驱动 OBS 存储2025/01/14 周二 16:30-18:00
阿肯 华为云生态技术讲师
如何用代码驱动OBS？常用的数据管理，对象清理，多版本对象访问等应该如何编码？本期课程一一演示解答。
即将直播 -
GaussDB数据库开发2025/01/15 周三 16:00-17:30
Steven 华为云学堂技术讲师
本期直播将带你了解GaussDB数据库开发相关知识，并通过实验指导大家利用java基于JDBC的方式来完成GaussD数据库基础操作。
去报名
热门标签