- 通过eip访问集群主要是对需要的访问的集群组件的IP修改成hostname，和端口开放。像类似spark和flink这种这种分析组件因为是在本地运行，所以不需要做额外的端口和ip的修改。安全集群相对于普通集群多了个kerboers认证，只要修改kerboers的conf文件和开发对应的端口就可以了。 通过eip访问集群主要是对需要的访问的集群组件的IP修改成hostname，和端口开放。像类似spark和flink这种这种分析组件因为是在本地运行，所以不需要做额外的端口和ip的修改。安全集群相对于普通集群多了个kerboers认证，只要修改kerboers的conf文件和开发对应的端口就可以了。
- 集群后续需要搬迁，割接期同一个业务对接两套集群，发现旧的CDH Kafka集群和新的Mrs kafka集群节点上存储的文件大小相差了几十倍。问题处理过程：一、创建新的消费组分别从头部和尾部进行消费，并查询offset，计算当前存储的消息总数量，对比是否数据量差异导致1.执行如下语句创建新的consumerGroup，并消费数据【这里不能使用现网使用的consumerGroup】kafka-v... 集群后续需要搬迁，割接期同一个业务对接两套集群，发现旧的CDH Kafka集群和新的Mrs kafka集群节点上存储的文件大小相差了几十倍。问题处理过程：一、创建新的消费组分别从头部和尾部进行消费，并查询offset，计算当前存储的消息总数量，对比是否数据量差异导致1.执行如下语句创建新的consumerGroup，并消费数据【这里不能使用现网使用的consumerGroup】kafka-v...
- 配置内外网不同网段IP访问Kafka集群 配置内外网不同网段IP访问Kafka集群
- kafka 生产和消费的offset kafka 生产和消费的offset
- 一.问题描述kafka减容磁盘raid组,比如从3组raid减容到1组。二.思路分析1.减容 broker？ 否 兼容磁盘，不是减容broker2.实例 退服？ 否3.单磁盘partition得考虑下四.解决方法 理论上要把减容磁盘的数据迁移到其他节点或减容节点的非减容磁盘上，去掉磁盘raid组后改manager数据存放目录。五.问题总结操作风险： ①在重建过程中，硬盘驱动器的压力会更大... 一.问题描述kafka减容磁盘raid组,比如从3组raid减容到1组。二.思路分析1.减容 broker？ 否 兼容磁盘，不是减容broker2.实例 退服？ 否3.单磁盘partition得考虑下四.解决方法 理论上要把减容磁盘的数据迁移到其他节点或减容节点的非减容磁盘上，去掉磁盘raid组后改manager数据存放目录。五.问题总结操作风险： ①在重建过程中，硬盘驱动器的压力会更大...
- Kafka connect： 一、是一个可以在kafka和其它数据系统中进行数据传输的工具，一般用于增量数据迁移或者导出导入数据到目标地址。 二、基本概念： 1）Connector：有两种类型的connector，分别是sourceConnector和sinkConnector，其基类都是Connector：sourceConnector：数据导入kafka集群功能；sourceConnec... Kafka connect： 一、是一个可以在kafka和其它数据系统中进行数据传输的工具，一般用于增量数据迁移或者导出导入数据到目标地址。 二、基本概念： 1）Connector：有两种类型的connector，分别是sourceConnector和sinkConnector，其基类都是Connector：sourceConnector：数据导入kafka集群功能；sourceConnec...
- DIS 在华为云场景下有如下优势：支持全局接入：解决公网、跨VPC、PSZ/OM区访问互通问题 与华为云集成认证、监控、企业项目等Serverless：ØTopic as a Service，只需要关注业务带宽按需使用，自动扩缩容 Ø无限扩容、超过单kafka集群限制的上限吞吐能力HA ：多az，跨集群级别的高可用接口rest协议 ：跨平台能力更强，但时延更高 通过压缩等优化，实现公网... DIS 在华为云场景下有如下优势：支持全局接入：解决公网、跨VPC、PSZ/OM区访问互通问题 与华为云集成认证、监控、企业项目等Serverless：ØTopic as a Service，只需要关注业务带宽按需使用，自动扩缩容 Ø无限扩容、超过单kafka集群限制的上限吞吐能力HA ：多az，跨集群级别的高可用接口rest协议 ：跨平台能力更强，但时延更高 通过压缩等优化，实现公网...
- 1. Assign、Subscribe、Pattern 三种模式有什么区别？Assign模式 给Consumer手动分配分区，需要显式指定需要消费的分区。Subscribe模式 直接订阅通道，服务端直接完成分区分配。Pattern模式 也属于Subscribe模式，只不过是使用正则表达式的方式来订阅通道。2. DIS Consumer 如何指定线程数？props.setPrope... 1. Assign、Subscribe、Pattern 三种模式有什么区别？Assign模式 给Consumer手动分配分区，需要显式指定需要消费的分区。Subscribe模式 直接订阅通道，服务端直接完成分区分配。Pattern模式 也属于Subscribe模式，只不过是使用正则表达式的方式来订阅通道。2. DIS Consumer 如何指定线程数？props.setPrope...
- 问题描述cdm新建kafka连接，点测试或者保存 提示 系统错误。 (Cdm.0000)问题分析1.排查网络问题用户kafka 集群和CDM集群在一个VPC下，并且kafka所在安全组的入方向规则已针对CDM集群全部放通，CDM所在安全组出方向规则全部放通，排除网络问题2.排查权限，经分析是用户使用的账户没有ssl没权限 使用其他账号测试，ok，最中确定是客户ROOT用户没有SSL权限，另外... 问题描述cdm新建kafka连接，点测试或者保存 提示 系统错误。 (Cdm.0000)问题分析1.排查网络问题用户kafka 集群和CDM集群在一个VPC下，并且kafka所在安全组的入方向规则已针对CDM集群全部放通，CDM所在安全组出方向规则全部放通，排除网络问题2.排查权限，经分析是用户使用的账户没有ssl没权限 使用其他账号测试，ok，最中确定是客户ROOT用户没有SSL权限，另外...
- 操作场景： Flume消费kafka数据存储到HBase中。前提条件： 已创建混合集群或者流式和分析集群（集群间网络互通，如果开启kerberos，则需配置跨集群互信https://support.huaweicloud.com/usermanual-mrs/mrs_01_0354.html）。操作步骤： 1. 从HBase客户端拷贝配置文件hbase-site.xml到F... 操作场景： Flume消费kafka数据存储到HBase中。前提条件： 已创建混合集群或者流式和分析集群（集群间网络互通，如果开启kerberos，则需配置跨集群互信https://support.huaweicloud.com/usermanual-mrs/mrs_01_0354.html）。操作步骤： 1. 从HBase客户端拷贝配置文件hbase-site.xml到F...
- Kafka-Manager是由Yahoo公司开源的一款基于Web的Kafka管理工具，可以对Kafka集群中的Broker、Topic、Partition、Consumer等进行监控查看和管理。 Kafka-Manager是由Yahoo公司开源的一款基于Web的Kafka管理工具，可以对Kafka集群中的Broker、Topic、Partition、Consumer等进行监控查看和管理。
- 今天大致讲得是生产者的故事，老师给出的demo还是很值得学习的，不仅仅是Kafka，对消息队列而言，入栈需谨慎。附件上是demo的zip包（便于解压），有需要的朋友可以获取。接day1，我们在搭建好Kafka和Java环境后，然后执行程序来调用Kafka进行生产呢？我们切换到Kafka的libs目录，发现并没有我们的demo，需要上传上传demoscp dms.kafka.demo.jar.... 今天大致讲得是生产者的故事，老师给出的demo还是很值得学习的，不仅仅是Kafka，对消息队列而言，入栈需谨慎。附件上是demo的zip包（便于解压），有需要的朋友可以获取。接day1，我们在搭建好Kafka和Java环境后，然后执行程序来调用Kafka进行生产呢？我们切换到Kafka的libs目录，发现并没有我们的demo，需要上传上传demoscp dms.kafka.demo.jar....
- 最近也是在学习消息队列的知识，很有幸参加这次学习活动。废话不多说，直接入正题！从华为云源下载Kafkawget https://repo.huaweicloud.com/apache/kafka/1.1.0/kafka_2.12-1.1.0.tgz解压tar zxvf kafka_2.12-1.1.0.tgz访问华为云Kafka控制台https://console.huaweicloud.c... 最近也是在学习消息队列的知识，很有幸参加这次学习活动。废话不多说，直接入正题！从华为云源下载Kafkawget https://repo.huaweicloud.com/apache/kafka/1.1.0/kafka_2.12-1.1.0.tgz解压tar zxvf kafka_2.12-1.1.0.tgz访问华为云Kafka控制台https://console.huaweicloud.c...
- 既然是集群，必然有多个Kafka节点，只有单节点构成的Kafka伪集群只能用于日常测试，不可能满足线上生产需求。 真正的线上环境需要考量各种因素，结合自身的业务需求而制定。看一些考虑因素（以下顺序，可是分了顺序的哦） 1 操作系统 - OS 可能你会问Kafka不是JVM上的大数据框架吗？Java又是跨平台的语言，把Kafka安装到不同的操作系统上会有什么区别吗？ ... 既然是集群，必然有多个Kafka节点，只有单节点构成的Kafka伪集群只能用于日常测试，不可能满足线上生产需求。 真正的线上环境需要考量各种因素，结合自身的业务需求而制定。看一些考虑因素（以下顺序，可是分了顺序的哦） 1 操作系统 - OS 可能你会问Kafka不是JVM上的大数据框架吗？Java又是跨平台的语言，把Kafka安装到不同的操作系统上会有什么区别吗？ ...
- 两张图读懂kafka应用：Kafka 中的术语 broker：中间的kafka cluster，存储消息，是由多个server组成的集群。 topic：kafka给消息提供的分类方式。broker用来存储不同topic的消息数据。 producer：往broker中某个topic里面生产数据。 consumer：从broker中某个topic获取数据。Kafka 中的术语设计：1、Broke... 两张图读懂kafka应用：Kafka 中的术语 broker：中间的kafka cluster，存储消息，是由多个server组成的集群。 topic：kafka给消息提供的分类方式。broker用来存储不同topic的消息数据。 producer：往broker中某个topic里面生产数据。 consumer：从broker中某个topic获取数据。Kafka 中的术语设计：1、Broke...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签