- 1.概述Kafka的使用场景非常广泛，一些实时流数据业务场景，均依赖Kafka来做数据分流。而在分布式应用场景中，数据迁移是一个比较常见的问题。关于Kafka集群数据如何迁移，今天叶秋学长将为大家详细介绍。2.内容本篇博客为大家介绍两种迁移场景，分别是同集群数据迁移、跨集群数据迁移。如下图所示：编辑 2.1 同集群迁移同集群之间数据迁移，比如在已有的集群中新增了一个Broker节点，此时... 1.概述Kafka的使用场景非常广泛，一些实时流数据业务场景，均依赖Kafka来做数据分流。而在分布式应用场景中，数据迁移是一个比较常见的问题。关于Kafka集群数据如何迁移，今天叶秋学长将为大家详细介绍。2.内容本篇博客为大家介绍两种迁移场景，分别是同集群数据迁移、跨集群数据迁移。如下图所示：编辑 2.1 同集群迁移同集群之间数据迁移，比如在已有的集群中新增了一个Broker节点，此时...
- 本次实战的内容是开发Flink应用，消费来自kafka的消息，进行实时计算 本次实战的内容是开发Flink应用，消费来自kafka的消息，进行实时计算
- kafka性能维度标准：6.5.1版本之后kafka生产者的性能基线标准如何判断一个kafka集群是否已经处于性能瓶颈，通常的判断条件有如下几点：维度1：磁盘IO读写磁盘性能是kafka重要的参数指标，如果磁盘IO到达性能瓶颈会直接导致业务故障。Kafka读写性能跟磁盘IO之间的关系计算如下：举例：假设磁盘IO的上限为100M/s，数据大小为8k，假设在topic仅设置为单副本的情况下，理论... kafka性能维度标准：6.5.1版本之后kafka生产者的性能基线标准如何判断一个kafka集群是否已经处于性能瓶颈，通常的判断条件有如下几点：维度1：磁盘IO读写磁盘性能是kafka重要的参数指标，如果磁盘IO到达性能瓶颈会直接导致业务故障。Kafka读写性能跟磁盘IO之间的关系计算如下：举例：假设磁盘IO的上限为100M/s，数据大小为8k，假设在topic仅设置为单副本的情况下，理论...
- kafka服务作为Docker容器运行后，外部的应用如何能够消费这个kafa的消息呢？今天就来一起实战 kafka服务作为Docker容器运行后，外部的应用如何能够消费这个kafa的消息呢？今天就来一起实战
- wurstmeister/kafka是镜像市场上很受欢迎的一个kafka镜像，今天来聊聊它的多种用法 wurstmeister/kafka是镜像市场上很受欢迎的一个kafka镜像，今天来聊聊它的多种用法
- SQL API 读取Kafka数据实时写入Iceberg表从Kafka中实时读取数据写入到Iceberg表中，操作步骤如下：一、首先需要创建对应的Iceberg表StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();StreamTableEnvironment tblEnv ... SQL API 读取Kafka数据实时写入Iceberg表从Kafka中实时读取数据写入到Iceberg表中，操作步骤如下：一、首先需要创建对应的Iceberg表StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();StreamTableEnvironment tblEnv ...
- 数据湖概念一、什么是数据湖数据湖是一个集中式的存储库，允许你以任意规模存储多个来源、所有结构化和非结构化数据，可以按照原样存储数据，无需对数据进行结构化处理，并运行不同类型的分析对数据进行加工，例如：大数据处理、实时分析、机器学习，以指导做出更好地决策。二、大数据为什么需要数据湖当前基于Hive的离线数据仓库已经非常成熟，在传统的离线数据仓库中对记录级别的数据进行更新是非常麻烦的，需要对待... 数据湖概念一、什么是数据湖数据湖是一个集中式的存储库，允许你以任意规模存储多个来源、所有结构化和非结构化数据，可以按照原样存储数据，无需对数据进行结构化处理，并运行不同类型的分析对数据进行加工，例如：大数据处理、实时分析、机器学习，以指导做出更好地决策。二、大数据为什么需要数据湖当前基于Hive的离线数据仓库已经非常成熟，在传统的离线数据仓库中对记录级别的数据进行更新是非常麻烦的，需要对待...
- 典型的二分思想：“猜数字”的游戏。大家规定一个范围，一个人在心里想一个这个范围内的具体数字，比如一个 1-100 的自然数，然后另几个人来猜数字；每次猜错，这个人都会提示他们的猜测是大了还是小了，看谁最快猜到数字。大家的第一反应也都会是从比较中间的位置，比如 50，开始猜起。毕竟如果 50 猜错了，因为要提示是大了还是小了，范围就要么缩小到 1-49，要么缩小到 51-100，这样猜测范围就... 典型的二分思想：“猜数字”的游戏。大家规定一个范围，一个人在心里想一个这个范围内的具体数字，比如一个 1-100 的自然数，然后另几个人来猜数字；每次猜错，这个人都会提示他们的猜测是大了还是小了，看谁最快猜到数字。大家的第一反应也都会是从比较中间的位置，比如 50，开始猜起。毕竟如果 50 猜错了，因为要提示是大了还是小了，范围就要么缩小到 1-49，要么缩小到 51-100，这样猜测范围就...
- 我们使用kafka时，有时候会遇到发送数据失败的情况，其原因及解决方案如下：1. Kafka topic leader为-1Kafka客户端执行如下命令查看topic的leader信息：kafka-topics.sh --describe --zookeeper zk业务IP:24002/kafka如果leader为-1，需查看Replicas中的副本节点是否正常，查看命令如下：ka... 我们使用kafka时，有时候会遇到发送数据失败的情况，其原因及解决方案如下：1. Kafka topic leader为-1Kafka客户端执行如下命令查看topic的leader信息：kafka-topics.sh --describe --zookeeper zk业务IP:24002/kafka如果leader为-1，需查看Replicas中的副本节点是否正常，查看命令如下：ka...
- 在使用Kafka时，我们有时候会遇到生产时连接Kafka失败的情况，原因及解决办法如下：1. Kafka服务异常通过FusionInsight Manager页面，选择“集群->Kafka”，查看当前Kafka集群当前状态，状态是否是良好；如果状态不是良好，说明Kafka服务异常。2. 生产命令错误如果使用21005端口，命令如下：kafka-console-prod... 在使用Kafka时，我们有时候会遇到生产时连接Kafka失败的情况，原因及解决办法如下：1. Kafka服务异常通过FusionInsight Manager页面，选择“集群->Kafka”，查看当前Kafka集群当前状态，状态是否是良好；如果状态不是良好，说明Kafka服务异常。2. 生产命令错误如果使用21005端口，命令如下：kafka-console-prod...
- 问题描述：FusionInsight C80版本，通过Flink提交消费Kafka的任务，消费Kafka的消费者组信息通过kafka-consumer-groups.sh --list命令查询不到，但是通过kafka-consumer-groups.sh --describe可以查询到信息。问题分析：1、C80版本kafka-consumer-groups.sh命令使用list查询group... 问题描述：FusionInsight C80版本，通过Flink提交消费Kafka的任务，消费Kafka的消费者组信息通过kafka-consumer-groups.sh --list命令查询不到，但是通过kafka-consumer-groups.sh --describe可以查询到信息。问题分析：1、C80版本kafka-consumer-groups.sh命令使用list查询group...
- 一、CPU使用率高的一般排查思路1） top命令排查CPU使用率高的进程2） su - omm切换到omm用户，jstack -l 进程pid>>文件路径3） top -H -p 进程pid 查看CPU使用率高4） “printf "%x\n" 线程号”将上一步中CPU高的线程号转换成16进制5） 在jstack文件中搜索上一步中的16进制信息查看具体的线程二、 Kafka CPU使用率高的... 一、CPU使用率高的一般排查思路1） top命令排查CPU使用率高的进程2） su - omm切换到omm用户，jstack -l 进程pid>>文件路径3） top -H -p 进程pid 查看CPU使用率高4） “printf "%x\n" 线程号”将上一步中CPU高的线程号转换成16进制5） 在jstack文件中搜索上一步中的16进制信息查看具体的线程二、 Kafka CPU使用率高的...
- 一、 节点故障或磁盘下线1. Kafka节点服务异常通过FusionInsight Manager页面，选择“集群->Kafka”，查看当前Kafka集群当前状态，状态是否是良好；如果状态不是良好，说明Kafka服务异常。2. 磁盘下线通过FusionInsight Manager页面查看告警信息，是否有“Kafka数据目录状态异常”的告警，如果有，se... 一、 节点故障或磁盘下线1. Kafka节点服务异常通过FusionInsight Manager页面，选择“集群->Kafka”，查看当前Kafka集群当前状态，状态是否是良好；如果状态不是良好，说明Kafka服务异常。2. 磁盘下线通过FusionInsight Manager页面查看告警信息，是否有“Kafka数据目录状态异常”的告警，如果有，se...
- Kafka修改配置 Kafka修改配置
- 一、收集Kafka实例和分区信息1. 执行kafka-broker-info.sh --zookeeper zk业务IP:24002/kafka 命令获取Kafka实例信息2. 执行kafka-topics.sh --describe --zookeeper zk业务IP:24002/kafka --unavailable-partitions 命令获取Kafka未同... 一、收集Kafka实例和分区信息1. 执行kafka-broker-info.sh --zookeeper zk业务IP:24002/kafka 命令获取Kafka实例信息2. 执行kafka-topics.sh --describe --zookeeper zk业务IP:24002/kafka --unavailable-partitions 命令获取Kafka未同...
上滑加载中
推荐直播
-
算子工具性能优化新特性演示——MatMulLeakyRelu性能调优实操2025/01/10 周五 15:30-17:30
MindStudio布道师
算子工具性能优化新特性演示——MatMulLeakyRelu性能调优实操
回顾中 -
用代码全方位驱动 OBS 存储2025/01/14 周二 16:30-18:00
阿肯 华为云生态技术讲师
如何用代码驱动OBS？常用的数据管理，对象清理，多版本对象访问等应该如何编码？本期课程一一演示解答。
即将直播 -
GaussDB数据库开发2025/01/15 周三 16:00-17:30
Steven 华为云学堂技术讲师
本期直播将带你了解GaussDB数据库开发相关知识，并通过实验指导大家利用java基于JDBC的方式来完成GaussD数据库基础操作。
去报名
热门标签