- 本次实战的内容是开发Flink应用，消费来自kafka的消息，进行实时计算 本次实战的内容是开发Flink应用，消费来自kafka的消息，进行实时计算
- kafka性能维度标准：6.5.1版本之后kafka生产者的性能基线标准如何判断一个kafka集群是否已经处于性能瓶颈，通常的判断条件有如下几点：维度1：磁盘IO读写磁盘性能是kafka重要的参数指标，如果磁盘IO到达性能瓶颈会直接导致业务故障。Kafka读写性能跟磁盘IO之间的关系计算如下：举例：假设磁盘IO的上限为100M/s，数据大小为8k，假设在topic仅设置为单副本的情况下，理论... kafka性能维度标准：6.5.1版本之后kafka生产者的性能基线标准如何判断一个kafka集群是否已经处于性能瓶颈，通常的判断条件有如下几点：维度1：磁盘IO读写磁盘性能是kafka重要的参数指标，如果磁盘IO到达性能瓶颈会直接导致业务故障。Kafka读写性能跟磁盘IO之间的关系计算如下：举例：假设磁盘IO的上限为100M/s，数据大小为8k，假设在topic仅设置为单副本的情况下，理论...
- kafka服务作为Docker容器运行后，外部的应用如何能够消费这个kafa的消息呢？今天就来一起实战 kafka服务作为Docker容器运行后，外部的应用如何能够消费这个kafa的消息呢？今天就来一起实战
- wurstmeister/kafka是镜像市场上很受欢迎的一个kafka镜像，今天来聊聊它的多种用法 wurstmeister/kafka是镜像市场上很受欢迎的一个kafka镜像，今天来聊聊它的多种用法
- SQL API 读取Kafka数据实时写入Iceberg表从Kafka中实时读取数据写入到Iceberg表中，操作步骤如下：一、首先需要创建对应的Iceberg表StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();StreamTableEnvironment tblEnv ... SQL API 读取Kafka数据实时写入Iceberg表从Kafka中实时读取数据写入到Iceberg表中，操作步骤如下：一、首先需要创建对应的Iceberg表StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();StreamTableEnvironment tblEnv ...
- 数据湖概念一、什么是数据湖数据湖是一个集中式的存储库，允许你以任意规模存储多个来源、所有结构化和非结构化数据，可以按照原样存储数据，无需对数据进行结构化处理，并运行不同类型的分析对数据进行加工，例如：大数据处理、实时分析、机器学习，以指导做出更好地决策。二、大数据为什么需要数据湖当前基于Hive的离线数据仓库已经非常成熟，在传统的离线数据仓库中对记录级别的数据进行更新是非常麻烦的，需要对待... 数据湖概念一、什么是数据湖数据湖是一个集中式的存储库，允许你以任意规模存储多个来源、所有结构化和非结构化数据，可以按照原样存储数据，无需对数据进行结构化处理，并运行不同类型的分析对数据进行加工，例如：大数据处理、实时分析、机器学习，以指导做出更好地决策。二、大数据为什么需要数据湖当前基于Hive的离线数据仓库已经非常成熟，在传统的离线数据仓库中对记录级别的数据进行更新是非常麻烦的，需要对待...
- 典型的二分思想：“猜数字”的游戏。大家规定一个范围，一个人在心里想一个这个范围内的具体数字，比如一个 1-100 的自然数，然后另几个人来猜数字；每次猜错，这个人都会提示他们的猜测是大了还是小了，看谁最快猜到数字。大家的第一反应也都会是从比较中间的位置，比如 50，开始猜起。毕竟如果 50 猜错了，因为要提示是大了还是小了，范围就要么缩小到 1-49，要么缩小到 51-100，这样猜测范围就... 典型的二分思想：“猜数字”的游戏。大家规定一个范围，一个人在心里想一个这个范围内的具体数字，比如一个 1-100 的自然数，然后另几个人来猜数字；每次猜错，这个人都会提示他们的猜测是大了还是小了，看谁最快猜到数字。大家的第一反应也都会是从比较中间的位置，比如 50，开始猜起。毕竟如果 50 猜错了，因为要提示是大了还是小了，范围就要么缩小到 1-49，要么缩小到 51-100，这样猜测范围就...
- 我们使用kafka时，有时候会遇到发送数据失败的情况，其原因及解决方案如下：1. Kafka topic leader为-1Kafka客户端执行如下命令查看topic的leader信息：kafka-topics.sh --describe --zookeeper zk业务IP:24002/kafka如果leader为-1，需查看Replicas中的副本节点是否正常，查看命令如下：ka... 我们使用kafka时，有时候会遇到发送数据失败的情况，其原因及解决方案如下：1. Kafka topic leader为-1Kafka客户端执行如下命令查看topic的leader信息：kafka-topics.sh --describe --zookeeper zk业务IP:24002/kafka如果leader为-1，需查看Replicas中的副本节点是否正常，查看命令如下：ka...
- 在使用Kafka时，我们有时候会遇到生产时连接Kafka失败的情况，原因及解决办法如下：1. Kafka服务异常通过FusionInsight Manager页面，选择“集群->Kafka”，查看当前Kafka集群当前状态，状态是否是良好；如果状态不是良好，说明Kafka服务异常。2. 生产命令错误如果使用21005端口，命令如下：kafka-console-prod... 在使用Kafka时，我们有时候会遇到生产时连接Kafka失败的情况，原因及解决办法如下：1. Kafka服务异常通过FusionInsight Manager页面，选择“集群->Kafka”，查看当前Kafka集群当前状态，状态是否是良好；如果状态不是良好，说明Kafka服务异常。2. 生产命令错误如果使用21005端口，命令如下：kafka-console-prod...
- 问题描述：FusionInsight C80版本，通过Flink提交消费Kafka的任务，消费Kafka的消费者组信息通过kafka-consumer-groups.sh --list命令查询不到，但是通过kafka-consumer-groups.sh --describe可以查询到信息。问题分析：1、C80版本kafka-consumer-groups.sh命令使用list查询group... 问题描述：FusionInsight C80版本，通过Flink提交消费Kafka的任务，消费Kafka的消费者组信息通过kafka-consumer-groups.sh --list命令查询不到，但是通过kafka-consumer-groups.sh --describe可以查询到信息。问题分析：1、C80版本kafka-consumer-groups.sh命令使用list查询group...
- 一、CPU使用率高的一般排查思路1） top命令排查CPU使用率高的进程2） su - omm切换到omm用户，jstack -l 进程pid>>文件路径3） top -H -p 进程pid 查看CPU使用率高4） “printf "%x\n" 线程号”将上一步中CPU高的线程号转换成16进制5） 在jstack文件中搜索上一步中的16进制信息查看具体的线程二、 Kafka CPU使用率高的... 一、CPU使用率高的一般排查思路1） top命令排查CPU使用率高的进程2） su - omm切换到omm用户，jstack -l 进程pid>>文件路径3） top -H -p 进程pid 查看CPU使用率高4） “printf "%x\n" 线程号”将上一步中CPU高的线程号转换成16进制5） 在jstack文件中搜索上一步中的16进制信息查看具体的线程二、 Kafka CPU使用率高的...
- 一、 节点故障或磁盘下线1. Kafka节点服务异常通过FusionInsight Manager页面，选择“集群->Kafka”，查看当前Kafka集群当前状态，状态是否是良好；如果状态不是良好，说明Kafka服务异常。2. 磁盘下线通过FusionInsight Manager页面查看告警信息，是否有“Kafka数据目录状态异常”的告警，如果有，se... 一、 节点故障或磁盘下线1. Kafka节点服务异常通过FusionInsight Manager页面，选择“集群->Kafka”，查看当前Kafka集群当前状态，状态是否是良好；如果状态不是良好，说明Kafka服务异常。2. 磁盘下线通过FusionInsight Manager页面查看告警信息，是否有“Kafka数据目录状态异常”的告警，如果有，se...
- Kafka修改配置 Kafka修改配置
- 一、收集Kafka实例和分区信息1. 执行kafka-broker-info.sh --zookeeper zk业务IP:24002/kafka 命令获取Kafka实例信息2. 执行kafka-topics.sh --describe --zookeeper zk业务IP:24002/kafka --unavailable-partitions 命令获取Kafka未同... 一、收集Kafka实例和分区信息1. 执行kafka-broker-info.sh --zookeeper zk业务IP:24002/kafka 命令获取Kafka实例信息2. 执行kafka-topics.sh --describe --zookeeper zk业务IP:24002/kafka --unavailable-partitions 命令获取Kafka未同...
- 一、 针对单个Topic过期时间的配置未设置成功查看Kafka中某个Topic过期时间配置是否成功的方式如下：1） Kafka客户端执行kafka-topics.sh --describe --zookeeper ZK业务IP:24002/kafka --topic TopicName 如果topic的describe信息中有“retention.ms”信息，则设置成功。2）651X版本还... 一、 针对单个Topic过期时间的配置未设置成功查看Kafka中某个Topic过期时间配置是否成功的方式如下：1） Kafka客户端执行kafka-topics.sh --describe --zookeeper ZK业务IP:24002/kafka --topic TopicName 如果topic的describe信息中有“retention.ms”信息，则设置成功。2）651X版本还...
上滑加载中
推荐直播
-
华为云AI入门课：AI发展趋势与华为愿景2024/11/18 周一 18:20-20:20
Alex 华为云学堂技术讲师
本期直播旨在帮助开发者熟悉理解AI技术概念，AI发展趋势，AI实用化前景，了解熟悉未来主要技术栈，当前发展瓶颈等行业化知识。帮助开发者在AI领域快速构建知识体系，构建职业竞争力。
回顾中 -
华为云软件开发生产线（CodeArts）10月新特性解读2024/11/19 周二 19:00-20:00
苏柏亚培 华为云高级产品经理
不知道产品的最新特性？没法和产品团队建立直接的沟通？本期直播产品经理将为您解读华为云软件开发生产线10月发布的新特性，并在直播过程中为您答疑解惑。
去报名 -
热门标签