- Apache Kafka 是一种分布式数据存储，用于实时处理流数据，它由 Apache Software Foundation 开发，使用 Java 和 Scala 编写，Apache Kafka 用于构建实时流式数据管道和适应数据流的应用程序，特别适用于企业级应用程序和关键任务应用程序，它是最受欢迎的数据流平台之一，被数千家公司用于高性能数据管道、流分析和数据集成。Apache Kafka... Apache Kafka 是一种分布式数据存储，用于实时处理流数据，它由 Apache Software Foundation 开发，使用 Java 和 Scala 编写，Apache Kafka 用于构建实时流式数据管道和适应数据流的应用程序，特别适用于企业级应用程序和关键任务应用程序，它是最受欢迎的数据流平台之一，被数千家公司用于高性能数据管道、流分析和数据集成。Apache Kafka...
- 业务实现之编写写入DM层业务代码DM层主要是报表数据，针对实时业务将DM层设置在Clickhouse中，在此业务中DM层主要存储的是通过Flink读取Kafka “KAFKA-DWS-BROWSE-LOG-WIDE-TOPIC” topic中的数据进行设置窗口分析，每隔10s设置滚动窗口统计该窗口内访问商品及商品一级、二级分类分析结果，实时写入到Clickhouse中。一、... 业务实现之编写写入DM层业务代码DM层主要是报表数据，针对实时业务将DM层设置在Clickhouse中，在此业务中DM层主要存储的是通过Flink读取Kafka “KAFKA-DWS-BROWSE-LOG-WIDE-TOPIC” topic中的数据进行设置窗口分析，每隔10s设置滚动窗口统计该窗口内访问商品及商品一级、二级分类分析结果，实时写入到Clickhouse中。一、...
- 业务实现之编写写入ODS层业务代码由于本业务涉及到MySQL业务数据和用户日志数据，两类数据是分别采集存储在不同的Kafka Topic中的，所以这里写入ODS层代码由两个代码组成。一、代码编写处理MySQL业务库binlog数据的代码复用第一个业务代码只需要在”ProduceKafkaDBDataToODS.scala” 代码中写入存入Icebeg-ODS层表的代码即可，“Produce... 业务实现之编写写入ODS层业务代码由于本业务涉及到MySQL业务数据和用户日志数据，两类数据是分别采集存储在不同的Kafka Topic中的，所以这里写入ODS层代码由两个代码组成。一、代码编写处理MySQL业务库binlog数据的代码复用第一个业务代码只需要在”ProduceKafkaDBDataToODS.scala” 代码中写入存入Icebeg-ODS层表的代码即可，“Produce...
- 1 实时ETL任务消费数据 1 消费数据解析逻辑创建流式环境，设置检查点、kafka分区发现、任务重启策略，数据积压根据kafka属性配置创建FlinkKafkaConsumer，消费kafka数据根据kafka数据获得DataStream，进行json解析消费数据中的数据解析逻辑:n 得到解析成功的数据，称为正确数据u 原始文本为一行可成功解析的json格式数据，且数据中存在不可或缺... 1 实时ETL任务消费数据 1 消费数据解析逻辑创建流式环境，设置检查点、kafka分区发现、任务重启策略，数据积压根据kafka属性配置创建FlinkKafkaConsumer，消费kafka数据根据kafka数据获得DataStream，进行json解析消费数据中的数据解析逻辑:n 得到解析成功的数据，称为正确数据u 原始文本为一行可成功解析的json格式数据，且数据中存在不可或缺...
- 实时ETL业务开发 1 原始数据实时ETL分析根据kafka集群中的数据进行实时ETL过滤，对数据进行划分，并将划分的数据分别落地到不同的数据库中。 2 实时ETL开发流程分析原始数据实时ETL，读取kafka中的原始json数据，解析json数据，flink实时逻辑开发，数据落地到hive与hbasel 实现步骤：原始数据实时ETL流式任务创建原始数据实时ETL任务设置定义任务K... 实时ETL业务开发 1 原始数据实时ETL分析根据kafka集群中的数据进行实时ETL过滤，对数据进行划分，并将划分的数据分别落地到不同的数据库中。 2 实时ETL开发流程分析原始数据实时ETL，读取kafka中的原始json数据，解析json数据，flink实时逻辑开发，数据落地到hive与hbasel 实现步骤：原始数据实时ETL流式任务创建原始数据实时ETL任务设置定义任务K...
- 玩转Kafka—Spring整合Kafka 1 新建Spring Boot项目，增加依赖<dependencies> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </dependenc... 玩转Kafka—Spring整合Kafka 1 新建Spring Boot项目，增加依赖<dependencies> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </dependenc...
- MQTT是在 TCP/IP 之上使用的轻量级发布-订阅协议，常用于物联网的场景，MQTT 使用消息代理在发布消息的发送者和对这些消息感兴趣的接收者之间分派消息，同一个客户端可以发布和订阅消息。MQTT 定义了三个级别的服务质量，也就是QoS，这三种级别分别代表什么意思，估计很多使用MQTT的小伙伴没太关注，有时候你遇到问题了，特别是那种诡异的问题，更不会朝这个上面想，今天瑞哥就带大家详细的了... MQTT是在 TCP/IP 之上使用的轻量级发布-订阅协议，常用于物联网的场景，MQTT 使用消息代理在发布消息的发送者和对这些消息感兴趣的接收者之间分派消息，同一个客户端可以发布和订阅消息。MQTT 定义了三个级别的服务质量，也就是QoS，这三种级别分别代表什么意思，估计很多使用MQTT的小伙伴没太关注，有时候你遇到问题了，特别是那种诡异的问题，更不会朝这个上面想，今天瑞哥就带大家详细的了...
- theme: condensed-night-purple Spark 操作 kafka携手创作，共同成长！这是我参与「掘金日新计划 · 8 月更文挑战」的第30天，点击查看活动详情Spark Streaming提供了两类内置的streaming源：Basic sources ：直接在StreamingContext API中可用的源。例如，文件系统和socket连接 Advanced s... theme: condensed-night-purple Spark 操作 kafka携手创作，共同成长！这是我参与「掘金日新计划 · 8 月更文挑战」的第30天，点击查看活动详情Spark Streaming提供了两类内置的streaming源：Basic sources ：直接在StreamingContext API中可用的源。例如，文件系统和socket连接 Advanced s...
- theme: condensed-night-purple携手创作，共同成长！这是我参与「掘金日新计划 · 8 月更文挑战」的第30天，点击查看活动详情 Flink 操作 kafkahttps://zhuanlan.zhihu.com/p/92289771flink 提供了一个特有的 kafka connector 去读写 kafka topic 的数据。这样在 flink 消费 kafk... theme: condensed-night-purple携手创作，共同成长！这是我参与「掘金日新计划 · 8 月更文挑战」的第30天，点击查看活动详情 Flink 操作 kafkahttps://zhuanlan.zhihu.com/p/92289771flink 提供了一个特有的 kafka connector 去读写 kafka topic 的数据。这样在 flink 消费 kafk...
- theme: condensed-night-purple携手创作，共同成长！这是我参与「掘金日新计划 · 8 月更文挑战」的第30天，点击查看活动详情 Sink ConnectorFlink 提供为 Kafka 0.8 版本后所有 Kafka 版本的 sink connectors。// 设定数据流DataStream[String] stream = environment.fromE... theme: condensed-night-purple携手创作，共同成长！这是我参与「掘金日新计划 · 8 月更文挑战」的第30天，点击查看活动详情 Sink ConnectorFlink 提供为 Kafka 0.8 版本后所有 Kafka 版本的 sink connectors。// 设定数据流DataStream[String] stream = environment.fromE...
- @[toc] Phoenix的介绍和客户端命令Phoenix的概念Phoenix on HBase 和 Hive on HDFS 的区别Phoenix 客户端命令操作及说明查看表操作① TABLE_SCHEMA② 对应 HBase 的 namespace创建表的操作新增数据查询操作更新操作删除操作 构建HBase的二级索引为什么需要构建二级索引索引的类型①概念：创建：查看：删除：②概念：创建... @[toc] Phoenix的介绍和客户端命令Phoenix的概念Phoenix on HBase 和 Hive on HDFS 的区别Phoenix 客户端命令操作及说明查看表操作① TABLE_SCHEMA② 对应 HBase 的 namespace创建表的操作新增数据查询操作更新操作删除操作 构建HBase的二级索引为什么需要构建二级索引索引的类型①概念：创建：查看：删除：②概念：创建...
- @[toc] Flink 将报文解析后的数据推送到 kafka 中步骤开启 kafka 集群# 三台节点都要开启 kafka [root@node01 kafka]# bin/kafka-server-start.sh -daemon config/server.properties使用 kafka tool 连接 kafka 集群，创建 topic# 第1种方式通过命令bin/kafka-... @[toc] Flink 将报文解析后的数据推送到 kafka 中步骤开启 kafka 集群# 三台节点都要开启 kafka [root@node01 kafka]# bin/kafka-server-start.sh -daemon config/server.properties使用 kafka tool 连接 kafka 集群，创建 topic# 第1种方式通过命令bin/kafka-...
- 编写写入DM层业务代码DM层主要是报表数据，针对实时业务将DM层设置在Clickhouse中，在此业务中DM层主要存储的是通过Flink读取Kafka “KAFKA-DWS-BROWSE-LOG-WIDE-TOPIC” topic中的数据进行设置窗口分析，每隔10s设置滚动窗口统计该窗口内访问商品及商品一级、二级分类分析结果，实时写入到Clickhouse中。一、代码编写具体... 编写写入DM层业务代码DM层主要是报表数据，针对实时业务将DM层设置在Clickhouse中，在此业务中DM层主要存储的是通过Flink读取Kafka “KAFKA-DWS-BROWSE-LOG-WIDE-TOPIC” topic中的数据进行设置窗口分析，每隔10s设置滚动窗口统计该窗口内访问商品及商品一级、二级分类分析结果，实时写入到Clickhouse中。一、代码编写具体...
- 业务实现之编写写入DWD层业务代码DWD层数据主要存储干净的明细数据，这里针对ODS层“KAFKA-ODS-TOPIC”数据编写代码进行清洗写入对应的Kafka topic和Iceberg-DWD层中。代码功能中有以下几点重要方面：针对Kafka ODS层中的数据进行清洗，写入Iceberg-DWD层中。将数据除了写入Iceberg-DWD层中之外，还要写入Kafka中方便后续处理得到DW... 业务实现之编写写入DWD层业务代码DWD层数据主要存储干净的明细数据，这里针对ODS层“KAFKA-ODS-TOPIC”数据编写代码进行清洗写入对应的Kafka topic和Iceberg-DWD层中。代码功能中有以下几点重要方面：针对Kafka ODS层中的数据进行清洗，写入Iceberg-DWD层中。将数据除了写入Iceberg-DWD层中之外，还要写入Kafka中方便后续处理得到DW...
- CMAK(KafkaManager)对接MRS_3.1.0集群一、 MRS集群适配提示：此步骤不操作也可以对接，只不过CMAK页面点击开启jmx后，CMAK后台会一致报错，另外CMAK页面上的指标刷新不及时。1. 调整MRS Broker实例JMX监听的IP地址登录MRS Manager界面，如下修改配置项KAFKA_JMX_IP的值为${BROKER_IP}，并保存。2. ... CMAK(KafkaManager)对接MRS_3.1.0集群一、 MRS集群适配提示：此步骤不操作也可以对接，只不过CMAK页面点击开启jmx后，CMAK后台会一致报错，另外CMAK页面上的指标刷新不及时。1. 调整MRS Broker实例JMX监听的IP地址登录MRS Manager界面，如下修改配置项KAFKA_JMX_IP的值为${BROKER_IP}，并保存。2. ...
上滑加载中
推荐直播
-
算子工具性能优化新特性演示——MatMulLeakyRelu性能调优实操2025/01/10 周五 15:30-17:30
MindStudio布道师
算子工具性能优化新特性演示——MatMulLeakyRelu性能调优实操
回顾中 -
用代码全方位驱动 OBS 存储2025/01/14 周二 16:30-18:00
阿肯 华为云生态技术讲师
如何用代码驱动OBS？常用的数据管理，对象清理，多版本对象访问等应该如何编码？本期课程一一演示解答。
即将直播 -
GaussDB数据库开发2025/01/15 周三 16:00-17:30
Steven 华为云学堂技术讲师
本期直播将带你了解GaussDB数据库开发相关知识，并通过实验指导大家利用java基于JDBC的方式来完成GaussD数据库基础操作。
去报名
热门标签