- 业务实现之编写写入DM层业务代码DM层主要是报表数据，针对实时业务将DM层设置在Clickhouse中，在此业务中DM层主要存储的是通过Flink读取Kafka “KAFKA-DWS-BROWSE-LOG-WIDE-TOPIC” topic中的数据进行设置窗口分析，每隔10s设置滚动窗口统计该窗口内访问商品及商品一级、二级分类分析结果，实时写入到Clickhouse中。一、... 业务实现之编写写入DM层业务代码DM层主要是报表数据，针对实时业务将DM层设置在Clickhouse中，在此业务中DM层主要存储的是通过Flink读取Kafka “KAFKA-DWS-BROWSE-LOG-WIDE-TOPIC” topic中的数据进行设置窗口分析，每隔10s设置滚动窗口统计该窗口内访问商品及商品一级、二级分类分析结果，实时写入到Clickhouse中。一、...
- 业务实现之编写写入ODS层业务代码由于本业务涉及到MySQL业务数据和用户日志数据，两类数据是分别采集存储在不同的Kafka Topic中的，所以这里写入ODS层代码由两个代码组成。一、代码编写处理MySQL业务库binlog数据的代码复用第一个业务代码只需要在”ProduceKafkaDBDataToODS.scala” 代码中写入存入Icebeg-ODS层表的代码即可，“Produce... 业务实现之编写写入ODS层业务代码由于本业务涉及到MySQL业务数据和用户日志数据，两类数据是分别采集存储在不同的Kafka Topic中的，所以这里写入ODS层代码由两个代码组成。一、代码编写处理MySQL业务库binlog数据的代码复用第一个业务代码只需要在”ProduceKafkaDBDataToODS.scala” 代码中写入存入Icebeg-ODS层表的代码即可，“Produce...
- 1 实时ETL任务消费数据 1 消费数据解析逻辑创建流式环境，设置检查点、kafka分区发现、任务重启策略，数据积压根据kafka属性配置创建FlinkKafkaConsumer，消费kafka数据根据kafka数据获得DataStream，进行json解析消费数据中的数据解析逻辑:n 得到解析成功的数据，称为正确数据u 原始文本为一行可成功解析的json格式数据，且数据中存在不可或缺... 1 实时ETL任务消费数据 1 消费数据解析逻辑创建流式环境，设置检查点、kafka分区发现、任务重启策略，数据积压根据kafka属性配置创建FlinkKafkaConsumer，消费kafka数据根据kafka数据获得DataStream，进行json解析消费数据中的数据解析逻辑:n 得到解析成功的数据，称为正确数据u 原始文本为一行可成功解析的json格式数据，且数据中存在不可或缺...
- 实时ETL业务开发 1 原始数据实时ETL分析根据kafka集群中的数据进行实时ETL过滤，对数据进行划分，并将划分的数据分别落地到不同的数据库中。 2 实时ETL开发流程分析原始数据实时ETL，读取kafka中的原始json数据，解析json数据，flink实时逻辑开发，数据落地到hive与hbasel 实现步骤：原始数据实时ETL流式任务创建原始数据实时ETL任务设置定义任务K... 实时ETL业务开发 1 原始数据实时ETL分析根据kafka集群中的数据进行实时ETL过滤，对数据进行划分，并将划分的数据分别落地到不同的数据库中。 2 实时ETL开发流程分析原始数据实时ETL，读取kafka中的原始json数据，解析json数据，flink实时逻辑开发，数据落地到hive与hbasel 实现步骤：原始数据实时ETL流式任务创建原始数据实时ETL任务设置定义任务K...
- 玩转Kafka—Spring整合Kafka 1 新建Spring Boot项目，增加依赖<dependencies> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </dependenc... 玩转Kafka—Spring整合Kafka 1 新建Spring Boot项目，增加依赖<dependencies> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </dependenc...
- MQTT是在 TCP/IP 之上使用的轻量级发布-订阅协议，常用于物联网的场景，MQTT 使用消息代理在发布消息的发送者和对这些消息感兴趣的接收者之间分派消息，同一个客户端可以发布和订阅消息。MQTT 定义了三个级别的服务质量，也就是QoS，这三种级别分别代表什么意思，估计很多使用MQTT的小伙伴没太关注，有时候你遇到问题了，特别是那种诡异的问题，更不会朝这个上面想，今天瑞哥就带大家详细的了... MQTT是在 TCP/IP 之上使用的轻量级发布-订阅协议，常用于物联网的场景，MQTT 使用消息代理在发布消息的发送者和对这些消息感兴趣的接收者之间分派消息，同一个客户端可以发布和订阅消息。MQTT 定义了三个级别的服务质量，也就是QoS，这三种级别分别代表什么意思，估计很多使用MQTT的小伙伴没太关注，有时候你遇到问题了，特别是那种诡异的问题，更不会朝这个上面想，今天瑞哥就带大家详细的了...
- theme: condensed-night-purple Spark 操作 kafka携手创作，共同成长！这是我参与「掘金日新计划 · 8 月更文挑战」的第30天，点击查看活动详情Spark Streaming提供了两类内置的streaming源：Basic sources ：直接在StreamingContext API中可用的源。例如，文件系统和socket连接 Advanced s... theme: condensed-night-purple Spark 操作 kafka携手创作，共同成长！这是我参与「掘金日新计划 · 8 月更文挑战」的第30天，点击查看活动详情Spark Streaming提供了两类内置的streaming源：Basic sources ：直接在StreamingContext API中可用的源。例如，文件系统和socket连接 Advanced s...
- theme: condensed-night-purple携手创作，共同成长！这是我参与「掘金日新计划 · 8 月更文挑战」的第30天，点击查看活动详情 Flink 操作 kafkahttps://zhuanlan.zhihu.com/p/92289771flink 提供了一个特有的 kafka connector 去读写 kafka topic 的数据。这样在 flink 消费 kafk... theme: condensed-night-purple携手创作，共同成长！这是我参与「掘金日新计划 · 8 月更文挑战」的第30天，点击查看活动详情 Flink 操作 kafkahttps://zhuanlan.zhihu.com/p/92289771flink 提供了一个特有的 kafka connector 去读写 kafka topic 的数据。这样在 flink 消费 kafk...
- theme: condensed-night-purple携手创作，共同成长！这是我参与「掘金日新计划 · 8 月更文挑战」的第30天，点击查看活动详情 Sink ConnectorFlink 提供为 Kafka 0.8 版本后所有 Kafka 版本的 sink connectors。// 设定数据流DataStream[String] stream = environment.fromE... theme: condensed-night-purple携手创作，共同成长！这是我参与「掘金日新计划 · 8 月更文挑战」的第30天，点击查看活动详情 Sink ConnectorFlink 提供为 Kafka 0.8 版本后所有 Kafka 版本的 sink connectors。// 设定数据流DataStream[String] stream = environment.fromE...
- @[toc] Phoenix的介绍和客户端命令Phoenix的概念Phoenix on HBase 和 Hive on HDFS 的区别Phoenix 客户端命令操作及说明查看表操作① TABLE_SCHEMA② 对应 HBase 的 namespace创建表的操作新增数据查询操作更新操作删除操作 构建HBase的二级索引为什么需要构建二级索引索引的类型①概念：创建：查看：删除：②概念：创建... @[toc] Phoenix的介绍和客户端命令Phoenix的概念Phoenix on HBase 和 Hive on HDFS 的区别Phoenix 客户端命令操作及说明查看表操作① TABLE_SCHEMA② 对应 HBase 的 namespace创建表的操作新增数据查询操作更新操作删除操作 构建HBase的二级索引为什么需要构建二级索引索引的类型①概念：创建：查看：删除：②概念：创建...
- @[toc] Flink 将报文解析后的数据推送到 kafka 中步骤开启 kafka 集群# 三台节点都要开启 kafka [root@node01 kafka]# bin/kafka-server-start.sh -daemon config/server.properties使用 kafka tool 连接 kafka 集群，创建 topic# 第1种方式通过命令bin/kafka-... @[toc] Flink 将报文解析后的数据推送到 kafka 中步骤开启 kafka 集群# 三台节点都要开启 kafka [root@node01 kafka]# bin/kafka-server-start.sh -daemon config/server.properties使用 kafka tool 连接 kafka 集群，创建 topic# 第1种方式通过命令bin/kafka-...
- 编写写入DM层业务代码DM层主要是报表数据，针对实时业务将DM层设置在Clickhouse中，在此业务中DM层主要存储的是通过Flink读取Kafka “KAFKA-DWS-BROWSE-LOG-WIDE-TOPIC” topic中的数据进行设置窗口分析，每隔10s设置滚动窗口统计该窗口内访问商品及商品一级、二级分类分析结果，实时写入到Clickhouse中。一、代码编写具体... 编写写入DM层业务代码DM层主要是报表数据，针对实时业务将DM层设置在Clickhouse中，在此业务中DM层主要存储的是通过Flink读取Kafka “KAFKA-DWS-BROWSE-LOG-WIDE-TOPIC” topic中的数据进行设置窗口分析，每隔10s设置滚动窗口统计该窗口内访问商品及商品一级、二级分类分析结果，实时写入到Clickhouse中。一、代码编写具体...
- 业务实现之编写写入DWD层业务代码DWD层数据主要存储干净的明细数据，这里针对ODS层“KAFKA-ODS-TOPIC”数据编写代码进行清洗写入对应的Kafka topic和Iceberg-DWD层中。代码功能中有以下几点重要方面：针对Kafka ODS层中的数据进行清洗，写入Iceberg-DWD层中。将数据除了写入Iceberg-DWD层中之外，还要写入Kafka中方便后续处理得到DW... 业务实现之编写写入DWD层业务代码DWD层数据主要存储干净的明细数据，这里针对ODS层“KAFKA-ODS-TOPIC”数据编写代码进行清洗写入对应的Kafka topic和Iceberg-DWD层中。代码功能中有以下几点重要方面：针对Kafka ODS层中的数据进行清洗，写入Iceberg-DWD层中。将数据除了写入Iceberg-DWD层中之外，还要写入Kafka中方便后续处理得到DW...
- CMAK(KafkaManager)对接MRS_3.1.0集群一、 MRS集群适配提示：此步骤不操作也可以对接，只不过CMAK页面点击开启jmx后，CMAK后台会一致报错，另外CMAK页面上的指标刷新不及时。1. 调整MRS Broker实例JMX监听的IP地址登录MRS Manager界面，如下修改配置项KAFKA_JMX_IP的值为${BROKER_IP}，并保存。2. ... CMAK(KafkaManager)对接MRS_3.1.0集群一、 MRS集群适配提示：此步骤不操作也可以对接，只不过CMAK页面点击开启jmx后，CMAK后台会一致报错，另外CMAK页面上的指标刷新不及时。1. 调整MRS Broker实例JMX监听的IP地址登录MRS Manager界面，如下修改配置项KAFKA_JMX_IP的值为${BROKER_IP}，并保存。2. ...
- 1.概述Kafka的使用场景非常广泛，一些实时流数据业务场景，均依赖Kafka来做数据分流。而在分布式应用场景中，数据迁移是一个比较常见的问题。关于Kafka集群数据如何迁移，今天叶秋学长将为大家详细介绍。2.内容本篇博客为大家介绍两种迁移场景，分别是同集群数据迁移、跨集群数据迁移。如下图所示：编辑 2.1 同集群迁移同集群之间数据迁移，比如在已有的集群中新增了一个Broker节点，此时... 1.概述Kafka的使用场景非常广泛，一些实时流数据业务场景，均依赖Kafka来做数据分流。而在分布式应用场景中，数据迁移是一个比较常见的问题。关于Kafka集群数据如何迁移，今天叶秋学长将为大家详细介绍。2.内容本篇博客为大家介绍两种迁移场景，分别是同集群数据迁移、跨集群数据迁移。如下图所示：编辑 2.1 同集群迁移同集群之间数据迁移，比如在已有的集群中新增了一个Broker节点，此时...
上滑加载中
推荐直播
-
华为云AI入门课：AI发展趋势与华为愿景2024/11/18 周一 18:20-20:20
Alex 华为云学堂技术讲师
本期直播旨在帮助开发者熟悉理解AI技术概念，AI发展趋势，AI实用化前景，了解熟悉未来主要技术栈，当前发展瓶颈等行业化知识。帮助开发者在AI领域快速构建知识体系，构建职业竞争力。
回顾中 -
华为云软件开发生产线（CodeArts）10月新特性解读2024/11/19 周二 19:00-20:00
苏柏亚培 华为云高级产品经理
不知道产品的最新特性？没法和产品团队建立直接的沟通？本期直播产品经理将为您解读华为云软件开发生产线10月发布的新特性，并在直播过程中为您答疑解惑。
去报名 -
热门标签