- docker-compose快速搭建Zookeeper集群。博客目录索引(持续更新) docker-compose快速搭建Zookeeper集群。博客目录索引(持续更新)
- kafka的粘性分区特性是在kafka的2.0版本以后提出的，旨在提升生产者发送数据的调度性能，笔者在生产环境使用过程中发现了一个致命的问题并在此处分享 kafka的粘性分区特性是在kafka的2.0版本以后提出的，旨在提升生产者发送数据的调度性能，笔者在生产环境使用过程中发现了一个致命的问题并在此处分享
- 数据压缩是kafka解决空间问题和超大数据问题关键场景，例如：当kafka的磁盘空间不足时，可以使用数据压缩，来节省磁盘空间的使用。当生产端需要向kafka集群发送大量的超大数据（大于1M的数据）时可以通过开启压缩模式来减少传输过程中带来的网络消耗。压缩模式开启有一定的要求，为什么会这样，先看kafka压缩的原理：Kafka服务端使用的topic最终压缩模式（由compression.typ... 数据压缩是kafka解决空间问题和超大数据问题关键场景，例如：当kafka的磁盘空间不足时，可以使用数据压缩，来节省磁盘空间的使用。当生产端需要向kafka集群发送大量的超大数据（大于1M的数据）时可以通过开启压缩模式来减少传输过程中带来的网络消耗。压缩模式开启有一定的要求，为什么会这样，先看kafka压缩的原理：Kafka服务端使用的topic最终压缩模式（由compression.typ...
- 《深入架构 第八篇》 《深入架构 第八篇》
- Apache Kafka 是一种分布式数据存储，用于实时处理流数据，它由 Apache Software Foundation 开发，使用 Java 和 Scala 编写，Apache Kafka 用于构建实时流式数据管道和适应数据流的应用程序，特别适用于企业级应用程序和关键任务应用程序，它是最受欢迎的数据流平台之一，被数千家公司用于高性能数据管道、流分析和数据集成。Apache Kafka... Apache Kafka 是一种分布式数据存储，用于实时处理流数据，它由 Apache Software Foundation 开发，使用 Java 和 Scala 编写，Apache Kafka 用于构建实时流式数据管道和适应数据流的应用程序，特别适用于企业级应用程序和关键任务应用程序，它是最受欢迎的数据流平台之一，被数千家公司用于高性能数据管道、流分析和数据集成。Apache Kafka...
- 业务实现之编写写入DM层业务代码DM层主要是报表数据，针对实时业务将DM层设置在Clickhouse中，在此业务中DM层主要存储的是通过Flink读取Kafka “KAFKA-DWS-BROWSE-LOG-WIDE-TOPIC” topic中的数据进行设置窗口分析，每隔10s设置滚动窗口统计该窗口内访问商品及商品一级、二级分类分析结果，实时写入到Clickhouse中。一、... 业务实现之编写写入DM层业务代码DM层主要是报表数据，针对实时业务将DM层设置在Clickhouse中，在此业务中DM层主要存储的是通过Flink读取Kafka “KAFKA-DWS-BROWSE-LOG-WIDE-TOPIC” topic中的数据进行设置窗口分析，每隔10s设置滚动窗口统计该窗口内访问商品及商品一级、二级分类分析结果，实时写入到Clickhouse中。一、...
- 业务实现之编写写入ODS层业务代码由于本业务涉及到MySQL业务数据和用户日志数据，两类数据是分别采集存储在不同的Kafka Topic中的，所以这里写入ODS层代码由两个代码组成。一、代码编写处理MySQL业务库binlog数据的代码复用第一个业务代码只需要在”ProduceKafkaDBDataToODS.scala” 代码中写入存入Icebeg-ODS层表的代码即可，“Produce... 业务实现之编写写入ODS层业务代码由于本业务涉及到MySQL业务数据和用户日志数据，两类数据是分别采集存储在不同的Kafka Topic中的，所以这里写入ODS层代码由两个代码组成。一、代码编写处理MySQL业务库binlog数据的代码复用第一个业务代码只需要在”ProduceKafkaDBDataToODS.scala” 代码中写入存入Icebeg-ODS层表的代码即可，“Produce...
- 1 实时ETL任务消费数据 1 消费数据解析逻辑创建流式环境，设置检查点、kafka分区发现、任务重启策略，数据积压根据kafka属性配置创建FlinkKafkaConsumer，消费kafka数据根据kafka数据获得DataStream，进行json解析消费数据中的数据解析逻辑:n 得到解析成功的数据，称为正确数据u 原始文本为一行可成功解析的json格式数据，且数据中存在不可或缺... 1 实时ETL任务消费数据 1 消费数据解析逻辑创建流式环境，设置检查点、kafka分区发现、任务重启策略，数据积压根据kafka属性配置创建FlinkKafkaConsumer，消费kafka数据根据kafka数据获得DataStream，进行json解析消费数据中的数据解析逻辑:n 得到解析成功的数据，称为正确数据u 原始文本为一行可成功解析的json格式数据，且数据中存在不可或缺...
- 实时ETL业务开发 1 原始数据实时ETL分析根据kafka集群中的数据进行实时ETL过滤，对数据进行划分，并将划分的数据分别落地到不同的数据库中。 2 实时ETL开发流程分析原始数据实时ETL，读取kafka中的原始json数据，解析json数据，flink实时逻辑开发，数据落地到hive与hbasel 实现步骤：原始数据实时ETL流式任务创建原始数据实时ETL任务设置定义任务K... 实时ETL业务开发 1 原始数据实时ETL分析根据kafka集群中的数据进行实时ETL过滤，对数据进行划分，并将划分的数据分别落地到不同的数据库中。 2 实时ETL开发流程分析原始数据实时ETL，读取kafka中的原始json数据，解析json数据，flink实时逻辑开发，数据落地到hive与hbasel 实现步骤：原始数据实时ETL流式任务创建原始数据实时ETL任务设置定义任务K...
- 玩转Kafka—Spring整合Kafka 1 新建Spring Boot项目，增加依赖<dependencies> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </dependenc... 玩转Kafka—Spring整合Kafka 1 新建Spring Boot项目，增加依赖<dependencies> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </dependenc...
- MQTT是在 TCP/IP 之上使用的轻量级发布-订阅协议，常用于物联网的场景，MQTT 使用消息代理在发布消息的发送者和对这些消息感兴趣的接收者之间分派消息，同一个客户端可以发布和订阅消息。MQTT 定义了三个级别的服务质量，也就是QoS，这三种级别分别代表什么意思，估计很多使用MQTT的小伙伴没太关注，有时候你遇到问题了，特别是那种诡异的问题，更不会朝这个上面想，今天瑞哥就带大家详细的了... MQTT是在 TCP/IP 之上使用的轻量级发布-订阅协议，常用于物联网的场景，MQTT 使用消息代理在发布消息的发送者和对这些消息感兴趣的接收者之间分派消息，同一个客户端可以发布和订阅消息。MQTT 定义了三个级别的服务质量，也就是QoS，这三种级别分别代表什么意思，估计很多使用MQTT的小伙伴没太关注，有时候你遇到问题了，特别是那种诡异的问题，更不会朝这个上面想，今天瑞哥就带大家详细的了...
- theme: condensed-night-purple Spark 操作 kafka携手创作，共同成长！这是我参与「掘金日新计划 · 8 月更文挑战」的第30天，点击查看活动详情Spark Streaming提供了两类内置的streaming源：Basic sources ：直接在StreamingContext API中可用的源。例如，文件系统和socket连接 Advanced s... theme: condensed-night-purple Spark 操作 kafka携手创作，共同成长！这是我参与「掘金日新计划 · 8 月更文挑战」的第30天，点击查看活动详情Spark Streaming提供了两类内置的streaming源：Basic sources ：直接在StreamingContext API中可用的源。例如，文件系统和socket连接 Advanced s...
- theme: condensed-night-purple携手创作，共同成长！这是我参与「掘金日新计划 · 8 月更文挑战」的第30天，点击查看活动详情 Flink 操作 kafkahttps://zhuanlan.zhihu.com/p/92289771flink 提供了一个特有的 kafka connector 去读写 kafka topic 的数据。这样在 flink 消费 kafk... theme: condensed-night-purple携手创作，共同成长！这是我参与「掘金日新计划 · 8 月更文挑战」的第30天，点击查看活动详情 Flink 操作 kafkahttps://zhuanlan.zhihu.com/p/92289771flink 提供了一个特有的 kafka connector 去读写 kafka topic 的数据。这样在 flink 消费 kafk...
- theme: condensed-night-purple携手创作，共同成长！这是我参与「掘金日新计划 · 8 月更文挑战」的第30天，点击查看活动详情 Sink ConnectorFlink 提供为 Kafka 0.8 版本后所有 Kafka 版本的 sink connectors。// 设定数据流DataStream[String] stream = environment.fromE... theme: condensed-night-purple携手创作，共同成长！这是我参与「掘金日新计划 · 8 月更文挑战」的第30天，点击查看活动详情 Sink ConnectorFlink 提供为 Kafka 0.8 版本后所有 Kafka 版本的 sink connectors。// 设定数据流DataStream[String] stream = environment.fromE...
- @[toc] Phoenix的介绍和客户端命令Phoenix的概念Phoenix on HBase 和 Hive on HDFS 的区别Phoenix 客户端命令操作及说明查看表操作① TABLE_SCHEMA② 对应 HBase 的 namespace创建表的操作新增数据查询操作更新操作删除操作 构建HBase的二级索引为什么需要构建二级索引索引的类型①概念：创建：查看：删除：②概念：创建... @[toc] Phoenix的介绍和客户端命令Phoenix的概念Phoenix on HBase 和 Hive on HDFS 的区别Phoenix 客户端命令操作及说明查看表操作① TABLE_SCHEMA② 对应 HBase 的 namespace创建表的操作新增数据查询操作更新操作删除操作 构建HBase的二级索引为什么需要构建二级索引索引的类型①概念：创建：查看：删除：②概念：创建...
上滑加载中
推荐直播
-
开发者玩转DeepSeek2025/02/20 周四 16:30-17:30
Thomas – 华为云DTSE技术布道师
双擎驱动优势——华为云CodeArts IDE全栈能力与DeepSeek认知智能深度融合，打造智能编码助手。如何利用DeepSeek的能力，进一步强化业务。
即将直播 -
探秘仓颉编程语言：华为开发者空间的创新利器2025/02/22 周六 15:00-16:30
华为云讲师团
本期直播将与您一起探秘颉编程语言上线华为开发者空间后，显著提升开发效率，在智能化开发支持、全场景跨平台适配能力、工具链与生态完备性、语言简洁与高性能特性等方面展现出的独特优势。直播看点： 1.java转仓颉的小工具 2.仓颉动画三方库lottie 3.开发者空间介绍及如何在空间用仓颉编程语言开发
即将直播 -
大模型Prompt工程深度实践2025/02/24 周一 16:00-17:30
盖伦 华为云学堂技术讲师
如何让大模型精准理解开发需求并生成可靠输出？本期直播聚焦大模型Prompt工程核心技术：理解大模型推理基础原理，关键采样参数定义，提示词撰写关键策略及Prompt工程技巧分享。
去报名
热门标签