- 业务实现之编写写入DWD层业务代码DWD层数据主要存储干净的明细数据，这里针对ODS层“KAFKA-ODS-TOPIC”数据编写代码进行清洗写入对应的Kafka topic和Iceberg-DWD层中。代码功能中有以下几点重要方面：针对Kafka ODS层中的数据进行清洗，写入Iceberg-DWD层中。将数据除了写入Iceberg-DWD层中之外，还要写入Kafka中方便后续处理得到DW... 业务实现之编写写入DWD层业务代码DWD层数据主要存储干净的明细数据，这里针对ODS层“KAFKA-ODS-TOPIC”数据编写代码进行清洗写入对应的Kafka topic和Iceberg-DWD层中。代码功能中有以下几点重要方面：针对Kafka ODS层中的数据进行清洗，写入Iceberg-DWD层中。将数据除了写入Iceberg-DWD层中之外，还要写入Kafka中方便后续处理得到DW...
- ClickHouse 可视化工具操作一、tabixtabix支持通过浏览器直接连接 ClickHouse，不需要安装其他软件，就可以访问ClickHouse。有两种使用方式，一种是直接浏览器访问配置。另一种是使用ClickHouse内嵌方式。tabix具有以下特点：⾼亮语法的编辑器。⾃动命令补全。查询命令执⾏的图形分析⼯具。配⾊⽅案选项。1、直接浏览器访问可以直接在浏览器中输入http://... ClickHouse 可视化工具操作一、tabixtabix支持通过浏览器直接连接 ClickHouse，不需要安装其他软件，就可以访问ClickHouse。有两种使用方式，一种是直接浏览器访问配置。另一种是使用ClickHouse内嵌方式。tabix具有以下特点：⾼亮语法的编辑器。⾃动命令补全。查询命令执⾏的图形分析⼯具。配⾊⽅案选项。1、直接浏览器访问可以直接在浏览器中输入http://...
- Flink 写入 ClickHouse API可以通过Flink原生JDBC Connector包将Flink结果写入ClickHouse中，Flink在1.11.0版本对其JDBC Connnector进行了重构：重构之前（1.10.x 及之前版本），包名为 flink-jdbc 。重构之后（1.11.x 及之后版本），包名为 flink-connector-jdbc 。二者对 Flin... Flink 写入 ClickHouse API可以通过Flink原生JDBC Connector包将Flink结果写入ClickHouse中，Flink在1.11.0版本对其JDBC Connnector进行了重构：重构之前（1.10.x 及之前版本），包名为 flink-jdbc 。重构之后（1.11.x 及之后版本），包名为 flink-connector-jdbc 。二者对 Flin...
- Java 读写ClickHouse APIJava读取ClickHouse中的数据API 。一、首先需要加入maven依赖<!-- 连接ClickHouse需要驱动包--><dependency> <groupId>ru.yandex.clickhouse</groupId> <artifactId>clickhouse-jdbc</artifactId> <version>0.2.... Java 读写ClickHouse APIJava读取ClickHouse中的数据API 。一、首先需要加入maven依赖<!-- 连接ClickHouse需要驱动包--><dependency> <groupId>ru.yandex.clickhouse</groupId> <artifactId>clickhouse-jdbc</artifactId> <version>0.2....
- ClickHouse SQL语法之DDL 操作讲解DDL:Data Definition Language,数据库定义语言。在ClickHouse中，DDL语言中修改表结构仅支持Merge表引擎、Distributed表引擎及MergeTree家族的表引擎,SQL 中的库、表、字段严格区分大小写。一、创建库创建库基础语法：CREATE DATABASE [IF NOT EXISTS] db_... ClickHouse SQL语法之DDL 操作讲解DDL:Data Definition Language,数据库定义语言。在ClickHouse中，DDL语言中修改表结构仅支持Merge表引擎、Distributed表引擎及MergeTree家族的表引擎,SQL 中的库、表、字段严格区分大小写。一、创建库创建库基础语法：CREATE DATABASE [IF NOT EXISTS] db_...
- 1、不定长参数位置不定长参数（*args）：多余的位置参数，可以被args接收,并且打包为一个元组，保存在args当中。# 不定长参数主要就是在定义函数时,不确定参数的个数时即可进行不定长参数的书写'''位置不定长参数的定义格式:def 参数名(*args): 函数体'''# def func(*args):# print(*args) # 相当于书写内容为 print(... 1、不定长参数位置不定长参数（*args）：多余的位置参数，可以被args接收,并且打包为一个元组，保存在args当中。# 不定长参数主要就是在定义函数时,不确定参数的个数时即可进行不定长参数的书写'''位置不定长参数的定义格式:def 参数名(*args): 函数体'''# def func(*args):# print(*args) # 相当于书写内容为 print(...
- Integration系列表引擎ClickHouse提供了许多与外部系统集成的方法，包括一些表引擎。这些表引擎与其他类型的表引擎类似，可以用于将外部数据导入到ClickHouse中，或者在ClickHouse中直接操作外部数据源。一、HDFSHDFS引擎支持ClickHouse 直接读取HDFS中特定格式的数据文件，目前文件格式支持Json,Csv文件等，ClickHouse通过HDFS引擎... Integration系列表引擎ClickHouse提供了许多与外部系统集成的方法，包括一些表引擎。这些表引擎与其他类型的表引擎类似，可以用于将外部数据导入到ClickHouse中，或者在ClickHouse中直接操作外部数据源。一、HDFSHDFS引擎支持ClickHouse 直接读取HDFS中特定格式的数据文件，目前文件格式支持Json,Csv文件等，ClickHouse通过HDFS引擎...
- Spark编程基础(Python版) Spark编程基础(Python版)
- MergeTree系列表引擎之VersionedCollapsingMergeTree一、VersionedCollapsingMergeTree基本讲解上面提到CollapsingMergeTree表引擎对于数据写入乱序的情况下，不能够实现数据折叠的效果。VersionedCollapsingMergeTree表引擎的作用与CollapsingMergeTree完全相同，它们的不同之处在于... MergeTree系列表引擎之VersionedCollapsingMergeTree一、VersionedCollapsingMergeTree基本讲解上面提到CollapsingMergeTree表引擎对于数据写入乱序的情况下，不能够实现数据折叠的效果。VersionedCollapsingMergeTree表引擎的作用与CollapsingMergeTree完全相同，它们的不同之处在于...
- MergeTree系列表引擎之CollapsingMergeTree一、CollapsingMergeTree基本讲解CollapsingMergeTree就是一种通过以增代删的思路，支持行级数据修改和删除的表引擎。它通过定义一个sign标记位字段，记录数据行的状态。如果sign标记为1，则表示这是一行有效的数据；如果sign标记为-1，则表示这行数据需要被删除。当CollapsingMe... MergeTree系列表引擎之CollapsingMergeTree一、CollapsingMergeTree基本讲解CollapsingMergeTree就是一种通过以增代删的思路，支持行级数据修改和删除的表引擎。它通过定义一个sign标记位字段，记录数据行的状态。如果sign标记为1，则表示这是一行有效的数据；如果sign标记为-1，则表示这行数据需要被删除。当CollapsingMe...
- @[toc] 1、公共方法+加法运算适用于所有的基础数据类型（int float bool）加法运算所有两侧要是同种数据类型加法运算再容器类型中是拼接的意思，不是相加计算值# +法运算,都可以用于哪些数据类型之间# int float bool 肯定可以用于加法运算,不再赘述print(1 + 12.3) # 13.3# str 可以相加么? 可以str1 = 'hello'str2... @[toc] 1、公共方法+加法运算适用于所有的基础数据类型（int float bool）加法运算所有两侧要是同种数据类型加法运算再容器类型中是拼接的意思，不是相加计算值# +法运算,都可以用于哪些数据类型之间# int float bool 肯定可以用于加法运算,不再赘述print(1 + 12.3) # 13.3# str 可以相加么? 可以str1 = 'hello'str2...
- @[toc] 1、列表的查询index：从左至右查询元素在列表中所处的位置，如果查询到该元素返回其第一次出现所在位置的正向下标，如果不存在则报错count：查询指定元素在列表中出现的次数in：查询指定元素是否在列表中not in：查询指定元素是否不在列表中# 索引查询name_list = ['Bob', 'Jack', 'Rose']# print(name_list[0]) # Bob... @[toc] 1、列表的查询index：从左至右查询元素在列表中所处的位置，如果查询到该元素返回其第一次出现所在位置的正向下标，如果不存在则报错count：查询指定元素在列表中出现的次数in：查询指定元素是否在列表中not in：查询指定元素是否不在列表中# 索引查询name_list = ['Bob', 'Jack', 'Rose']# print(name_list[0]) # Bob...
- @[toc] 1、循环介绍有条件的重复做相似的事情Python中循环分为while 和for 2、while循环的使用格式： while 条件： 循环体while 循环的三个必要元素while 关键字循环条件循环体构造循环要想的四件事初始状态循环条件要重复做的事情循环控制案例# 需求:求1-100的累加和# 初始状态i = 1sum1 = 0while i <= 100: # 求累加和... @[toc] 1、循环介绍有条件的重复做相似的事情Python中循环分为while 和for 2、while循环的使用格式： while 条件： 循环体while 循环的三个必要元素while 关键字循环条件循环体构造循环要想的四件事初始状态循环条件要重复做的事情循环控制案例# 需求:求1-100的累加和# 初始状态i = 1sum1 = 0while i <= 100: # 求累加和...
- MergeTree系列表引擎之SummingMergeTree一、SummingMergeTree基本讲解该引擎继承了MergeTree引擎，当合并 SummingMergeTree 表的数据片段时，ClickHouse 会把所有具有相同主键的行合并为一行，该行包含了被合并的行中具有数值数据类型的列的汇总值，即如果存在重复的数据，会对对这些重复的数据进行合并成一条数据，类似于group b... MergeTree系列表引擎之SummingMergeTree一、SummingMergeTree基本讲解该引擎继承了MergeTree引擎，当合并 SummingMergeTree 表的数据片段时，ClickHouse 会把所有具有相同主键的行合并为一行，该行包含了被合并的行中具有数值数据类型的列的汇总值，即如果存在重复的数据，会对对这些重复的数据进行合并成一条数据，类似于group b...
- 什么是 Landsat 集合？2016 年，USGS 将 Landsat 档案重新组织成一个分层集合。这种结构确保 Landsat Level-1 产品提供一致的已知数据质量档案，以支持时间序列分析和数据“堆叠”，同时控制档案的持续改进和对所有数据的访问。2016 年，USGS 将 Landsat 档案重组为一个名为 Landsat Collection 1的分层收集管理结构。这种结构确保所... 什么是 Landsat 集合？2016 年，USGS 将 Landsat 档案重新组织成一个分层集合。这种结构确保 Landsat Level-1 产品提供一致的已知数据质量档案，以支持时间序列分析和数据“堆叠”，同时控制档案的持续改进和对所有数据的访问。2016 年，USGS 将 Landsat 档案重组为一个名为 Landsat Collection 1的分层收集管理结构。这种结构确保所...
上滑加载中
推荐直播
-
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家；李炎-华为云码道产品专家；彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战，从0到1打通消息通道；码道鸿蒙端云一体化实战，快速搭建员工签到系统。
回顾中 -
华为云开发者AI素养直播课·第五期2026/09/04 周五 16:00-18:00
林华鼎-华为云AI开发者运营负责人；蒋春阳-华为云AI开发者案例开发专家
本期直播内容： AI工具体验营 · 第5-8课连讲。Agent-Team 多智能体协作完成毕业设计实践
回顾中 -
华为云开发者AI素养ClassRoom·第六期2026/09/08 周二 19:00-20:00
樊渊-2026华为软件挑战赛冠军
高手来了：看软挑高手解析二维排样问题—从工业难题到算法突破
回顾中
热门标签