- ClickHouse的索引深入了解一、一级索引在MergeTree中PRIMARY KEY 主键并不用于去重，而是用于索引，加快查询速度,MergeTree会根据index_granularity间隔（默认8192行），为数据表生成一级索引并保存至primary.idx文件内，索引数据按照PRIMARY KEY 排序，相对于使用PRIMARY KEY 更常见的方式是通过ORDER BY 方... ClickHouse的索引深入了解一、一级索引在MergeTree中PRIMARY KEY 主键并不用于去重，而是用于索引，加快查询速度,MergeTree会根据index_granularity间隔（默认8192行），为数据表生成一级索引并保存至primary.idx文件内，索引数据按照PRIMARY KEY 排序，相对于使用PRIMARY KEY 更常见的方式是通过ORDER BY 方...
- 今天聊一聊OLAP技术，一哥认为好的OLAP引擎应该具备以下三个条件：易开发、易维护、易移植。今天给大家分享一下常见的几种OLAP计算引擎，他们的特性、适用场景，优缺点等，希望对大家在选型应用上有帮助。Kylin简介1、Kylin是ebay开发的一套MOLAP系统；2、提供Hadoop之上的SQL查询接口及多维分析能力以支持超大规模数据；3、提供与BI工具（如Tableau）的整合能力；适用... 今天聊一聊OLAP技术，一哥认为好的OLAP引擎应该具备以下三个条件：易开发、易维护、易移植。今天给大家分享一下常见的几种OLAP计算引擎，他们的特性、适用场景，优缺点等，希望对大家在选型应用上有帮助。Kylin简介1、Kylin是ebay开发的一套MOLAP系统；2、提供Hadoop之上的SQL查询接口及多维分析能力以支持超大规模数据；3、提供与BI工具（如Tableau）的整合能力；适用...
- TTL深入了解TTL即Time To Live ，表示数据存活的时间。在MergeTree中，可以为某个列字段或整张表设置TTL。当时间到达时，如果是列字段级别的TTL，则会删除这列的数据；如果是表级别的TTL，则会删除整张表的数据；如果同时设置了列级别和表级别的TTL，则会以先到期的那个为主。无论是列级别还是表级别的TTL，都需要依托某个DataTime或Date类型的字段，通过对这个时... TTL深入了解TTL即Time To Live ，表示数据存活的时间。在MergeTree中，可以为某个列字段或整张表设置TTL。当时间到达时，如果是列字段级别的TTL，则会删除这列的数据；如果是表级别的TTL，则会删除整张表的数据；如果同时设置了列级别和表级别的TTL，则会以先到期的那个为主。无论是列级别还是表级别的TTL，都需要依托某个DataTime或Date类型的字段，通过对这个时...
- MergeTree表引擎在所有的表引擎中，最为核心的当属MergeTree系列表引擎，这些表引擎拥有最为强大的性能和最广泛的使用场合。对于非MergeTree系列的其他引擎而言，主要用于特殊用途，场景相对有限。而MergeTree系列表引擎是官方主推的存储引擎，有主键索引、数据分区、数据副本、数据采样、删除和修改等功能，支持几乎所有ClickHouse核心功能。MergeTree系列表引擎包... MergeTree表引擎在所有的表引擎中，最为核心的当属MergeTree系列表引擎，这些表引擎拥有最为强大的性能和最广泛的使用场合。对于非MergeTree系列的其他引擎而言，主要用于特殊用途，场景相对有限。而MergeTree系列表引擎是官方主推的存储引擎，有主键索引、数据分区、数据副本、数据采样、删除和修改等功能，支持几乎所有ClickHouse核心功能。MergeTree系列表引擎包...
- 什么是核技巧，有什么用处？核技巧使用核函数，确保在高维空间不需要明确计算点的坐标，而是计算数据的特征空间中的内积。这使其具有一个很有用的属性：更容易的计算高维空间中点的坐标。许多算法都可以表示称这样的内积形式，使用核技巧可以保证低维数据在高维空间中运用算法进行计算。如何处理数据集中丢失或损坏的数据？您可以在数据集中找到丢失/损坏的数据，然后删除这些行或列，或者决定用另一个值替换它们。在pan... 什么是核技巧，有什么用处？核技巧使用核函数，确保在高维空间不需要明确计算点的坐标，而是计算数据的特征空间中的内积。这使其具有一个很有用的属性：更容易的计算高维空间中点的坐标。许多算法都可以表示称这样的内积形式，使用核技巧可以保证低维数据在高维空间中运用算法进行计算。如何处理数据集中丢失或损坏的数据？您可以在数据集中找到丢失/损坏的数据，然后删除这些行或列，或者决定用另一个值替换它们。在pan...
- 业务实现之编写写入DWD层业务代码DWD层数据主要存储干净的明细数据，这里针对ODS层“KAFKA-ODS-TOPIC”数据编写代码进行清洗写入对应的Kafka topic和Iceberg-DWD层中。代码功能中有以下几点重要方面：针对Kafka ODS层中的数据进行清洗，写入Iceberg-DWD层中。将数据除了写入Iceberg-DWD层中之外，还要写入Kafka中方便后续处理得到DW... 业务实现之编写写入DWD层业务代码DWD层数据主要存储干净的明细数据，这里针对ODS层“KAFKA-ODS-TOPIC”数据编写代码进行清洗写入对应的Kafka topic和Iceberg-DWD层中。代码功能中有以下几点重要方面：针对Kafka ODS层中的数据进行清洗，写入Iceberg-DWD层中。将数据除了写入Iceberg-DWD层中之外，还要写入Kafka中方便后续处理得到DW...
- ClickHouse 可视化工具操作一、tabixtabix支持通过浏览器直接连接 ClickHouse，不需要安装其他软件，就可以访问ClickHouse。有两种使用方式，一种是直接浏览器访问配置。另一种是使用ClickHouse内嵌方式。tabix具有以下特点：⾼亮语法的编辑器。⾃动命令补全。查询命令执⾏的图形分析⼯具。配⾊⽅案选项。1、直接浏览器访问可以直接在浏览器中输入http://... ClickHouse 可视化工具操作一、tabixtabix支持通过浏览器直接连接 ClickHouse，不需要安装其他软件，就可以访问ClickHouse。有两种使用方式，一种是直接浏览器访问配置。另一种是使用ClickHouse内嵌方式。tabix具有以下特点：⾼亮语法的编辑器。⾃动命令补全。查询命令执⾏的图形分析⼯具。配⾊⽅案选项。1、直接浏览器访问可以直接在浏览器中输入http://...
- Flink 写入 ClickHouse API可以通过Flink原生JDBC Connector包将Flink结果写入ClickHouse中，Flink在1.11.0版本对其JDBC Connnector进行了重构：重构之前（1.10.x 及之前版本），包名为 flink-jdbc 。重构之后（1.11.x 及之后版本），包名为 flink-connector-jdbc 。二者对 Flin... Flink 写入 ClickHouse API可以通过Flink原生JDBC Connector包将Flink结果写入ClickHouse中，Flink在1.11.0版本对其JDBC Connnector进行了重构：重构之前（1.10.x 及之前版本），包名为 flink-jdbc 。重构之后（1.11.x 及之后版本），包名为 flink-connector-jdbc 。二者对 Flin...
- Java 读写ClickHouse APIJava读取ClickHouse中的数据API 。一、首先需要加入maven依赖<!-- 连接ClickHouse需要驱动包--><dependency> <groupId>ru.yandex.clickhouse</groupId> <artifactId>clickhouse-jdbc</artifactId> <version>0.2.... Java 读写ClickHouse APIJava读取ClickHouse中的数据API 。一、首先需要加入maven依赖<!-- 连接ClickHouse需要驱动包--><dependency> <groupId>ru.yandex.clickhouse</groupId> <artifactId>clickhouse-jdbc</artifactId> <version>0.2....
- ClickHouse SQL语法之DDL 操作讲解DDL:Data Definition Language,数据库定义语言。在ClickHouse中，DDL语言中修改表结构仅支持Merge表引擎、Distributed表引擎及MergeTree家族的表引擎,SQL 中的库、表、字段严格区分大小写。一、创建库创建库基础语法：CREATE DATABASE [IF NOT EXISTS] db_... ClickHouse SQL语法之DDL 操作讲解DDL:Data Definition Language,数据库定义语言。在ClickHouse中，DDL语言中修改表结构仅支持Merge表引擎、Distributed表引擎及MergeTree家族的表引擎,SQL 中的库、表、字段严格区分大小写。一、创建库创建库基础语法：CREATE DATABASE [IF NOT EXISTS] db_...
- 1、不定长参数位置不定长参数（*args）：多余的位置参数，可以被args接收,并且打包为一个元组，保存在args当中。# 不定长参数主要就是在定义函数时,不确定参数的个数时即可进行不定长参数的书写'''位置不定长参数的定义格式:def 参数名(*args): 函数体'''# def func(*args):# print(*args) # 相当于书写内容为 print(... 1、不定长参数位置不定长参数（*args）：多余的位置参数，可以被args接收,并且打包为一个元组，保存在args当中。# 不定长参数主要就是在定义函数时,不确定参数的个数时即可进行不定长参数的书写'''位置不定长参数的定义格式:def 参数名(*args): 函数体'''# def func(*args):# print(*args) # 相当于书写内容为 print(...
- Integration系列表引擎ClickHouse提供了许多与外部系统集成的方法，包括一些表引擎。这些表引擎与其他类型的表引擎类似，可以用于将外部数据导入到ClickHouse中，或者在ClickHouse中直接操作外部数据源。一、HDFSHDFS引擎支持ClickHouse 直接读取HDFS中特定格式的数据文件，目前文件格式支持Json,Csv文件等，ClickHouse通过HDFS引擎... Integration系列表引擎ClickHouse提供了许多与外部系统集成的方法，包括一些表引擎。这些表引擎与其他类型的表引擎类似，可以用于将外部数据导入到ClickHouse中，或者在ClickHouse中直接操作外部数据源。一、HDFSHDFS引擎支持ClickHouse 直接读取HDFS中特定格式的数据文件，目前文件格式支持Json,Csv文件等，ClickHouse通过HDFS引擎...
- Spark编程基础(Python版) Spark编程基础(Python版)
- MergeTree系列表引擎之VersionedCollapsingMergeTree一、VersionedCollapsingMergeTree基本讲解上面提到CollapsingMergeTree表引擎对于数据写入乱序的情况下，不能够实现数据折叠的效果。VersionedCollapsingMergeTree表引擎的作用与CollapsingMergeTree完全相同，它们的不同之处在于... MergeTree系列表引擎之VersionedCollapsingMergeTree一、VersionedCollapsingMergeTree基本讲解上面提到CollapsingMergeTree表引擎对于数据写入乱序的情况下，不能够实现数据折叠的效果。VersionedCollapsingMergeTree表引擎的作用与CollapsingMergeTree完全相同，它们的不同之处在于...
- MergeTree系列表引擎之CollapsingMergeTree一、CollapsingMergeTree基本讲解CollapsingMergeTree就是一种通过以增代删的思路，支持行级数据修改和删除的表引擎。它通过定义一个sign标记位字段，记录数据行的状态。如果sign标记为1，则表示这是一行有效的数据；如果sign标记为-1，则表示这行数据需要被删除。当CollapsingMe... MergeTree系列表引擎之CollapsingMergeTree一、CollapsingMergeTree基本讲解CollapsingMergeTree就是一种通过以增代删的思路，支持行级数据修改和删除的表引擎。它通过定义一个sign标记位字段，记录数据行的状态。如果sign标记为1，则表示这是一行有效的数据；如果sign标记为-1，则表示这行数据需要被删除。当CollapsingMe...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签