- ClickHouse的SQL语法一、常用的SQL命令作用SQL列出所有数据库show databases;进入某一个数据库use dbName;列出数据库中所有的表show tables;创建数据库create database [if not exists] dbName;删除数据库drop database dbName;创建表create [temporary] table [if n... ClickHouse的SQL语法一、常用的SQL命令作用SQL列出所有数据库show databases;进入某一个数据库use dbName;列出数据库中所有的表show tables;创建数据库create database [if not exists] dbName;删除数据库drop database dbName;创建表create [temporary] table [if n...
- ClickHouse的VersionedCollapsingMergeTree深入了解该引擎继承自 MergeTree 并将折叠行的逻辑添加到合并数据部分的算法中,这个引擎:允许快速写入不断变化的对象状态删除后台中的旧对象状态,这显著降低了存储体积VersionedCollapsingMergeTree 用于相同的目的折叠树 ,但使用不同的折叠算法,允许以多个线程的任何顺序插入数据。 特别... ClickHouse的VersionedCollapsingMergeTree深入了解该引擎继承自 MergeTree 并将折叠行的逻辑添加到合并数据部分的算法中,这个引擎:允许快速写入不断变化的对象状态删除后台中的旧对象状态,这显著降低了存储体积VersionedCollapsingMergeTree 用于相同的目的折叠树 ,但使用不同的折叠算法,允许以多个线程的任何顺序插入数据。 特别...
- ClickHouse的CollapsingMergeTree深入了解在ClickHouse中不支持对数据update和delete操作(不能使用标准的更新和删除语法操作CK),但在增量计算场景下,状态更新是一个常见的现象,此时update操作似乎更符合这种需求。ClickHouse提供了一个CollapsingMergeTree表引擎,它继承于MergeTree引擎,是通过一种变通的方式来... ClickHouse的CollapsingMergeTree深入了解在ClickHouse中不支持对数据update和delete操作(不能使用标准的更新和删除语法操作CK),但在增量计算场景下,状态更新是一个常见的现象,此时update操作似乎更符合这种需求。ClickHouse提供了一个CollapsingMergeTree表引擎,它继承于MergeTree引擎,是通过一种变通的方式来...
- ClickHouse的SummingMergeTree深入了解ClickHouse通过SummingMergeTree来支持对主键列进行预聚合。在后台合并时,会将主键相同的多行进行sum求和,然后使用一行数据取而代之,从而大幅度降低存储空间占用,提升聚合计算性能。ClickHouse只在后台Compaction时才会进行数据的预先聚合,而compaction的执行时机无法预测,所以可能会存... ClickHouse的SummingMergeTree深入了解ClickHouse通过SummingMergeTree来支持对主键列进行预聚合。在后台合并时,会将主键相同的多行进行sum求和,然后使用一行数据取而代之,从而大幅度降低存储空间占用,提升聚合计算性能。ClickHouse只在后台Compaction时才会进行数据的预先聚合,而compaction的执行时机无法预测,所以可能会存...
- ClickHouse快速入门一、安装ClickHouse(单机)1、安装yum-utils工具包yum install yum-utils2、添加ClickHouse的yum源yum-config-manager --add-repo https://repo.yandex.ru/clickhouse/rpm/stable/x86_643、安装ClickHouse的服务端和客户... ClickHouse快速入门一、安装ClickHouse(单机)1、安装yum-utils工具包yum install yum-utils2、添加ClickHouse的yum源yum-config-manager --add-repo https://repo.yandex.ru/clickhouse/rpm/stable/x86_643、安装ClickHouse的服务端和客户...
- ClickHouse的使用案例一、电信行业用于存储数据和统计数据使用我国的中国电信G网数据分析应用采用ClickHouse作为数据存储引擎,主要存储网络基站设备数据、监控设备和骨干网等数据,这些数据日的增量500亿条左右,约700GB。并进行相应的分析处理,最终提供BI应用、数据挖掘等系统使用。二、新浪微博用于用户行为数据记录和分析工作新浪微博APP监控系统采用ClickHouse作为数据存... ClickHouse的使用案例一、电信行业用于存储数据和统计数据使用我国的中国电信G网数据分析应用采用ClickHouse作为数据存储引擎,主要存储网络基站设备数据、监控设备和骨干网等数据,这些数据日的增量500亿条左右,约700GB。并进行相应的分析处理,最终提供BI应用、数据挖掘等系统使用。二、新浪微博用于用户行为数据记录和分析工作新浪微博APP监控系统采用ClickHouse作为数据存...
- 实时OLAP分析需求一、背景介绍在之前的文章学习了离线数仓的构建,但是离线数仓的最大问题即:慢,数据无法实时的通过可视化页面展示出来,通常离线数仓分析的是“T+1”的数据,针对于时效性要求比较高的场景,则无法满足需求,例如:快速实时返回“分组+聚合计算+排序聚合指标”查询需求。因此智慧物流系统的应用场景分为以下几个部分:Spark-to-Kudu 小时/日级场景Spark-t... 实时OLAP分析需求一、背景介绍在之前的文章学习了离线数仓的构建,但是离线数仓的最大问题即:慢,数据无法实时的通过可视化页面展示出来,通常离线数仓分析的是“T+1”的数据,针对于时效性要求比较高的场景,则无法满足需求,例如:快速实时返回“分组+聚合计算+排序聚合指标”查询需求。因此智慧物流系统的应用场景分为以下几个部分:Spark-to-Kudu 小时/日级场景Spark-t...
- Impala优化一、Impala关键配置分配给此角色的内存软限制,由 Linux 内核强制执行。当达到此限制时,内核将只在主机面临内存压力时回收已分配给进程的页面。如果回收失败,内核可能会停止这些进程。分配给此角色的内存硬限制,由 Linux 内核强制执行。当达到此限制时,内核将会回收已分配给进程的页面。如果回收失败,内核可能会停止这些进程。Impala Daemon 服务的... Impala优化一、Impala关键配置分配给此角色的内存软限制,由 Linux 内核强制执行。当达到此限制时,内核将只在主机面临内存压力时回收已分配给进程的页面。如果回收失败,内核可能会停止这些进程。分配给此角色的内存硬限制,由 Linux 内核强制执行。当达到此限制时,内核将会回收已分配给进程的页面。如果回收失败,内核可能会停止这些进程。Impala Daemon 服务的...
- Kudu的优化一、Kudu关键配置TabletServer 在开始拒绝所有传入的写入之前可以消耗的最大内存量:memory_limit_hard_bytes=1073741824分配给 Kudu Tablet Server 块缓存的最大内存量:block_cache_capacity_mb=512二、Kudu的使用限制1、主键创建表后,... Kudu的优化一、Kudu关键配置TabletServer 在开始拒绝所有传入的写入之前可以消耗的最大内存量:memory_limit_hard_bytes=1073741824分配给 Kudu Tablet Server 块缓存的最大内存量:block_cache_capacity_mb=512二、Kudu的使用限制1、主键创建表后,...
- Kudu的读写原理一、工作模式Kudu的工作模式如下图,有些在上面的内容中已经介绍了,这里简单标注一下:每个kudu table按照hash或range分区为多个tablet;每个tablet中包含一个MemRowSet以及多个DiskRowSet;每个DiskRowSet包含BaseData以及DeltaStores;DeltaStores由多个DeltaFile和一个De... Kudu的读写原理一、工作模式Kudu的工作模式如下图,有些在上面的内容中已经介绍了,这里简单标注一下:每个kudu table按照hash或range分区为多个tablet;每个tablet中包含一个MemRowSet以及多个DiskRowSet;每个DiskRowSet包含BaseData以及DeltaStores;DeltaStores由多个DeltaFile和一个De...
- Kudu原理一、表与schemaKudu设计是面向结构化存储的,因此Kudu的表需要用户在建表时定义它的Schema信息,这些Schema信息包含:列定义(含类型)Primary Key定义(用户指定的若干个列的有序组合)数据的唯一性,依赖于用户所提供的Primary Key中的Column组合的值的唯一性。Kudu提供了Alter命令来增删列,但位于Primary Key中的列是不允许删除... Kudu原理一、表与schemaKudu设计是面向结构化存储的,因此Kudu的表需要用户在建表时定义它的Schema信息,这些Schema信息包含:列定义(含类型)Primary Key定义(用户指定的若干个列的有序组合)数据的唯一性,依赖于用户所提供的Primary Key中的Column组合的值的唯一性。Kudu提供了Alter命令来增删列,但位于Primary Key中的列是不允许删除...
- Impala映射kudu表一、登录Hue页面1、选择Impala2、登录Hue页面二、选择Impala执行引擎1、选择Impala执行引擎2、进入编写执行sql语句窗口三、执行sql语句映射Kudu表若数据库已经存在,则使用级联的方式删除:DROP DATABASE logistics cascade;编写kudu与impala表的映射关系,Sql语句如下:CREATE DA... Impala映射kudu表一、登录Hue页面1、选择Impala2、登录Hue页面二、选择Impala执行引擎1、选择Impala执行引擎2、进入编写执行sql语句窗口三、执行sql语句映射Kudu表若数据库已经存在,则使用级联的方式删除:DROP DATABASE logistics cascade;编写kudu与impala表的映射关系,Sql语句如下:CREATE DA...
- 使用Impala对kudu更改表属性操作开发人员可以通过更改表的属性来更改 Impala 与给定 Kudu 表相关的元数据。这些属性包括表名, Kudu 主地址列表,以及表是否由 Impala (内部)或外部管理。一、重命名Impala映射表ALTER TABLE PERSON RENAME TO person_temp;重命名impala表的时候,只会修改impala表的名字,不会修改ku... 使用Impala对kudu更改表属性操作开发人员可以通过更改表的属性来更改 Impala 与给定 Kudu 表相关的元数据。这些属性包括表名, Kudu 主地址列表,以及表是否由 Impala (内部)或外部管理。一、重命名Impala映射表ALTER TABLE PERSON RENAME TO person_temp;重命名impala表的时候,只会修改impala表的名字,不会修改ku...
- 使用impala创建kudu表一、impala操作kudu前的准备需要先启动hdfs、hive、kudu、impala使用impala的shell控制台执行命令impala-shell1、使用该impala-shell命令启动Impala Shell。默认情况下,impala-shell 尝试连接到localhost端口21000 上的Impala守护程序。要连接到其他主机,请使用该-i ... 使用impala创建kudu表一、impala操作kudu前的准备需要先启动hdfs、hive、kudu、impala使用impala的shell控制台执行命令impala-shell1、使用该impala-shell命令启动Impala Shell。默认情况下,impala-shell 尝试连接到localhost端口21000 上的Impala守护程序。要连接到其他主机,请使用该-i ...
- impala-shell命令参数一、impala-shell外部命令所谓的外部命令指的是不需要进入到impala-shell交互命令行当中即可执行的命令参数。impala-shell后面执行的时候可以带很多参数。你可以在启动 impala-shell 时设置,用于修改命令执行环境。impala-shell –h可以帮助我们查看帮助手册比如几个常见的:impala-shell ... impala-shell命令参数一、impala-shell外部命令所谓的外部命令指的是不需要进入到impala-shell交互命令行当中即可执行的命令参数。impala-shell后面执行的时候可以带很多参数。你可以在启动 impala-shell 时设置,用于修改命令执行环境。impala-shell –h可以帮助我们查看帮助手册比如几个常见的:impala-shell ...
上滑加载中
推荐直播
-
CloudPond上的DeepSeek
2025/03/07 周五 16:30-17:30
George-华为云CloudPond解决方案经理
比一体机能力更丰满;比公有云距离更亲近;比自己搭建更轻松简单;解读在CloudPond 上部署DeepSeek,选型、方案以及部署维护的细节。
即将直播 -
空中宣讲会 2025年华为软件精英挑战赛
2025/03/10 周一 18:00-19:00
宸睿 华为云存储技术专家、ACM-ICPC WorldFinal经验 晖哥
2025华为软挑赛空中宣讲会重磅来袭!完整赛程首曝+命题天团硬核拆题+三轮幸运抽奖赢参赛助力礼包,与全国优秀高校开发者同台竞技,直通顶尖赛事起跑线!
即将直播
热门标签