- ClickHouse的SQL语法一、常用的SQL命令作用SQL列出所有数据库show databases;进入某一个数据库use dbName;列出数据库中所有的表show tables;创建数据库create database [if not exists] dbName;删除数据库drop database dbName;创建表create [temporary] table [if n... ClickHouse的SQL语法一、常用的SQL命令作用SQL列出所有数据库show databases;进入某一个数据库use dbName;列出数据库中所有的表show tables;创建数据库create database [if not exists] dbName;删除数据库drop database dbName;创建表create [temporary] table [if n...
- ClickHouse的VersionedCollapsingMergeTree深入了解该引擎继承自 MergeTree 并将折叠行的逻辑添加到合并数据部分的算法中，这个引擎:允许快速写入不断变化的对象状态删除后台中的旧对象状态，这显著降低了存储体积VersionedCollapsingMergeTree 用于相同的目的折叠树 ，但使用不同的折叠算法，允许以多个线程的任何顺序插入数据。 特别... ClickHouse的VersionedCollapsingMergeTree深入了解该引擎继承自 MergeTree 并将折叠行的逻辑添加到合并数据部分的算法中，这个引擎:允许快速写入不断变化的对象状态删除后台中的旧对象状态，这显著降低了存储体积VersionedCollapsingMergeTree 用于相同的目的折叠树 ，但使用不同的折叠算法，允许以多个线程的任何顺序插入数据。 特别...
- ClickHouse的CollapsingMergeTree深入了解在ClickHouse中不支持对数据update和delete操作（不能使用标准的更新和删除语法操作CK），但在增量计算场景下，状态更新是一个常见的现象，此时update操作似乎更符合这种需求。ClickHouse提供了一个CollapsingMergeTree表引擎，它继承于MergeTree引擎，是通过一种变通的方式来... ClickHouse的CollapsingMergeTree深入了解在ClickHouse中不支持对数据update和delete操作（不能使用标准的更新和删除语法操作CK），但在增量计算场景下，状态更新是一个常见的现象，此时update操作似乎更符合这种需求。ClickHouse提供了一个CollapsingMergeTree表引擎，它继承于MergeTree引擎，是通过一种变通的方式来...
- ClickHouse的SummingMergeTree深入了解ClickHouse通过SummingMergeTree来支持对主键列进行预聚合。在后台合并时，会将主键相同的多行进行sum求和，然后使用一行数据取而代之，从而大幅度降低存储空间占用，提升聚合计算性能。ClickHouse只在后台Compaction时才会进行数据的预先聚合，而compaction的执行时机无法预测，所以可能会存... ClickHouse的SummingMergeTree深入了解ClickHouse通过SummingMergeTree来支持对主键列进行预聚合。在后台合并时，会将主键相同的多行进行sum求和，然后使用一行数据取而代之，从而大幅度降低存储空间占用，提升聚合计算性能。ClickHouse只在后台Compaction时才会进行数据的预先聚合，而compaction的执行时机无法预测，所以可能会存...
- ClickHouse快速入门一、安装ClickHouse（单机）1、安装yum-utils工具包yum install yum-utils2、添加ClickHouse的yum源yum-config-manager --add-repo https://repo.yandex.ru/clickhouse/rpm/stable/x86_643、安装ClickHouse的服务端和客户... ClickHouse快速入门一、安装ClickHouse（单机）1、安装yum-utils工具包yum install yum-utils2、添加ClickHouse的yum源yum-config-manager --add-repo https://repo.yandex.ru/clickhouse/rpm/stable/x86_643、安装ClickHouse的服务端和客户...
- ClickHouse的使用案例一、电信行业用于存储数据和统计数据使用我国的中国电信G网数据分析应用采用ClickHouse作为数据存储引擎，主要存储网络基站设备数据、监控设备和骨干网等数据，这些数据日的增量500亿条左右，约700GB。并进行相应的分析处理，最终提供BI应用、数据挖掘等系统使用。二、新浪微博用于用户行为数据记录和分析工作新浪微博APP监控系统采用ClickHouse作为数据存... ClickHouse的使用案例一、电信行业用于存储数据和统计数据使用我国的中国电信G网数据分析应用采用ClickHouse作为数据存储引擎，主要存储网络基站设备数据、监控设备和骨干网等数据，这些数据日的增量500亿条左右，约700GB。并进行相应的分析处理，最终提供BI应用、数据挖掘等系统使用。二、新浪微博用于用户行为数据记录和分析工作新浪微博APP监控系统采用ClickHouse作为数据存...
- 实时OLAP分析需求一、背景介绍在之前的文章学习了离线数仓的构建，但是离线数仓的最大问题即：慢，数据无法实时的通过可视化页面展示出来，通常离线数仓分析的是“T+1”的数据，针对于时效性要求比较高的场景，则无法满足需求，例如：快速实时返回“分组+聚合计算+排序聚合指标”查询需求。因此智慧物流系统的应用场景分为以下几个部分：Spark-to-Kudu 小时/日级场景Spark-t... 实时OLAP分析需求一、背景介绍在之前的文章学习了离线数仓的构建，但是离线数仓的最大问题即：慢，数据无法实时的通过可视化页面展示出来，通常离线数仓分析的是“T+1”的数据，针对于时效性要求比较高的场景，则无法满足需求，例如：快速实时返回“分组+聚合计算+排序聚合指标”查询需求。因此智慧物流系统的应用场景分为以下几个部分：Spark-to-Kudu 小时/日级场景Spark-t...
- Impala优化一、Impala关键配置分配给此角色的内存软限制，由 Linux 内核强制执行。当达到此限制时，内核将只在主机面临内存压力时回收已分配给进程的页面。如果回收失败，内核可能会停止这些进程。分配给此角色的内存硬限制，由 Linux 内核强制执行。当达到此限制时，内核将会回收已分配给进程的页面。如果回收失败，内核可能会停止这些进程。Impala Daemon 服务的... Impala优化一、Impala关键配置分配给此角色的内存软限制，由 Linux 内核强制执行。当达到此限制时，内核将只在主机面临内存压力时回收已分配给进程的页面。如果回收失败，内核可能会停止这些进程。分配给此角色的内存硬限制，由 Linux 内核强制执行。当达到此限制时，内核将会回收已分配给进程的页面。如果回收失败，内核可能会停止这些进程。Impala Daemon 服务的...
- Kudu的优化一、Kudu关键配置TabletServer 在开始拒绝所有传入的写入之前可以消耗的最大内存量：memory_limit_hard_bytes=1073741824分配给 Kudu Tablet Server 块缓存的最大内存量：block_cache_capacity_mb=512二、Kudu的使用限制1、主键创建表后，... Kudu的优化一、Kudu关键配置TabletServer 在开始拒绝所有传入的写入之前可以消耗的最大内存量：memory_limit_hard_bytes=1073741824分配给 Kudu Tablet Server 块缓存的最大内存量：block_cache_capacity_mb=512二、Kudu的使用限制1、主键创建表后，...
- Kudu的读写原理一、工作模式Kudu的工作模式如下图，有些在上面的内容中已经介绍了，这里简单标注一下：每个kudu table按照hash或range分区为多个tablet；每个tablet中包含一个MemRowSet以及多个DiskRowSet；每个DiskRowSet包含BaseData以及DeltaStores；DeltaStores由多个DeltaFile和一个De... Kudu的读写原理一、工作模式Kudu的工作模式如下图，有些在上面的内容中已经介绍了，这里简单标注一下：每个kudu table按照hash或range分区为多个tablet；每个tablet中包含一个MemRowSet以及多个DiskRowSet；每个DiskRowSet包含BaseData以及DeltaStores；DeltaStores由多个DeltaFile和一个De...
- Kudu原理一、表与schemaKudu设计是面向结构化存储的，因此Kudu的表需要用户在建表时定义它的Schema信息，这些Schema信息包含：列定义（含类型）Primary Key定义（用户指定的若干个列的有序组合）数据的唯一性，依赖于用户所提供的Primary Key中的Column组合的值的唯一性。Kudu提供了Alter命令来增删列，但位于Primary Key中的列是不允许删除... Kudu原理一、表与schemaKudu设计是面向结构化存储的，因此Kudu的表需要用户在建表时定义它的Schema信息，这些Schema信息包含：列定义（含类型）Primary Key定义（用户指定的若干个列的有序组合）数据的唯一性，依赖于用户所提供的Primary Key中的Column组合的值的唯一性。Kudu提供了Alter命令来增删列，但位于Primary Key中的列是不允许删除...
- Impala映射kudu表一、登录Hue页面1、选择Impala2、登录Hue页面二、选择Impala执行引擎1、选择Impala执行引擎2、进入编写执行sql语句窗口三、执行sql语句映射Kudu表若数据库已经存在，则使用级联的方式删除：DROP DATABASE logistics cascade;编写kudu与impala表的映射关系，Sql语句如下：CREATE DA... Impala映射kudu表一、登录Hue页面1、选择Impala2、登录Hue页面二、选择Impala执行引擎1、选择Impala执行引擎2、进入编写执行sql语句窗口三、执行sql语句映射Kudu表若数据库已经存在，则使用级联的方式删除：DROP DATABASE logistics cascade;编写kudu与impala表的映射关系，Sql语句如下：CREATE DA...
- 使用Impala对kudu更改表属性操作开发人员可以通过更改表的属性来更改 Impala 与给定 Kudu 表相关的元数据。这些属性包括表名， Kudu 主地址列表，以及表是否由 Impala （内部）或外部管理。一、重命名Impala映射表ALTER TABLE PERSON RENAME TO person_temp;重命名impala表的时候，只会修改impala表的名字，不会修改ku... 使用Impala对kudu更改表属性操作开发人员可以通过更改表的属性来更改 Impala 与给定 Kudu 表相关的元数据。这些属性包括表名， Kudu 主地址列表，以及表是否由 Impala （内部）或外部管理。一、重命名Impala映射表ALTER TABLE PERSON RENAME TO person_temp;重命名impala表的时候，只会修改impala表的名字，不会修改ku...
- 使用impala创建kudu表一、impala操作kudu前的准备需要先启动hdfs、hive、kudu、impala使用impala的shell控制台执行命令impala-shell1、使用该impala-shell命令启动Impala Shell。默认情况下，impala-shell 尝试连接到localhost端口21000 上的Impala守护程序。要连接到其他主机，请使用该-i ... 使用impala创建kudu表一、impala操作kudu前的准备需要先启动hdfs、hive、kudu、impala使用impala的shell控制台执行命令impala-shell1、使用该impala-shell命令启动Impala Shell。默认情况下，impala-shell 尝试连接到localhost端口21000 上的Impala守护程序。要连接到其他主机，请使用该-i ...
- impala-shell命令参数一、impala-shell外部命令所谓的外部命令指的是不需要进入到impala-shell交互命令行当中即可执行的命令参数。impala-shell后面执行的时候可以带很多参数。你可以在启动 impala-shell 时设置，用于修改命令执行环境。impala-shell –h可以帮助我们查看帮助手册比如几个常见的：impala-shell ... impala-shell命令参数一、impala-shell外部命令所谓的外部命令指的是不需要进入到impala-shell交互命令行当中即可执行的命令参数。impala-shell后面执行的时候可以带很多参数。你可以在启动 impala-shell 时设置，用于修改命令执行环境。impala-shell –h可以帮助我们查看帮助手册比如几个常见的：impala-shell ...
上滑加载中
推荐直播
1
-
空中宣讲会 2025年华为软件精英挑战赛2025/03/10 周一 18:00-19:00
宸睿 华为云存储技术专家、ACM-ICPC WorldFinal经验 晖哥
2025华为软挑赛空中宣讲会重磅来袭！完整赛程首曝+命题天团硬核拆题+三轮幸运抽奖赢参赛助力礼包，与全国优秀高校开发者同台竞技，直通顶尖赛事起跑线！
即将直播 -
空中宣讲会 2025年华为软件精英挑战赛
2025/03/10 周一 18:00-19:00
宸睿 华为云存储技术专家、ACM-ICPC WorldFinal经验 晖哥
2025华为软挑赛空中宣讲会重磅来袭！完整赛程首曝+命题天团硬核拆题+三轮幸运抽奖赢参赛助力礼包，与全国优秀高校开发者同台竞技，直通顶尖赛事起跑线！
即将直播 -
空中宣讲会 2025年华为软件精英挑战赛
2025/03/10 周一 18:00-19:00
宸睿 华为云存储技术专家、ACM-ICPC WorldFinal经验 晖哥
2025华为软挑赛空中宣讲会重磅来袭！完整赛程首曝+命题天团硬核拆题+三轮幸运抽奖赢参赛助力礼包，与全国优秀高校开发者同台竞技，直通顶尖赛事起跑线！
即将直播
热门标签
