- ClickHouse的VersionedCollapsingMergeTree深入了解该引擎继承自 MergeTree 并将折叠行的逻辑添加到合并数据部分的算法中，这个引擎:允许快速写入不断变化的对象状态删除后台中的旧对象状态，这显著降低了存储体积VersionedCollapsingMergeTree 用于相同的目的折叠树 ，但使用不同的折叠算法，允许以多个线程的任何顺序插入数据。 特别... ClickHouse的VersionedCollapsingMergeTree深入了解该引擎继承自 MergeTree 并将折叠行的逻辑添加到合并数据部分的算法中，这个引擎:允许快速写入不断变化的对象状态删除后台中的旧对象状态，这显著降低了存储体积VersionedCollapsingMergeTree 用于相同的目的折叠树 ，但使用不同的折叠算法，允许以多个线程的任何顺序插入数据。 特别...
- ClickHouse的CollapsingMergeTree深入了解在ClickHouse中不支持对数据update和delete操作（不能使用标准的更新和删除语法操作CK），但在增量计算场景下，状态更新是一个常见的现象，此时update操作似乎更符合这种需求。ClickHouse提供了一个CollapsingMergeTree表引擎，它继承于MergeTree引擎，是通过一种变通的方式来... ClickHouse的CollapsingMergeTree深入了解在ClickHouse中不支持对数据update和delete操作（不能使用标准的更新和删除语法操作CK），但在增量计算场景下，状态更新是一个常见的现象，此时update操作似乎更符合这种需求。ClickHouse提供了一个CollapsingMergeTree表引擎，它继承于MergeTree引擎，是通过一种变通的方式来...
- ClickHouse的SummingMergeTree深入了解ClickHouse通过SummingMergeTree来支持对主键列进行预聚合。在后台合并时，会将主键相同的多行进行sum求和，然后使用一行数据取而代之，从而大幅度降低存储空间占用，提升聚合计算性能。ClickHouse只在后台Compaction时才会进行数据的预先聚合，而compaction的执行时机无法预测，所以可能会存... ClickHouse的SummingMergeTree深入了解ClickHouse通过SummingMergeTree来支持对主键列进行预聚合。在后台合并时，会将主键相同的多行进行sum求和，然后使用一行数据取而代之，从而大幅度降低存储空间占用，提升聚合计算性能。ClickHouse只在后台Compaction时才会进行数据的预先聚合，而compaction的执行时机无法预测，所以可能会存...
- ClickHouse快速入门一、安装ClickHouse（单机）1、安装yum-utils工具包yum install yum-utils2、添加ClickHouse的yum源yum-config-manager --add-repo https://repo.yandex.ru/clickhouse/rpm/stable/x86_643、安装ClickHouse的服务端和客户... ClickHouse快速入门一、安装ClickHouse（单机）1、安装yum-utils工具包yum install yum-utils2、添加ClickHouse的yum源yum-config-manager --add-repo https://repo.yandex.ru/clickhouse/rpm/stable/x86_643、安装ClickHouse的服务端和客户...
- ClickHouse的使用案例一、电信行业用于存储数据和统计数据使用我国的中国电信G网数据分析应用采用ClickHouse作为数据存储引擎，主要存储网络基站设备数据、监控设备和骨干网等数据，这些数据日的增量500亿条左右，约700GB。并进行相应的分析处理，最终提供BI应用、数据挖掘等系统使用。二、新浪微博用于用户行为数据记录和分析工作新浪微博APP监控系统采用ClickHouse作为数据存... ClickHouse的使用案例一、电信行业用于存储数据和统计数据使用我国的中国电信G网数据分析应用采用ClickHouse作为数据存储引擎，主要存储网络基站设备数据、监控设备和骨干网等数据，这些数据日的增量500亿条左右，约700GB。并进行相应的分析处理，最终提供BI应用、数据挖掘等系统使用。二、新浪微博用于用户行为数据记录和分析工作新浪微博APP监控系统采用ClickHouse作为数据存...
- 实时OLAP分析需求一、背景介绍在之前的文章学习了离线数仓的构建，但是离线数仓的最大问题即：慢，数据无法实时的通过可视化页面展示出来，通常离线数仓分析的是“T+1”的数据，针对于时效性要求比较高的场景，则无法满足需求，例如：快速实时返回“分组+聚合计算+排序聚合指标”查询需求。因此智慧物流系统的应用场景分为以下几个部分：Spark-to-Kudu 小时/日级场景Spark-t... 实时OLAP分析需求一、背景介绍在之前的文章学习了离线数仓的构建，但是离线数仓的最大问题即：慢，数据无法实时的通过可视化页面展示出来，通常离线数仓分析的是“T+1”的数据，针对于时效性要求比较高的场景，则无法满足需求，例如：快速实时返回“分组+聚合计算+排序聚合指标”查询需求。因此智慧物流系统的应用场景分为以下几个部分：Spark-to-Kudu 小时/日级场景Spark-t...
- Impala优化一、Impala关键配置分配给此角色的内存软限制，由 Linux 内核强制执行。当达到此限制时，内核将只在主机面临内存压力时回收已分配给进程的页面。如果回收失败，内核可能会停止这些进程。分配给此角色的内存硬限制，由 Linux 内核强制执行。当达到此限制时，内核将会回收已分配给进程的页面。如果回收失败，内核可能会停止这些进程。Impala Daemon 服务的... Impala优化一、Impala关键配置分配给此角色的内存软限制，由 Linux 内核强制执行。当达到此限制时，内核将只在主机面临内存压力时回收已分配给进程的页面。如果回收失败，内核可能会停止这些进程。分配给此角色的内存硬限制，由 Linux 内核强制执行。当达到此限制时，内核将会回收已分配给进程的页面。如果回收失败，内核可能会停止这些进程。Impala Daemon 服务的...
- Kudu的优化一、Kudu关键配置TabletServer 在开始拒绝所有传入的写入之前可以消耗的最大内存量：memory_limit_hard_bytes=1073741824分配给 Kudu Tablet Server 块缓存的最大内存量：block_cache_capacity_mb=512二、Kudu的使用限制1、主键创建表后，... Kudu的优化一、Kudu关键配置TabletServer 在开始拒绝所有传入的写入之前可以消耗的最大内存量：memory_limit_hard_bytes=1073741824分配给 Kudu Tablet Server 块缓存的最大内存量：block_cache_capacity_mb=512二、Kudu的使用限制1、主键创建表后，...
- Kudu的读写原理一、工作模式Kudu的工作模式如下图，有些在上面的内容中已经介绍了，这里简单标注一下：每个kudu table按照hash或range分区为多个tablet；每个tablet中包含一个MemRowSet以及多个DiskRowSet；每个DiskRowSet包含BaseData以及DeltaStores；DeltaStores由多个DeltaFile和一个De... Kudu的读写原理一、工作模式Kudu的工作模式如下图，有些在上面的内容中已经介绍了，这里简单标注一下：每个kudu table按照hash或range分区为多个tablet；每个tablet中包含一个MemRowSet以及多个DiskRowSet；每个DiskRowSet包含BaseData以及DeltaStores；DeltaStores由多个DeltaFile和一个De...
- Kudu原理一、表与schemaKudu设计是面向结构化存储的，因此Kudu的表需要用户在建表时定义它的Schema信息，这些Schema信息包含：列定义（含类型）Primary Key定义（用户指定的若干个列的有序组合）数据的唯一性，依赖于用户所提供的Primary Key中的Column组合的值的唯一性。Kudu提供了Alter命令来增删列，但位于Primary Key中的列是不允许删除... Kudu原理一、表与schemaKudu设计是面向结构化存储的，因此Kudu的表需要用户在建表时定义它的Schema信息，这些Schema信息包含：列定义（含类型）Primary Key定义（用户指定的若干个列的有序组合）数据的唯一性，依赖于用户所提供的Primary Key中的Column组合的值的唯一性。Kudu提供了Alter命令来增删列，但位于Primary Key中的列是不允许删除...
- Impala映射kudu表一、登录Hue页面1、选择Impala2、登录Hue页面二、选择Impala执行引擎1、选择Impala执行引擎2、进入编写执行sql语句窗口三、执行sql语句映射Kudu表若数据库已经存在，则使用级联的方式删除：DROP DATABASE logistics cascade;编写kudu与impala表的映射关系，Sql语句如下：CREATE DA... Impala映射kudu表一、登录Hue页面1、选择Impala2、登录Hue页面二、选择Impala执行引擎1、选择Impala执行引擎2、进入编写执行sql语句窗口三、执行sql语句映射Kudu表若数据库已经存在，则使用级联的方式删除：DROP DATABASE logistics cascade;编写kudu与impala表的映射关系，Sql语句如下：CREATE DA...
- 使用Impala对kudu更改表属性操作开发人员可以通过更改表的属性来更改 Impala 与给定 Kudu 表相关的元数据。这些属性包括表名， Kudu 主地址列表，以及表是否由 Impala （内部）或外部管理。一、重命名Impala映射表ALTER TABLE PERSON RENAME TO person_temp;重命名impala表的时候，只会修改impala表的名字，不会修改ku... 使用Impala对kudu更改表属性操作开发人员可以通过更改表的属性来更改 Impala 与给定 Kudu 表相关的元数据。这些属性包括表名， Kudu 主地址列表，以及表是否由 Impala （内部）或外部管理。一、重命名Impala映射表ALTER TABLE PERSON RENAME TO person_temp;重命名impala表的时候，只会修改impala表的名字，不会修改ku...
- 使用impala创建kudu表一、impala操作kudu前的准备需要先启动hdfs、hive、kudu、impala使用impala的shell控制台执行命令impala-shell1、使用该impala-shell命令启动Impala Shell。默认情况下，impala-shell 尝试连接到localhost端口21000 上的Impala守护程序。要连接到其他主机，请使用该-i ... 使用impala创建kudu表一、impala操作kudu前的准备需要先启动hdfs、hive、kudu、impala使用impala的shell控制台执行命令impala-shell1、使用该impala-shell命令启动Impala Shell。默认情况下，impala-shell 尝试连接到localhost端口21000 上的Impala守护程序。要连接到其他主机，请使用该-i ...
- impala-shell命令参数一、impala-shell外部命令所谓的外部命令指的是不需要进入到impala-shell交互命令行当中即可执行的命令参数。impala-shell后面执行的时候可以带很多参数。你可以在启动 impala-shell 时设置，用于修改命令执行环境。impala-shell –h可以帮助我们查看帮助手册比如几个常见的：impala-shell ... impala-shell命令参数一、impala-shell外部命令所谓的外部命令指的是不需要进入到impala-shell交互命令行当中即可执行的命令参数。impala-shell后面执行的时候可以带很多参数。你可以在启动 impala-shell 时设置，用于修改命令执行环境。impala-shell –h可以帮助我们查看帮助手册比如几个常见的：impala-shell ...
- 在这个灵鲲数智云脑里，我们构建了一个以智能算法为核心的系统，来增强和辅助决策的能力。我们主要从三个方面构建应用场景，分别是：供应网络层面要能实现配置的最优解，实现网络在遇到风险的情况下能够自愈、自优和自适应。供需网络层面要实现供需配置的最优解，实现计划的双向模拟和双向牵引，以及整个资源的供需管理和成本的最优。面向整个供应链全局要实现重大事件的及时有效感知、分析、评估和决策，最终，实现面向客户... 在这个灵鲲数智云脑里，我们构建了一个以智能算法为核心的系统，来增强和辅助决策的能力。我们主要从三个方面构建应用场景，分别是：供应网络层面要能实现配置的最优解，实现网络在遇到风险的情况下能够自愈、自优和自适应。供需网络层面要实现供需配置的最优解，实现计划的双向模拟和双向牵引，以及整个资源的供需管理和成本的最优。面向整个供应链全局要实现重大事件的及时有效感知、分析、评估和决策，最终，实现面向客户...
上滑加载中
推荐直播
-
OpenHarmony应用开发之网络数据请求与数据解析2025/01/16 周四 19:00-20:30
华为开发者布道师、南京师范大学泰州学院副教授，硕士研究生导师，开放原子教育银牌认证讲师
科技浪潮中，鸿蒙生态强势崛起，OpenHarmony开启智能终端无限可能。当下，其原生应用开发适配潜力巨大，终端设备已广泛融入生活各场景，从家居到办公、穿戴至车载。 现在，机会敲门！我们的直播聚焦OpenHarmony关键的网络数据请求与解析，抛开晦涩理论，用真实案例带你掌握数据访问接口，轻松应对复杂网络请求、精准解析Json与Xml数据。参与直播，为开发鸿蒙App夯实基础，抢占科技新高地，别错过！
回顾中 -
Ascend C高层API设计原理与实现系列2025/01/17 周五 15:30-17:00
Ascend C 技术专家
以LayerNorm算子开发为例，讲解开箱即用的Ascend C高层API
回顾中
热门标签