- 实时OLAP分析需求一、背景介绍在之前的文章学习了离线数仓的构建,但是离线数仓的最大问题即:慢,数据无法实时的通过可视化页面展示出来,通常离线数仓分析的是“T+1”的数据,针对于时效性要求比较高的场景,则无法满足需求,例如:快速实时返回“分组+聚合计算+排序聚合指标”查询需求。因此智慧物流系统的应用场景分为以下几个部分:Spark-to-Kudu 小时/日级场景Spark-t... 实时OLAP分析需求一、背景介绍在之前的文章学习了离线数仓的构建,但是离线数仓的最大问题即:慢,数据无法实时的通过可视化页面展示出来,通常离线数仓分析的是“T+1”的数据,针对于时效性要求比较高的场景,则无法满足需求,例如:快速实时返回“分组+聚合计算+排序聚合指标”查询需求。因此智慧物流系统的应用场景分为以下几个部分:Spark-to-Kudu 小时/日级场景Spark-t...
- Impala优化一、Impala关键配置分配给此角色的内存软限制,由 Linux 内核强制执行。当达到此限制时,内核将只在主机面临内存压力时回收已分配给进程的页面。如果回收失败,内核可能会停止这些进程。分配给此角色的内存硬限制,由 Linux 内核强制执行。当达到此限制时,内核将会回收已分配给进程的页面。如果回收失败,内核可能会停止这些进程。Impala Daemon 服务的... Impala优化一、Impala关键配置分配给此角色的内存软限制,由 Linux 内核强制执行。当达到此限制时,内核将只在主机面临内存压力时回收已分配给进程的页面。如果回收失败,内核可能会停止这些进程。分配给此角色的内存硬限制,由 Linux 内核强制执行。当达到此限制时,内核将会回收已分配给进程的页面。如果回收失败,内核可能会停止这些进程。Impala Daemon 服务的...
- Kudu的优化一、Kudu关键配置TabletServer 在开始拒绝所有传入的写入之前可以消耗的最大内存量:memory_limit_hard_bytes=1073741824分配给 Kudu Tablet Server 块缓存的最大内存量:block_cache_capacity_mb=512二、Kudu的使用限制1、主键创建表后,... Kudu的优化一、Kudu关键配置TabletServer 在开始拒绝所有传入的写入之前可以消耗的最大内存量:memory_limit_hard_bytes=1073741824分配给 Kudu Tablet Server 块缓存的最大内存量:block_cache_capacity_mb=512二、Kudu的使用限制1、主键创建表后,...
- Kudu的读写原理一、工作模式Kudu的工作模式如下图,有些在上面的内容中已经介绍了,这里简单标注一下:每个kudu table按照hash或range分区为多个tablet;每个tablet中包含一个MemRowSet以及多个DiskRowSet;每个DiskRowSet包含BaseData以及DeltaStores;DeltaStores由多个DeltaFile和一个De... Kudu的读写原理一、工作模式Kudu的工作模式如下图,有些在上面的内容中已经介绍了,这里简单标注一下:每个kudu table按照hash或range分区为多个tablet;每个tablet中包含一个MemRowSet以及多个DiskRowSet;每个DiskRowSet包含BaseData以及DeltaStores;DeltaStores由多个DeltaFile和一个De...
- Kudu原理一、表与schemaKudu设计是面向结构化存储的,因此Kudu的表需要用户在建表时定义它的Schema信息,这些Schema信息包含:列定义(含类型)Primary Key定义(用户指定的若干个列的有序组合)数据的唯一性,依赖于用户所提供的Primary Key中的Column组合的值的唯一性。Kudu提供了Alter命令来增删列,但位于Primary Key中的列是不允许删除... Kudu原理一、表与schemaKudu设计是面向结构化存储的,因此Kudu的表需要用户在建表时定义它的Schema信息,这些Schema信息包含:列定义(含类型)Primary Key定义(用户指定的若干个列的有序组合)数据的唯一性,依赖于用户所提供的Primary Key中的Column组合的值的唯一性。Kudu提供了Alter命令来增删列,但位于Primary Key中的列是不允许删除...
- Impala映射kudu表一、登录Hue页面1、选择Impala2、登录Hue页面二、选择Impala执行引擎1、选择Impala执行引擎2、进入编写执行sql语句窗口三、执行sql语句映射Kudu表若数据库已经存在,则使用级联的方式删除:DROP DATABASE logistics cascade;编写kudu与impala表的映射关系,Sql语句如下:CREATE DA... Impala映射kudu表一、登录Hue页面1、选择Impala2、登录Hue页面二、选择Impala执行引擎1、选择Impala执行引擎2、进入编写执行sql语句窗口三、执行sql语句映射Kudu表若数据库已经存在,则使用级联的方式删除:DROP DATABASE logistics cascade;编写kudu与impala表的映射关系,Sql语句如下:CREATE DA...
- 使用Impala对kudu更改表属性操作开发人员可以通过更改表的属性来更改 Impala 与给定 Kudu 表相关的元数据。这些属性包括表名, Kudu 主地址列表,以及表是否由 Impala (内部)或外部管理。一、重命名Impala映射表ALTER TABLE PERSON RENAME TO person_temp;重命名impala表的时候,只会修改impala表的名字,不会修改ku... 使用Impala对kudu更改表属性操作开发人员可以通过更改表的属性来更改 Impala 与给定 Kudu 表相关的元数据。这些属性包括表名, Kudu 主地址列表,以及表是否由 Impala (内部)或外部管理。一、重命名Impala映射表ALTER TABLE PERSON RENAME TO person_temp;重命名impala表的时候,只会修改impala表的名字,不会修改ku...
- 使用impala创建kudu表一、impala操作kudu前的准备需要先启动hdfs、hive、kudu、impala使用impala的shell控制台执行命令impala-shell1、使用该impala-shell命令启动Impala Shell。默认情况下,impala-shell 尝试连接到localhost端口21000 上的Impala守护程序。要连接到其他主机,请使用该-i ... 使用impala创建kudu表一、impala操作kudu前的准备需要先启动hdfs、hive、kudu、impala使用impala的shell控制台执行命令impala-shell1、使用该impala-shell命令启动Impala Shell。默认情况下,impala-shell 尝试连接到localhost端口21000 上的Impala守护程序。要连接到其他主机,请使用该-i ...
- impala-shell命令参数一、impala-shell外部命令所谓的外部命令指的是不需要进入到impala-shell交互命令行当中即可执行的命令参数。impala-shell后面执行的时候可以带很多参数。你可以在启动 impala-shell 时设置,用于修改命令执行环境。impala-shell –h可以帮助我们查看帮助手册比如几个常见的:impala-shell ... impala-shell命令参数一、impala-shell外部命令所谓的外部命令指的是不需要进入到impala-shell交互命令行当中即可执行的命令参数。impala-shell后面执行的时候可以带很多参数。你可以在启动 impala-shell 时设置,用于修改命令执行环境。impala-shell –h可以帮助我们查看帮助手册比如几个常见的:impala-shell ...
- 在这个灵鲲数智云脑里,我们构建了一个以智能算法为核心的系统,来增强和辅助决策的能力。我们主要从三个方面构建应用场景,分别是:供应网络层面要能实现配置的最优解,实现网络在遇到风险的情况下能够自愈、自优和自适应。供需网络层面要实现供需配置的最优解,实现计划的双向模拟和双向牵引,以及整个资源的供需管理和成本的最优。面向整个供应链全局要实现重大事件的及时有效感知、分析、评估和决策,最终,实现面向客户... 在这个灵鲲数智云脑里,我们构建了一个以智能算法为核心的系统,来增强和辅助决策的能力。我们主要从三个方面构建应用场景,分别是:供应网络层面要能实现配置的最优解,实现网络在遇到风险的情况下能够自愈、自优和自适应。供需网络层面要实现供需配置的最优解,实现计划的双向模拟和双向牵引,以及整个资源的供需管理和成本的最优。面向整个供应链全局要实现重大事件的及时有效感知、分析、评估和决策,最终,实现面向客户...
- 工作流工作流概念:工作的一个流程,事物发展的一个业务过程流程:请假流程:员工申请—部门经理—总经理—人事存档传统方式下:请假条的传递来实现无纸化办公:线上申请—线上审批—一条请假记录工作流(Workflow),就是通过计算机对业务流程自动化执行管理。它主要解决的是“使在多个参与者之间按照某种预定义的规则自动进行传递文档、信息或任务的过程,从而实现某个预期的业务目标,或者促使此目标的实现”。... 工作流工作流概念:工作的一个流程,事物发展的一个业务过程流程:请假流程:员工申请—部门经理—总经理—人事存档传统方式下:请假条的传递来实现无纸化办公:线上申请—线上审批—一条请假记录工作流(Workflow),就是通过计算机对业务流程自动化执行管理。它主要解决的是“使在多个参与者之间按照某种预定义的规则自动进行传递文档、信息或任务的过程,从而实现某个预期的业务目标,或者促使此目标的实现”。...
- 05-[掌握]-主题及指标开发之重构公共接口【编程】任务:前面已经定义好公共接口方法声明,实现基本方法代码。package cn.itcast.logistics.offlineimport cn.itcast.logistics.common.{Configuration, KuduTools, SparkUtils}import org.apache.spark.SparkConfim... 05-[掌握]-主题及指标开发之重构公共接口【编程】任务:前面已经定义好公共接口方法声明,实现基本方法代码。package cn.itcast.logistics.offlineimport cn.itcast.logistics.common.{Configuration, KuduTools, SparkUtils}import org.apache.spark.SparkConfim...
- 09-[掌握]-即席查询之Impala 服务启动及CLI使用物流项目中,Impala分析引擎使用CM进行安装(impala就是Cloudera开源框架),注意事项:1)、安装目录:/opt/cloudera/parcels/CDH/lib/impala2)、配置文件:/etc/impala/conf/3)、日志文件:/val/log启动Imapla服务,按照如下步骤:step1、启动HDF... 09-[掌握]-即席查询之Impala 服务启动及CLI使用物流项目中,Impala分析引擎使用CM进行安装(impala就是Cloudera开源框架),注意事项:1)、安装目录:/opt/cloudera/parcels/CDH/lib/impala2)、配置文件:/etc/impala/conf/3)、日志文件:/val/log启动Imapla服务,按照如下步骤:step1、启动HDF...
- 05-[掌握]-实时ETL开发之Bean转换POJO【编程测试】任务:==首先将物流系统和CRM系统中其他表的数据过滤出来,提取数据字段值,封装到POJO对象,保存外部存储。==package cn.itcast.logistics.etl.realtimeimport cn.itcast.logistics.common.BeanImplicits._import cn.itcast.l... 05-[掌握]-实时ETL开发之Bean转换POJO【编程测试】任务:==首先将物流系统和CRM系统中其他表的数据过滤出来,提取数据字段值,封装到POJO对象,保存外部存储。==package cn.itcast.logistics.etl.realtimeimport cn.itcast.logistics.common.BeanImplicits._import cn.itcast.l...
- 11-[掌握]-Java 操作 Kudu之创建表(范围分区)为了提供可扩展性,Kudu 表被划分为称为 tablets 的单元,并分布在许多 tablet servers 上。1)、哈希分区:Hash Partitioning哈希分区通过哈希值,将行分配到不同的 buckets ( 存储桶 )中;哈希分区是一种有效的策略,当不需要对表进行有序访问时,哈希分区对于在 tablet 之间随机散... 11-[掌握]-Java 操作 Kudu之创建表(范围分区)为了提供可扩展性,Kudu 表被划分为称为 tablets 的单元,并分布在许多 tablet servers 上。1)、哈希分区:Hash Partitioning哈希分区通过哈希值,将行分配到不同的 buckets ( 存储桶 )中;哈希分区是一种有效的策略,当不需要对表进行有序访问时,哈希分区对于在 tablet 之间随机散...
上滑加载中
推荐直播
-
华为云IoT开源专家实践分享:开源让物联网平台更开放、易用
2024/05/22 周三 16:30-18:00
张俭 华为云IoT DTSE技术布道师
开源,意味着开放、共享、互助、共赢。作为万物上云及各行业数字化的物联网底座,华为云IoT积极拥抱开源,借助行业开源的最佳实践,构建可靠、易用的物联网平台,并通过开放南北向SDK,助力开发者快速构建物联网应用。本期直播,华为云IoT开源专家、物联网平台资深“程序猿”张俭,带你了解华为云IoT的开源生态,并手把手教你玩转开源社区!
去报名 -
华为云开发者日·广州站
2024/05/23 周四 14:30-17:30
华为云专家团
华为云开发者日HDC.Cloud Day是面向全球开发者的旗舰活动,汇聚来自千行百业、高校及科研院所的开发人员。致力于打造开发者专属的技术盛宴,全方位服务与赋能开发者围绕华为云生态“知、学、用、创、商”的成长路径。通过前沿的技术分享、场景化的动手体验、优秀的应用创新推介,为开发者提供沉浸式学习与交流平台。开放创新,与开发者共创、共享、共赢未来。
去报名
热门标签