- GaussDB(DWS)实时数仓的数据都是存储在非易失性的存储设备上,本文从行存表的存储结构出发,帮助大家更好的了解GaussDB是怎么在物理磁盘上存储数据的。 GaussDB(DWS)实时数仓的数据都是存储在非易失性的存储设备上,本文从行存表的存储结构出发,帮助大家更好的了解GaussDB是怎么在物理磁盘上存储数据的。
- 一种典型客户场景是一些用户是数据的生产方,需要在schema中创建表并写入数据;而另一些用户是数据的消费方,读取schema中的数据做分析。使用Alter default privilege语法可以实现这种共享schema的权限管理问题。通过简单示例演示了Alter default privilege语法处理这种典型场景的细节和有效性。 一种典型客户场景是一些用户是数据的生产方,需要在schema中创建表并写入数据;而另一些用户是数据的消费方,读取schema中的数据做分析。使用Alter default privilege语法可以实现这种共享schema的权限管理问题。通过简单示例演示了Alter default privilege语法处理这种典型场景的细节和有效性。
- SSL连接:DWS支持SSL通道加密和证书认证两种方式进行客户端与服务器端的通信。可以通过服务器端是否强制使用SSL连接进行设置。开关打开,即只能通过SSL方式连接。开关关闭,即两种方式均可。默认关闭。 三权分立:为了保护用户的数据安全,DWS支持使用不同类型的用户分别控制不同权限的三权分立模式。开启后,用户划分为:系统管理员、安全管理员、审计管理员和普通用户,其中三类管理员用户权限彼此分离 SSL连接:DWS支持SSL通道加密和证书认证两种方式进行客户端与服务器端的通信。可以通过服务器端是否强制使用SSL连接进行设置。开关打开,即只能通过SSL方式连接。开关关闭,即两种方式均可。默认关闭。 三权分立:为了保护用户的数据安全,DWS支持使用不同类型的用户分别控制不同权限的三权分立模式。开启后,用户划分为:系统管理员、安全管理员、审计管理员和普通用户,其中三类管理员用户权限彼此分离
- 随着硬件系统的越来越好,数据库运行的CPU、磁盘、内存资源都日渐增大,SQL语句的串行执行由于不能充分利用资源,已经不能满足日益发展的需要。为此,GaussDB(DWS)开发了并行计算技术,在语句执行时可以充分利用硬件资源进行并行加速,提高执行的吞吐率。本文将详细介绍GaussDB(DWS)并行计算技术的原理,以及其在performance信息中的展示,帮助各位开发者朋友更好地分析并行的性能。 随着硬件系统的越来越好,数据库运行的CPU、磁盘、内存资源都日渐增大,SQL语句的串行执行由于不能充分利用资源,已经不能满足日益发展的需要。为此,GaussDB(DWS)开发了并行计算技术,在语句执行时可以充分利用硬件资源进行并行加速,提高执行的吞吐率。本文将详细介绍GaussDB(DWS)并行计算技术的原理,以及其在performance信息中的展示,帮助各位开发者朋友更好地分析并行的性能。
- 表结构设计是数据库建模的一个关键环节,表定义好坏直接决定了集群的有效容量以及业务查询性能,本文从产品架构、功能实现以及业务特征的角度阐述在GaussDB(DWS)的中表定义时需要 表结构设计是数据库建模的一个关键环节,表定义好坏直接决定了集群的有效容量以及业务查询性能,本文从产品架构、功能实现以及业务特征的角度阐述在GaussDB(DWS)的中表定义时需要
- GaussDB(DWS)的DN高可用架构为主、备、从备架构。通过各组件的主备的数据同步、倒换、重建等机制,保证数据库单实例遭遇Crash后,具备故障恢复及自愈的能力,这些过程有可能会时间花费较长,一旦同步过程中出现异常问题,其内部关键过程信息输出对于问题分析定位十分重要。因此,GaussDB(DWS)提供了丰富的系统函数、视图、工具等可以直观地对同步进度进行跟踪。 GaussDB(DWS)的DN高可用架构为主、备、从备架构。通过各组件的主备的数据同步、倒换、重建等机制,保证数据库单实例遭遇Crash后,具备故障恢复及自愈的能力,这些过程有可能会时间花费较长,一旦同步过程中出现异常问题,其内部关键过程信息输出对于问题分析定位十分重要。因此,GaussDB(DWS)提供了丰富的系统函数、视图、工具等可以直观地对同步进度进行跟踪。
- 在大数据时代,数据的完整和可靠性成为一个数仓最核心的能力之一。对于企业、政府等用户,如果因为硬件故障导致的文件损坏,或是业务操作的误删,导致了数据损坏或丢失,那么损失将是不可估量的。Roach工具是GaussDB(DWS)推出的一款主力的备份恢复工具,包含物理与逻辑备份两种主要能力,本文着重于讲解Roach逻辑备份的实现原理。 在大数据时代,数据的完整和可靠性成为一个数仓最核心的能力之一。对于企业、政府等用户,如果因为硬件故障导致的文件损坏,或是业务操作的误删,导致了数据损坏或丢失,那么损失将是不可估量的。Roach工具是GaussDB(DWS)推出的一款主力的备份恢复工具,包含物理与逻辑备份两种主要能力,本文着重于讲解Roach逻辑备份的实现原理。
- 昨天完成python依赖包的安装:(在hadoop各几点安装miniconda2),没注意到hadoop的环境情况,今天发现使用jps除了mas节点的2台云主机可以查看hadoop状态,其他stan无显示,但是可以在hbase插入数据,而且通过hive和spark可以查询。使用spark-sql --master yarn 查询数据正常,查看任务调用也正常Hbase的监控任务也正常:关闭hb... 昨天完成python依赖包的安装:(在hadoop各几点安装miniconda2),没注意到hadoop的环境情况,今天发现使用jps除了mas节点的2台云主机可以查看hadoop状态,其他stan无显示,但是可以在hbase插入数据,而且通过hive和spark可以查询。使用spark-sql --master yarn 查询数据正常,查看任务调用也正常Hbase的监控任务也正常:关闭hb...
- DWS提供了数据服务工具GDS来帮助分发待导入的用户数据及实现数据的高速导入。本节云小课通过一个导入任务帮您了解GDS导入的全过程。 DWS提供了数据服务工具GDS来帮助分发待导入的用户数据及实现数据的高速导入。本节云小课通过一个导入任务帮您了解GDS导入的全过程。
- 本文介绍了Gaussdb for DWS透明加密及基基本原理,特性介绍。 本文介绍了Gaussdb for DWS透明加密及基基本原理,特性介绍。
- 技术背景随着客户业务对数据可靠性和服务可用性要求的提高,主备架构在OLAP系统中也已被广泛使用。而分析型数据库往往数据量大,节点数多,分布式系统下发生硬件故障已成为常态。对于传统两副本系统(一主一备最大可用HA模式),单节点故障后,为了服务可用性,一般都会选择让另一个正常节点继续提供服务,在故障节点恢复前数据只有单副本运行。而由于数据量大,往往故障节点修复时间和数据重建时间都很长,此时一旦正... 技术背景随着客户业务对数据可靠性和服务可用性要求的提高,主备架构在OLAP系统中也已被广泛使用。而分析型数据库往往数据量大,节点数多,分布式系统下发生硬件故障已成为常态。对于传统两副本系统(一主一备最大可用HA模式),单节点故障后,为了服务可用性,一般都会选择让另一个正常节点继续提供服务,在故障节点恢复前数据只有单副本运行。而由于数据量大,往往故障节点修复时间和数据重建时间都很长,此时一旦正...
- 湖仓一体是数据时代的大势所趋,是新一代数据平台的演进方向。华为云DWS湖仓一体方案数据统一存储、降低存储成本;简化技术架构,增强整体架构可靠性,降低运维成本;统一元数据、数据,基于开放数据格式,多服务多组件高效共享。该方案已广泛应用于金融、电信、政府、医疗等多个行业领域,已帮助众多大型企业进行湖仓一体实践的落地,实现更高的业务价值,是构建湖仓一体方案的佳选。 湖仓一体是数据时代的大势所趋,是新一代数据平台的演进方向。华为云DWS湖仓一体方案数据统一存储、降低存储成本;简化技术架构,增强整体架构可靠性,降低运维成本;统一元数据、数据,基于开放数据格式,多服务多组件高效共享。该方案已广泛应用于金融、电信、政府、医疗等多个行业领域,已帮助众多大型企业进行湖仓一体实践的落地,实现更高的业务价值,是构建湖仓一体方案的佳选。
- SQL语言是关系型数据库(RDB)的标准语言,其作用是将使用者的意图翻译成数据库能够理解的语言来执行。人类之间进行交流时,同样的意思用不同的措辞会产生不同的效果。类似地,人类与数据库交流信息时,同样的操作用不同的SQL语句来表达,也会导致不同的效率。而有时同样的SQL语句,数据库采用不同的方式来执行,效率也会不同。那些会导致执行效率低下的SQL语句及其执行方式,我们称之为SQL中的“坏味道”。 SQL语言是关系型数据库(RDB)的标准语言,其作用是将使用者的意图翻译成数据库能够理解的语言来执行。人类之间进行交流时,同样的意思用不同的措辞会产生不同的效果。类似地,人类与数据库交流信息时,同样的操作用不同的SQL语句来表达,也会导致不同的效率。而有时同样的SQL语句,数据库采用不同的方式来执行,效率也会不同。那些会导致执行效率低下的SQL语句及其执行方式,我们称之为SQL中的“坏味道”。
- 全文检索(Text search)顾名思义,就是在给定的文档中查找指定模式(pattern)的过程。GaussDB(DWS)支持对表格中文本类型的字段及字段的组合做全文检索,找出能匹配给定模式的文本,并以用户期望的方式将匹配结果呈现出来 全文检索(Text search)顾名思义,就是在给定的文档中查找指定模式(pattern)的过程。GaussDB(DWS)支持对表格中文本类型的字段及字段的组合做全文检索,找出能匹配给定模式的文本,并以用户期望的方式将匹配结果呈现出来
- 聚集操作将查询结果按某一列或多列的值分组,值相等的为一组,是一种常见的操作。Lazy Agg查询重写优化主要针对外部查询和子查询同时包含聚集操作且子查询涉及基表的distinct值较多的场景,消除子查询的聚集操作以提升性能。本文对Lazy Agg查询重写优化和GaussDB(DWS)提供的lazyagg重写规则进行介绍。 聚集操作将查询结果按某一列或多列的值分组,值相等的为一组,是一种常见的操作。Lazy Agg查询重写优化主要针对外部查询和子查询同时包含聚集操作且子查询涉及基表的distinct值较多的场景,消除子查询的聚集操作以提升性能。本文对Lazy Agg查询重写优化和GaussDB(DWS)提供的lazyagg重写规则进行介绍。
上滑加载中
推荐直播
-
华为云 x DeepSeek:AI驱动云上应用创新
2025/02/26 周三 16:00-18:00
华为云 AI专家大咖团
在 AI 技术飞速发展之际,DeepSeek 备受关注。它凭借哪些技术与理念脱颖而出?华为云与 DeepSeek 合作,将如何重塑产品与应用模式,助力企业数字化转型?在华为开发者空间,怎样高效部署 DeepSeek,搭建专属服务器?基于华为云平台,又该如何挖掘 DeepSeek 潜力,实现智能化升级?本期直播围绕DeepSeek在云上的应用案例,与DTSE布道师们一起探讨如何利用AI 驱动云上应用创新。
回顾中
热门标签