- 开发者
- Gauss AP
#Gauss AP#
- 随着数据的持续增长,数据存储的高性价比是云上数据仓库的核心竞争力之一,GaussDB(DWS)目前支持特性冷热数据管理。 随着数据的持续增长,数据存储的高性价比是云上数据仓库的核心竞争力之一,GaussDB(DWS)目前支持特性冷热数据管理。
- Stream算子作为SQL join操作时频繁发生的执行算子,负责CN节点GATHER数据,DN节点REDISTRIBUTE和BROACAST数据。大集群高并发场景下,Stream算子过多可能会导致通信的性能瓶颈,引起性能劣化(2000个stream同时启动,进程初始化耗时从ms级劣化到s级),因此需要尽可能减少Stream算子。但是在某些现场环境下,存在数据倾斜、join查询不包含必要分布... Stream算子作为SQL join操作时频繁发生的执行算子,负责CN节点GATHER数据,DN节点REDISTRIBUTE和BROACAST数据。大集群高并发场景下,Stream算子过多可能会导致通信的性能瓶颈,引起性能劣化(2000个stream同时启动,进程初始化耗时从ms级劣化到s级),因此需要尽可能减少Stream算子。但是在某些现场环境下,存在数据倾斜、join查询不包含必要分布...
- 定时任务在数据库运维的很多场景下,是一个十分重要的工具,例如用户希望周期性地执行某个运维操作,或者为了不影响白天的正常业务,希望将某个运维操作放到深夜自动执行。针对这些场景,GaussDB(DWS) 内置了定时任务功能。用户创建的定时任务能够周期性地自动触发,从而减少了用户的工作量。 如何使用?GaussDB(DWS) 中对定时任务的各种操作,被封装成了函数,放在 DBMS_JOB 高级包中... 定时任务在数据库运维的很多场景下,是一个十分重要的工具,例如用户希望周期性地执行某个运维操作,或者为了不影响白天的正常业务,希望将某个运维操作放到深夜自动执行。针对这些场景,GaussDB(DWS) 内置了定时任务功能。用户创建的定时任务能够周期性地自动触发,从而减少了用户的工作量。 如何使用?GaussDB(DWS) 中对定时任务的各种操作,被封装成了函数,放在 DBMS_JOB 高级包中...
- 1、概述 GDS是DWS的并行加载工具。原理是通过gds与dn建立连接、发送数据到dn端,然后dn端再通过hash算法对数据进行redistribute,从而实现数据入库,核心思想是充分利用所有节点的计算能力和I/O能力,以提升性能。GaussDB(DWS)的数据并行导入实现了对指定格式(支持CSV/TEXT格式)的外部数据高速、并行入库。所谓高速、并行入库是和传统的使用INSERT语句... 1、概述 GDS是DWS的并行加载工具。原理是通过gds与dn建立连接、发送数据到dn端,然后dn端再通过hash算法对数据进行redistribute,从而实现数据入库,核心思想是充分利用所有节点的计算能力和I/O能力,以提升性能。GaussDB(DWS)的数据并行导入实现了对指定格式(支持CSV/TEXT格式)的外部数据高速、并行入库。所谓高速、并行入库是和传统的使用INSERT语句...
- GaussDB(DWS) 的负荷诊断报告(Workload Diagnosis Report,以下简称WDR)功能,可以提供指定时间段内的性能数据,以html网页报告的形式呈现给用户。通过分析该报告,能够帮助用户发现异常、诊断问题、优化性能等,其内容丰富直观,是数据库调优的利器。本文对WDR的原理和使用方法进行简要介绍。通过本文,读者可知晓什么是WDR,如何创建性能数据快照生成报告。 GaussDB(DWS) 的负荷诊断报告(Workload Diagnosis Report,以下简称WDR)功能,可以提供指定时间段内的性能数据,以html网页报告的形式呈现给用户。通过分析该报告,能够帮助用户发现异常、诊断问题、优化性能等,其内容丰富直观,是数据库调优的利器。本文对WDR的原理和使用方法进行简要介绍。通过本文,读者可知晓什么是WDR,如何创建性能数据快照生成报告。
- 一、什么是分区表分区表是将数据基于范围映射到每一个分区,范围在是由创建时指定的分区键决定的,通常分区键采用时间、日期等。同时普通表无法转换为分区表,只能通过创建新的分区表将普通表中的数据导入到分区表中。所以需要根据业务提前规划是否使用分区表。二、分区表的优势分区表相比较普通表的优势十分显著,主要包括一些几个方面。改善查询性能:对分区对象的查询可以仅搜索自己关心的分区,很大程度上提高检索效率。 一、什么是分区表分区表是将数据基于范围映射到每一个分区,范围在是由创建时指定的分区键决定的,通常分区键采用时间、日期等。同时普通表无法转换为分区表,只能通过创建新的分区表将普通表中的数据导入到分区表中。所以需要根据业务提前规划是否使用分区表。二、分区表的优势分区表相比较普通表的优势十分显著,主要包括一些几个方面。改善查询性能:对分区对象的查询可以仅搜索自己关心的分区,很大程度上提高检索效率。
- 数值类型在数据库的计算中使用量极大,考虑到存储占用、精度要求等原因,数值类型会分为多种形式,这里有必要对数据类型进行总结。 数值类型在数据库的计算中使用量极大,考虑到存储占用、精度要求等原因,数值类型会分为多种形式,这里有必要对数据类型进行总结。
- COPY命令可以实现表和文件之间拷贝数据。COPY FROM从一个文件拷贝数据到一个表,COPY TO把一个表的数据拷贝到一个文件。有时我们需要完成从数据库A(UTF8编码)至数据库B(GBK编码)的数据导入,导入数据时会出现字符集编码不匹配的错误,导致数据无法导入,这时我们可以通过COPY来完成。 COPY命令可以实现表和文件之间拷贝数据。COPY FROM从一个文件拷贝数据到一个表,COPY TO把一个表的数据拷贝到一个文件。有时我们需要完成从数据库A(UTF8编码)至数据库B(GBK编码)的数据导入,导入数据时会出现字符集编码不匹配的错误,导致数据无法导入,这时我们可以通过COPY来完成。
- 我们在support上可以找到标准的扩容指导书,用于指导我们扩容重分步,解决我们数据节点数据盘存储容量瓶颈的问题。这是常见的标准扩容重分步操作指导。经过提RFC申请,我们常常会得到一个时间窗,这个时间窗是要进行添加主机和mppdb的重分步,过程中是要求离线的,如果评估出来的时间窗是24+小时,就得对应停业务这么长时间,有时甚至额外加上环境问题导致的故障处理时间对于可以追批的局点可以接受,但是... 我们在support上可以找到标准的扩容指导书,用于指导我们扩容重分步,解决我们数据节点数据盘存储容量瓶颈的问题。这是常见的标准扩容重分步操作指导。经过提RFC申请,我们常常会得到一个时间窗,这个时间窗是要进行添加主机和mppdb的重分步,过程中是要求离线的,如果评估出来的时间窗是24+小时,就得对应停业务这么长时间,有时甚至额外加上环境问题导致的故障处理时间对于可以追批的局点可以接受,但是...
- 背景介绍• 随着业务的发展,RDS的负载在逐渐增长,同时还会有新的RDS到DWS的表级同步链路需求• 随着链路数量的增加,RDS上的资源在数据同步上消耗越来越大• 为了提高系统的可靠性,建议采用增加中间库方案来优化数据复制链路方案一:通过主库实现表级同步方案解释:• 表级同步的全量同步和增量同步都是从RDS生产库上获取数据• 同步的全量阶段,对源端RDS生产库上有一定压力,可在业务低峰期实施... 背景介绍• 随着业务的发展,RDS的负载在逐渐增长,同时还会有新的RDS到DWS的表级同步链路需求• 随着链路数量的增加,RDS上的资源在数据同步上消耗越来越大• 为了提高系统的可靠性,建议采用增加中间库方案来优化数据复制链路方案一:通过主库实现表级同步方案解释:• 表级同步的全量同步和增量同步都是从RDS生产库上获取数据• 同步的全量阶段,对源端RDS生产库上有一定压力,可在业务低峰期实施...
- dws集群创建失败,在RdsCreateInstanceTask任务处失败,同时日志中报BMS.3005 No IP addresses available on network xxxxx dws集群创建失败,在RdsCreateInstanceTask任务处失败,同时日志中报BMS.3005 No IP addresses available on network xxxxx
- GaussDB(DWS)扩容重分布是集群扩容中最为关键的步骤,本文首先简单介绍GaussDB(DWS)的扩容原理,之后,针对调度模式扩容重分布进行介绍。 GaussDB(DWS)扩容重分布是集群扩容中最为关键的步骤,本文首先简单介绍GaussDB(DWS)的扩容原理,之后,针对调度模式扩容重分布进行介绍。
- GaussDB(DWS) 权限管理总结 GaussDB(DWS) 使用默认权限机制,数据库对象创建后,进行对象创建的用户就是该对象的所有者。集群安装后的默认情况下,未开启三权分立,数据库系统管理员具有与对象所有者相同的权限。也就是说对象创建后,默认只有对象所有者或者系统管理员可以查询、修改和销毁对象,以及通过GRANT将对象的权限授予其他用户。为使其他用户能够使用对象,必须向用户或包含该用户... GaussDB(DWS) 权限管理总结 GaussDB(DWS) 使用默认权限机制,数据库对象创建后,进行对象创建的用户就是该对象的所有者。集群安装后的默认情况下,未开启三权分立,数据库系统管理员具有与对象所有者相同的权限。也就是说对象创建后,默认只有对象所有者或者系统管理员可以查询、修改和销毁对象,以及通过GRANT将对象的权限授予其他用户。为使其他用户能够使用对象,必须向用户或包含该用户...
- 语句等锁超时排查解决方法 语句等锁超时排查解决方法
- 字符类型是数据库中使用频率最高的数据类型之一,所以我们有必要深入了解各类型间的差异,以便在不同的场景选用合适的字符类型。 字符类型是数据库中使用频率最高的数据类型之一,所以我们有必要深入了解各类型间的差异,以便在不同的场景选用合适的字符类型。
上滑加载中
推荐直播
-
GaussDB管理平台TPOPS,DBA高效运维的一站式解决方案
2024/12/24 周二 16:30-18:00
Leo 华为云数据库DTSE技术布道师
数据库的复杂运维,是否让你感到头疼不已?今天,华为云GaussDB管理平台将彻底来改观!本期直播,我们将深入探索GaussDB管理平台的TPOPS功能,带你感受一键式部署安装的便捷,和智能化运维管理的高效,让复杂的运维、管理变得简单,让简单变得可靠。
回顾中 -
走进数据库:数据库基础知识精讲
2024/12/27 周五 16:00-17:30
Steven 华为云学堂技术讲师
数据管理是数据库的核心任务,本期直播将带领大家一起走进数据库,了解期发展趋势、基础模型、架构演进及相关的技术特点。同时还会介绍数据库对象和相关概念,帮助开发者对数据库使用和实践夯实基础。
去报名
热门标签