- 摘要数据仓库,往往意味着海量的数据,超大的集群,就像一个超大的金刚。一旦数据仓库搭建完成,集群迁移、集群规模扩展、集群架构调整需要花费很大的代价,对上层应用业务的影响周期也比较长。DWS提供了集群resize的功能。支持集群规模的scale out,也支持硬件规格的scale up,同时支持集群拓扑结构的重组。就如同使数仓这个金刚可以变形了。那让我们一起来看看他是如何变形的吧!背景介绍先简单... 摘要数据仓库,往往意味着海量的数据,超大的集群,就像一个超大的金刚。一旦数据仓库搭建完成,集群迁移、集群规模扩展、集群架构调整需要花费很大的代价,对上层应用业务的影响周期也比较长。DWS提供了集群resize的功能。支持集群规模的scale out,也支持硬件规格的scale up,同时支持集群拓扑结构的重组。就如同使数仓这个金刚可以变形了。那让我们一起来看看他是如何变形的吧!背景介绍先简单...
- 介绍了数据重分布的总体流程 介绍了数据重分布的总体流程
- 数据导入导出之copy使用方式,【数仓实践】GaussDB(DWS)导入导出之copy使用详解 数据导入导出之copy使用方式,【数仓实践】GaussDB(DWS)导入导出之copy使用详解
- 实时TopSQL,历史TopSQL 实时TopSQL,历史TopSQL
- VACUUM回收表或B-Tree索引中已经删除的行所占据的存储空间。 ANAL用于收集与数据库中普通表内容相关的统计信息,统计结果存储在系统表PG_STATISTIC下。执行计划生成器会使用这些统计数据,以确定最有效的执行计划。 数据倾斜会造成查询表性能下降。 VACUUM回收表或B-Tree索引中已经删除的行所占据的存储空间。 ANAL用于收集与数据库中普通表内容相关的统计信息,统计结果存储在系统表PG_STATISTIC下。执行计划生成器会使用这些统计数据,以确定最有效的执行计划。 数据倾斜会造成查询表性能下降。
- 前提:已有同一VPC下MRS、DWS集群1、创建好MRS数据源后,进入MRS数据源详情页面,可以看到节点信息,2、 点击Master1,设置安全组(在安全组中设置any规则);绑定弹性IP3.1 从Master1绑定的EIP,远程登录到Master1节点或者可以用MobaXterm工具连接MRS绑定的EIP:常见错误 :Eip能ping通,但是ssh linux@EIP登录失败 可以采用私有... 前提:已有同一VPC下MRS、DWS集群1、创建好MRS数据源后,进入MRS数据源详情页面,可以看到节点信息,2、 点击Master1,设置安全组(在安全组中设置any规则);绑定弹性IP3.1 从Master1绑定的EIP,远程登录到Master1节点或者可以用MobaXterm工具连接MRS绑定的EIP:常见错误 :Eip能ping通,但是ssh linux@EIP登录失败 可以采用私有...
- DWS开发指导 DWS开发指导
- DWS参数调优相关参数介绍 DWS参数调优相关参数介绍
- 1 说明1.1 背景介绍DWS使用一段时间后会产生一定脏页数据,从性能、空间角度考虑需要对脏页空间进行释放。目前在以下几种情况出现概率较高,本文档主要为实际操作可能遇到的问题提供技术参考。情况1:DWS任务多,包含临时表操作,导致脏页统计的视图运行报错。情况2:DWS数据量大,使用默认系统视图统计脏页执行时间长。1.2 VACUUM FULL介绍VACUU... 1 说明1.1 背景介绍DWS使用一段时间后会产生一定脏页数据,从性能、空间角度考虑需要对脏页空间进行释放。目前在以下几种情况出现概率较高,本文档主要为实际操作可能遇到的问题提供技术参考。情况1:DWS任务多,包含临时表操作,导致脏页统计的视图运行报错。情况2:DWS数据量大,使用默认系统视图统计脏页执行时间长。1.2 VACUUM FULL介绍VACUU...
- 简单介绍TCP协议中的KeepAlive 简单介绍TCP协议中的KeepAlive
- 数据库工作负载管理功能(WLM)是管理混合负载、提升集群吞吐率的利器。GaussDB(DWS)也提供了强大的工作负载管理能力,但由于工作负载管理的使用和具体业务诉求强相关,不少小伙伴在配置时存在一些困惑,因此我们将GaussDB(DWS)工作负载管理功能的基本使用方法进行介绍,并辅以两个实战案例进行介绍,方便小伙伴们更好的利用工作负载管理功能,达到事半功倍的效果。 数据库工作负载管理功能(WLM)是管理混合负载、提升集群吞吐率的利器。GaussDB(DWS)也提供了强大的工作负载管理能力,但由于工作负载管理的使用和具体业务诉求强相关,不少小伙伴在配置时存在一些困惑,因此我们将GaussDB(DWS)工作负载管理功能的基本使用方法进行介绍,并辅以两个实战案例进行介绍,方便小伙伴们更好的利用工作负载管理功能,达到事半功倍的效果。
- 上一篇博文《GaussDB(DWS)性能调优系列实战篇五:十八般武艺之路径干预》中介绍了如何通过设置GUC参数,对优化器生成路径进行全局干预。本文介绍另一种只针对当前SQL生效的对优化器生成路径进行干预的方法--plan hint。 上一篇博文《GaussDB(DWS)性能调优系列实战篇五:十八般武艺之路径干预》中介绍了如何通过设置GUC参数,对优化器生成路径进行全局干预。本文介绍另一种只针对当前SQL生效的对优化器生成路径进行干预的方法--plan hint。
- 本文接 [数据仓库]双集群系统方案探讨 展开讨论一下GaussDB(DWS)的容灾应该如何设计。 日志同步技术: 列存数据不记日志无法通过日志来同步支持列存xlog后会导致导入性能劣化,xlog数据量大,同时会影响日志同步效率 备份增量同步技术:无法达到 RPO = 0备集群只能读,无法支持写操作 逻辑数据同步技术:列存数据需要支持逻辑解码,需要从列存XLog的方向进行演进分布式事务,DDL... 本文接 [数据仓库]双集群系统方案探讨 展开讨论一下GaussDB(DWS)的容灾应该如何设计。 日志同步技术: 列存数据不记日志无法通过日志来同步支持列存xlog后会导致导入性能劣化,xlog数据量大,同时会影响日志同步效率 备份增量同步技术:无法达到 RPO = 0备集群只能读,无法支持写操作 逻辑数据同步技术:列存数据需要支持逻辑解码,需要从列存XLog的方向进行演进分布式事务,DDL...
- 背景及现象描述(Background and Symptom)*1. 环境信息:GaussDB A 8.0.0版本12节点集群2. 问题现象:客户反映业务执行慢,原本几分钟的业务一个小时都跑不完,造成大量业务累计。 3. 分析过程1. 初步分析为客户连接数过高导致IO高,限制连接数后IO稍有回落,后续IO又升高至95%以上且限制连接数后严重影响用户... 背景及现象描述(Background and Symptom)*1. 环境信息:GaussDB A 8.0.0版本12节点集群2. 问题现象:客户反映业务执行慢,原本几分钟的业务一个小时都跑不完,造成大量业务累计。 3. 分析过程1. 初步分析为客户连接数过高导致IO高,限制连接数后IO稍有回落,后续IO又升高至95%以上且限制连接数后严重影响用户...
- 介绍了系统表膨胀时的清理方法及注意事项。 介绍了系统表膨胀时的清理方法及注意事项。
上滑加载中
推荐直播
-
探秘仓颉编程语言:华为开发者空间的创新利器
2025/02/22 周六 15:00-16:30
华为云讲师团
本期直播将与您一起探秘颉编程语言上线华为开发者空间后,显著提升开发效率,在智能化开发支持、全场景跨平台适配能力、工具链与生态完备性、语言简洁与高性能特性等方面展现出的独特优势。直播看点: 1.java转仓颉的小工具 2.仓颉动画三方库lottie 3.开发者空间介绍及如何在空间用仓颉编程语言开发
回顾中 -
大模型Prompt工程深度实践
2025/02/24 周一 16:00-17:30
盖伦 华为云学堂技术讲师
如何让大模型精准理解开发需求并生成可靠输出?本期直播聚焦大模型Prompt工程核心技术:理解大模型推理基础原理,关键采样参数定义,提示词撰写关键策略及Prompt工程技巧分享。
去报名 -
华为云 x DeepSeek:AI驱动云上应用创新
2025/02/26 周三 16:00-18:00
华为云 AI专家大咖团
在 AI 技术飞速发展之际,DeepSeek 备受关注。它凭借哪些技术与理念脱颖而出?华为云与 DeepSeek 合作,将如何重塑产品与应用模式,助力企业数字化转型?在华为开发者空间,怎样高效部署 DeepSeek,搭建专属服务器?基于华为云平台,又该如何挖掘 DeepSeek 潜力,实现智能化升级?本期直播围绕DeepSeek在云上的应用案例,与DTSE布道师们一起探讨如何利用AI 驱动云上应用创新。
去报名
热门标签