- GDS、COPY、\COPY 是GaussDB(DWS)提供的数据导入导出工具,应用于数据迁移、数据同步、数据备份/恢复等场景,在数仓日常维护中使用频率较高,难免遇到性能、功能问题,如果能监控到 GDS 在干什么、业务进度如何,必然能为排故提供有效参考,提高排查效率。本文从系统视图、应用日志两个方面介绍导入导出监控方法,配合实例进行说明,最后对PostgreSQL的监控方法进行说明,扩展视野。 GDS、COPY、\COPY 是GaussDB(DWS)提供的数据导入导出工具,应用于数据迁移、数据同步、数据备份/恢复等场景,在数仓日常维护中使用频率较高,难免遇到性能、功能问题,如果能监控到 GDS 在干什么、业务进度如何,必然能为排故提供有效参考,提高排查效率。本文从系统视图、应用日志两个方面介绍导入导出监控方法,配合实例进行说明,最后对PostgreSQL的监控方法进行说明,扩展视野。
- 新时代在移动互联网、电商、IoT等场景会产生大量实时数据,以往的离线批量计算时效性较差,业务人员无法根据自己的即时性需要获取几分钟之前甚至实时数据,为了快速获取实时或者准实时数据,数据发生后尽快的达到用户的手中,释放实时或者准实时数据价值,实时数仓的系统性构建需求也应运而生,本文以MYSQL库为例实时同步GaussDB(DWS)场景,分享使用华为云模式下DRS(数据复制服务)构建快速数据接入方案。 新时代在移动互联网、电商、IoT等场景会产生大量实时数据,以往的离线批量计算时效性较差,业务人员无法根据自己的即时性需要获取几分钟之前甚至实时数据,为了快速获取实时或者准实时数据,数据发生后尽快的达到用户的手中,释放实时或者准实时数据价值,实时数仓的系统性构建需求也应运而生,本文以MYSQL库为例实时同步GaussDB(DWS)场景,分享使用华为云模式下DRS(数据复制服务)构建快速数据接入方案。
- 【摘要】 GaussDB(DWS)支持的UPSERT功能,可以实时进行数据导入,在出现主键或者唯一索引冲突时执行更新或者忽略操作。对于实时数仓是一项非常重要的技术。 【摘要】 GaussDB(DWS)支持的UPSERT功能,可以实时进行数据导入,在出现主键或者唯一索引冲突时执行更新或者忽略操作。对于实时数仓是一项非常重要的技术。
- 连接类型介绍想要通过SQL完成各种复杂的查询,则多表之间的连接是必不可少的。连接分为:内连接和外连接两大类,每大类中还可进行细分。为了能更好的说明各种连接之间的区别,下面通过具体示例进行各连接的展示。首先做如下表创建和设置:CREATE TABLE student( id INTEGER, name varchar(50));CREATE TABLE math_score( id IN... 连接类型介绍想要通过SQL完成各种复杂的查询,则多表之间的连接是必不可少的。连接分为:内连接和外连接两大类,每大类中还可进行细分。为了能更好的说明各种连接之间的区别,下面通过具体示例进行各连接的展示。首先做如下表创建和设置:CREATE TABLE student( id INTEGER, name varchar(50));CREATE TABLE math_score( id IN...
- 1 统一密码校验问题1.1 udns用户密码校验失败通过DMK更改udns用户密码,oc上未同步该密码导致oc平台校验不通过,重置密码之后校验依然不通过;登陆fcd后台重新注册该用户信息,oc上修正密码后校验通过1.2 nginx用户遇到同样的问题1.3 OpenStack可登录性校验失败通过更改密码、同步密码解决2 MOAgent安装失败问... 1 统一密码校验问题1.1 udns用户密码校验失败通过DMK更改udns用户密码,oc上未同步该密码导致oc平台校验不通过,重置密码之后校验依然不通过;登陆fcd后台重新注册该用户信息,oc上修正密码后校验通过1.2 nginx用户遇到同样的问题1.3 OpenStack可登录性校验失败通过更改密码、同步密码解决2 MOAgent安装失败问...
- 本文主要是自动重建功能与REPLACE的使用场景与使用方法的介绍。 本文主要是自动重建功能与REPLACE的使用场景与使用方法的介绍。
- 数仓系统容灾及可靠性的必要性进入云时代数据仓库系统已经不是之前大家理解的对于可靠性没有特别的要求,当前金融,电力等头部公司的分析业务对于实时性,可用性都在不断的提高。要求在极端情况下能快速恢复,快速提供服务。所以做为云时代的数仓,是否有容灾能力成为一个产品成熟度,可用度的一个重要指标。业务常用的容灾方案从GaussDB(DWS)的角度去分析业界目前几种通用的容灾方案: 日志同步技术: 列存数... 数仓系统容灾及可靠性的必要性进入云时代数据仓库系统已经不是之前大家理解的对于可靠性没有特别的要求,当前金融,电力等头部公司的分析业务对于实时性,可用性都在不断的提高。要求在极端情况下能快速恢复,快速提供服务。所以做为云时代的数仓,是否有容灾能力成为一个产品成熟度,可用度的一个重要指标。业务常用的容灾方案从GaussDB(DWS)的角度去分析业界目前几种通用的容灾方案: 日志同步技术: 列存数...
- 1.LLVM是什么?LLVM这个名字最早源于底层虚拟机(Low Level VirTual Machine)的首字母缩写,但随着LLVM项目的演进,底层虚拟机的含义已经不再适用于LLVM。现在谈到LLVM,广义上讲就是指LLVM本身,它是一套用于开发编译前段与后端的工具套件,狭义上讲LLVM就是指整个编译套件的优化器及后端,而CLANG可以认为是C/C++的前端。 2.LLVM的优势?传统... 1.LLVM是什么?LLVM这个名字最早源于底层虚拟机(Low Level VirTual Machine)的首字母缩写,但随着LLVM项目的演进,底层虚拟机的含义已经不再适用于LLVM。现在谈到LLVM,广义上讲就是指LLVM本身,它是一套用于开发编译前段与后端的工具套件,狭义上讲LLVM就是指整个编译套件的优化器及后端,而CLANG可以认为是C/C++的前端。 2.LLVM的优势?传统...
- 该文章从内核角度介绍负载管控逻辑。重点介绍内存和并发管控。 该文章从内核角度介绍负载管控逻辑。重点介绍内存和并发管控。
- 数据库智能运维(DMS)是一个为GaussDB(DWS)数据库提供多维度监控服务的系统,能够对数据库运行所依赖的磁盘、网络、操作系统及其运行的关键性能指标进行收集和监控,再经过综合分析和处理,将数据库各类原子指标、派生指标和组合指标呈现给用户,并对数据库主机、实例、业务SQL等进行诊断,及时暴露出数据库中关键故障及性能问题,指导用户进行优化和解决。 数据库智能运维(DMS)是一个为GaussDB(DWS)数据库提供多维度监控服务的系统,能够对数据库运行所依赖的磁盘、网络、操作系统及其运行的关键性能指标进行收集和监控,再经过综合分析和处理,将数据库各类原子指标、派生指标和组合指标呈现给用户,并对数据库主机、实例、业务SQL等进行诊断,及时暴露出数据库中关键故障及性能问题,指导用户进行优化和解决。
- 在部署dws中,常规方案一般是pod区+rds数据库,本次部署使用了,pod区+dbm数据库部署的方式,相对特殊。 在部署dws中,常规方案一般是pod区+rds数据库,本次部署使用了,pod区+dbm数据库部署的方式,相对特殊。
- 由于历史原因,在集群做增量备份的场景下,CN仍然采用全量的备份方式。这样随着数据量的增加,CN总是以全量进行备份必然会成为容灾性能的短板。因此,为了解决Roach的性能问题,提出了CN增量备份手段,从而达到进一步优化RPO目的. 由于历史原因,在集群做增量备份的场景下,CN仍然采用全量的备份方式。这样随着数据量的增加,CN总是以全量进行备份必然会成为容灾性能的短板。因此,为了解决Roach的性能问题,提出了CN增量备份手段,从而达到进一步优化RPO目的.
- Nodeagent是GaussDB(DWS)管理系统Fi Manager采集数据节点状态信息,运维操作(如启停集群、启停实例)下发命令到数据节点的重要工作线程。 Controller按30秒周期检测NodeAgent心跳。当Controller未接收到某一个NodeAgent的心跳,则尝试重启该NodeAgent进程,如果连续三次重启失败,认为该节点产生故障。 Nodeagent是GaussDB(DWS)管理系统Fi Manager采集数据节点状态信息,运维操作(如启停集群、启停实例)下发命令到数据节点的重要工作线程。 Controller按30秒周期检测NodeAgent心跳。当Controller未接收到某一个NodeAgent的心跳,则尝试重启该NodeAgent进程,如果连续三次重启失败,认为该节点产生故障。
- 数据膨胀,指的是物理数据文件的大小明显高于实际存储的数据量。甚至某些特殊场景下,一个表中只有一条简单的数据,但是表对应的物理文件可能已经达到M级甚至G级。为了解决数据膨胀,GaussDB(DWS)通过vacuum和FSM来清理和重用物理空间。本文简单介绍FSM的设计和原理,并通过一个例子对FSM功能进行简单的测试和验证。 数据膨胀,指的是物理数据文件的大小明显高于实际存储的数据量。甚至某些特殊场景下,一个表中只有一条简单的数据,但是表对应的物理文件可能已经达到M级甚至G级。为了解决数据膨胀,GaussDB(DWS)通过vacuum和FSM来清理和重用物理空间。本文简单介绍FSM的设计和原理,并通过一个例子对FSM功能进行简单的测试和验证。
- GaussDB(DWS)提供了丰富的视图用于SQL信息和状态监控,协助用户SQL运维及问题分析。其中负载管理也提供了专门的视图用于SQL运行状态监控,通过视图排查SQL排队原因,及时给出优化措施。本文重点介绍了负载管理常用视图,同时结合其他视图给出了视图应用案例。 GaussDB(DWS)提供了丰富的视图用于SQL信息和状态监控,协助用户SQL运维及问题分析。其中负载管理也提供了专门的视图用于SQL运行状态监控,通过视图排查SQL排队原因,及时给出优化措施。本文重点介绍了负载管理常用视图,同时结合其他视图给出了视图应用案例。
上滑加载中
推荐直播
-
华为云码道-AI时代应用开发利器2026/03/18 周三 19:00-20:00
童得力,华为云开发者生态运营总监/姚圣伟,华为云HCDE开发者专家
本次直播由华为专家带你实战应用开发,看华为云码道(CodeArts)代码智能体如何在AI时代让你的创意应用快速落地。更有华为云HCDE开发者专家带你用码道玩转JiuwenClaw,让小艺成为你的AI助理。
回顾中 -
Skill 构建 × 智能创作:基于华为云码道的 AI 内容生产提效方案2026/03/25 周三 19:00-20:00
余伟,华为云软件研发工程师/万邵业(万少),华为云HCDE开发者专家
本次直播带来两大实战:华为云码道 Skill-Creator 手把手搭建专属知识库 Skill;如何用码道提效 OpenClaw 小说文本,打造从大纲到成稿的 AI 原创小说全链路。技术干货 + OPC创作思路,一次讲透!
回顾中 -
码道新技能,AI 新生产力——从自动视频生成到开源项目解析2026/04/08 周三 19:00-21:00
童得力-华为云开发者生态运营总监/何文强-无人机企业AI提效负责人
本次华为云码道 Skill 实战活动,聚焦两大 AI 开发场景:通过实战教学,带你打造 AI 编程自动生成视频 Skill,并实现对 GitHub 热门开源项目的智能知识抽取,手把手掌握 Skill 开发全流程,用 AI 提升研发效率与内容生产力。
回顾中
热门标签