- GDS、COPY、\COPY 是GaussDB(DWS)提供的数据导入导出工具,应用于数据迁移、数据同步、数据备份/恢复等场景,在数仓日常维护中使用频率较高,难免遇到性能、功能问题,如果能监控到 GDS 在干什么、业务进度如何,必然能为排故提供有效参考,提高排查效率。本文从系统视图、应用日志两个方面介绍导入导出监控方法,配合实例进行说明,最后对PostgreSQL的监控方法进行说明,扩展视野。 GDS、COPY、\COPY 是GaussDB(DWS)提供的数据导入导出工具,应用于数据迁移、数据同步、数据备份/恢复等场景,在数仓日常维护中使用频率较高,难免遇到性能、功能问题,如果能监控到 GDS 在干什么、业务进度如何,必然能为排故提供有效参考,提高排查效率。本文从系统视图、应用日志两个方面介绍导入导出监控方法,配合实例进行说明,最后对PostgreSQL的监控方法进行说明,扩展视野。
- 新时代在移动互联网、电商、IoT等场景会产生大量实时数据,以往的离线批量计算时效性较差,业务人员无法根据自己的即时性需要获取几分钟之前甚至实时数据,为了快速获取实时或者准实时数据,数据发生后尽快的达到用户的手中,释放实时或者准实时数据价值,实时数仓的系统性构建需求也应运而生,本文以MYSQL库为例实时同步GaussDB(DWS)场景,分享使用华为云模式下DRS(数据复制服务)构建快速数据接入方案。 新时代在移动互联网、电商、IoT等场景会产生大量实时数据,以往的离线批量计算时效性较差,业务人员无法根据自己的即时性需要获取几分钟之前甚至实时数据,为了快速获取实时或者准实时数据,数据发生后尽快的达到用户的手中,释放实时或者准实时数据价值,实时数仓的系统性构建需求也应运而生,本文以MYSQL库为例实时同步GaussDB(DWS)场景,分享使用华为云模式下DRS(数据复制服务)构建快速数据接入方案。
- 【摘要】 GaussDB(DWS)支持的UPSERT功能,可以实时进行数据导入,在出现主键或者唯一索引冲突时执行更新或者忽略操作。对于实时数仓是一项非常重要的技术。 【摘要】 GaussDB(DWS)支持的UPSERT功能,可以实时进行数据导入,在出现主键或者唯一索引冲突时执行更新或者忽略操作。对于实时数仓是一项非常重要的技术。
- 连接类型介绍想要通过SQL完成各种复杂的查询,则多表之间的连接是必不可少的。连接分为:内连接和外连接两大类,每大类中还可进行细分。为了能更好的说明各种连接之间的区别,下面通过具体示例进行各连接的展示。首先做如下表创建和设置:CREATE TABLE student( id INTEGER, name varchar(50));CREATE TABLE math_score( id IN... 连接类型介绍想要通过SQL完成各种复杂的查询,则多表之间的连接是必不可少的。连接分为:内连接和外连接两大类,每大类中还可进行细分。为了能更好的说明各种连接之间的区别,下面通过具体示例进行各连接的展示。首先做如下表创建和设置:CREATE TABLE student( id INTEGER, name varchar(50));CREATE TABLE math_score( id IN...
- 1 统一密码校验问题1.1 udns用户密码校验失败通过DMK更改udns用户密码,oc上未同步该密码导致oc平台校验不通过,重置密码之后校验依然不通过;登陆fcd后台重新注册该用户信息,oc上修正密码后校验通过1.2 nginx用户遇到同样的问题1.3 OpenStack可登录性校验失败通过更改密码、同步密码解决2 MOAgent安装失败问... 1 统一密码校验问题1.1 udns用户密码校验失败通过DMK更改udns用户密码,oc上未同步该密码导致oc平台校验不通过,重置密码之后校验依然不通过;登陆fcd后台重新注册该用户信息,oc上修正密码后校验通过1.2 nginx用户遇到同样的问题1.3 OpenStack可登录性校验失败通过更改密码、同步密码解决2 MOAgent安装失败问...
- 本文主要是自动重建功能与REPLACE的使用场景与使用方法的介绍。 本文主要是自动重建功能与REPLACE的使用场景与使用方法的介绍。
- 数仓系统容灾及可靠性的必要性进入云时代数据仓库系统已经不是之前大家理解的对于可靠性没有特别的要求,当前金融,电力等头部公司的分析业务对于实时性,可用性都在不断的提高。要求在极端情况下能快速恢复,快速提供服务。所以做为云时代的数仓,是否有容灾能力成为一个产品成熟度,可用度的一个重要指标。业务常用的容灾方案从GaussDB(DWS)的角度去分析业界目前几种通用的容灾方案: 日志同步技术: 列存数... 数仓系统容灾及可靠性的必要性进入云时代数据仓库系统已经不是之前大家理解的对于可靠性没有特别的要求,当前金融,电力等头部公司的分析业务对于实时性,可用性都在不断的提高。要求在极端情况下能快速恢复,快速提供服务。所以做为云时代的数仓,是否有容灾能力成为一个产品成熟度,可用度的一个重要指标。业务常用的容灾方案从GaussDB(DWS)的角度去分析业界目前几种通用的容灾方案: 日志同步技术: 列存数...
- 1.LLVM是什么?LLVM这个名字最早源于底层虚拟机(Low Level VirTual Machine)的首字母缩写,但随着LLVM项目的演进,底层虚拟机的含义已经不再适用于LLVM。现在谈到LLVM,广义上讲就是指LLVM本身,它是一套用于开发编译前段与后端的工具套件,狭义上讲LLVM就是指整个编译套件的优化器及后端,而CLANG可以认为是C/C++的前端。 2.LLVM的优势?传统... 1.LLVM是什么?LLVM这个名字最早源于底层虚拟机(Low Level VirTual Machine)的首字母缩写,但随着LLVM项目的演进,底层虚拟机的含义已经不再适用于LLVM。现在谈到LLVM,广义上讲就是指LLVM本身,它是一套用于开发编译前段与后端的工具套件,狭义上讲LLVM就是指整个编译套件的优化器及后端,而CLANG可以认为是C/C++的前端。 2.LLVM的优势?传统...
- 该文章从内核角度介绍负载管控逻辑。重点介绍内存和并发管控。 该文章从内核角度介绍负载管控逻辑。重点介绍内存和并发管控。
- 数据库智能运维(DMS)是一个为GaussDB(DWS)数据库提供多维度监控服务的系统,能够对数据库运行所依赖的磁盘、网络、操作系统及其运行的关键性能指标进行收集和监控,再经过综合分析和处理,将数据库各类原子指标、派生指标和组合指标呈现给用户,并对数据库主机、实例、业务SQL等进行诊断,及时暴露出数据库中关键故障及性能问题,指导用户进行优化和解决。 数据库智能运维(DMS)是一个为GaussDB(DWS)数据库提供多维度监控服务的系统,能够对数据库运行所依赖的磁盘、网络、操作系统及其运行的关键性能指标进行收集和监控,再经过综合分析和处理,将数据库各类原子指标、派生指标和组合指标呈现给用户,并对数据库主机、实例、业务SQL等进行诊断,及时暴露出数据库中关键故障及性能问题,指导用户进行优化和解决。
- 在部署dws中,常规方案一般是pod区+rds数据库,本次部署使用了,pod区+dbm数据库部署的方式,相对特殊。 在部署dws中,常规方案一般是pod区+rds数据库,本次部署使用了,pod区+dbm数据库部署的方式,相对特殊。
- 由于历史原因,在集群做增量备份的场景下,CN仍然采用全量的备份方式。这样随着数据量的增加,CN总是以全量进行备份必然会成为容灾性能的短板。因此,为了解决Roach的性能问题,提出了CN增量备份手段,从而达到进一步优化RPO目的. 由于历史原因,在集群做增量备份的场景下,CN仍然采用全量的备份方式。这样随着数据量的增加,CN总是以全量进行备份必然会成为容灾性能的短板。因此,为了解决Roach的性能问题,提出了CN增量备份手段,从而达到进一步优化RPO目的.
- Nodeagent是GaussDB(DWS)管理系统Fi Manager采集数据节点状态信息,运维操作(如启停集群、启停实例)下发命令到数据节点的重要工作线程。 Controller按30秒周期检测NodeAgent心跳。当Controller未接收到某一个NodeAgent的心跳,则尝试重启该NodeAgent进程,如果连续三次重启失败,认为该节点产生故障。 Nodeagent是GaussDB(DWS)管理系统Fi Manager采集数据节点状态信息,运维操作(如启停集群、启停实例)下发命令到数据节点的重要工作线程。 Controller按30秒周期检测NodeAgent心跳。当Controller未接收到某一个NodeAgent的心跳,则尝试重启该NodeAgent进程,如果连续三次重启失败,认为该节点产生故障。
- 数据膨胀,指的是物理数据文件的大小明显高于实际存储的数据量。甚至某些特殊场景下,一个表中只有一条简单的数据,但是表对应的物理文件可能已经达到M级甚至G级。为了解决数据膨胀,GaussDB(DWS)通过vacuum和FSM来清理和重用物理空间。本文简单介绍FSM的设计和原理,并通过一个例子对FSM功能进行简单的测试和验证。 数据膨胀,指的是物理数据文件的大小明显高于实际存储的数据量。甚至某些特殊场景下,一个表中只有一条简单的数据,但是表对应的物理文件可能已经达到M级甚至G级。为了解决数据膨胀,GaussDB(DWS)通过vacuum和FSM来清理和重用物理空间。本文简单介绍FSM的设计和原理,并通过一个例子对FSM功能进行简单的测试和验证。
- GaussDB(DWS)提供了丰富的视图用于SQL信息和状态监控,协助用户SQL运维及问题分析。其中负载管理也提供了专门的视图用于SQL运行状态监控,通过视图排查SQL排队原因,及时给出优化措施。本文重点介绍了负载管理常用视图,同时结合其他视图给出了视图应用案例。 GaussDB(DWS)提供了丰富的视图用于SQL信息和状态监控,协助用户SQL运维及问题分析。其中负载管理也提供了专门的视图用于SQL运行状态监控,通过视图排查SQL排队原因,及时给出优化措施。本文重点介绍了负载管理常用视图,同时结合其他视图给出了视图应用案例。
上滑加载中
推荐直播
-
昇腾AI算法挑战赛-核心算子如何优化?专家带你深度解析2025/11/17 周一 16:00-17:00
王老师 华为算子专家
昇腾AI算法挑战赛进阶赛战鼓催征!本期直播间,我们特邀华为算子专家王老师,为你深度剖析Matmul、wholereducesum等核心算子的底层原理与优化技巧,直击赛题核心。想提升代码效率、冲击更高排名?锁定直播,带你破局!
回顾中 -
AI编码实干派,“码”力全开2026/02/26 周四 15:00-16:30
谈宗玮/于邦旭/丁俊卿/陈云亮/王一男
【中国,深圳,2026年2月26日】,以“AI编码实干派,码力全开”为主题的华为云码道(CodeArts)代码智能体新春发布会在线上成功召开。华为云码道公测版正式发布,为开发者和企业提供具备工程化能力的智能编码解决方案。
回顾中 -
华为云码道-玩转OpenClaw,在线养虾2026/03/11 周三 19:00-21:00
刘昱,华为云高级工程师/谈心,华为云技术专家/李海仑,上海圭卓智能科技有限公司CEO
OpenClaw 火爆开发者圈,华为云码道最新推出 Skill ——开发者只需输入一句口令,即可部署一个功能完整的「小龙虾」智能体。直播带你玩转华为云码道,玩转OpenClaw
回顾中
热门标签