• [问题求助] 在做GaussDB(DWS)实验的时候,为啥要先创建VPS?VPS是用来做什么的
    在做GaussDB(DWS)实验的时候,为啥要先创建VPC?VPC是用来做什么的?官网的说明看不太懂?能否举个通俗的例子
  • [问题求助] 使用gsdump导出表定义时,分区信息丢失怎么办
    需要将A数据库的表定义,同步到B数据库,因此先导出A数据库的表定义使用命令:gsdump - h xx.xx.xx.xx -p xxxx -U userxxxx -W pwdxxx - n schemaxxx -f /app/A_1.sql -F p -s dbnamexxx但是导出后,发现导出的sql语句中没有分区值,求问怎么能在导出的时候把分区值也导出
  • [热门活动] 【GaussDB(DWS)专题直播有奖提问】DTSE Tech Talk 技术直播 NO.55:看直播提问题赢华为云定制U型按摩枕、华为云定制双肩包等好礼!
    中奖结果公示感谢各位小伙伴参与本次活动,欢迎关注华为云DTSE Tech Talk 技术直播更多活动~本次活动获奖名单如下:请于4月17日下班前在此问卷中反馈您的中奖邮寄信息~直播简介【直播主题】GaussDB(DWS)基于Flink的实时数仓构建【直播时间】2024年4月11日 16:30-18:00【直播专家】Eric 华为云数仓DTSE技术布道师【直播简介】华为云数仓GaussDB(DWS)基于流处理框架Flink实现了高效实时数仓构建,数据分析时效从T+1时效趋向于T+0时效。GaussDB(DWS)+Flink如何增强湖仓增量数据在不同数据模型层之间的实时流动能力?如何为消息数据流提供高性能通用入库能力?本期直播将为您带来DWS-Flink的全新探索实践分享。【直播链接】cid:link_1活动介绍【互动方式】直播前您可以在本帖留下您疑惑的问题,专家会在直播时为您解答。直播后您可以继续在本帖留言,与专家互动交流。我们会在全部活动结束后对参与互动的用户进行评选。【活动时间】即日起—2024年4月12日【奖励说明】评奖规则:活动1:直播期间在直播间提出与直播内容相关的问题,对专家评选为优质问题的开发者进行奖励。奖品:华为云定制U型按摩枕活动2:在本帖提出与直播内容相关的问题,由专家在所有互动贴中选出最优问题贴的开发者进行奖励。奖品:华为云定制双肩包更多直播活动直播互动有礼:官网直播间发口令“华为云 DTSE”抽华为云定制雨伞、填写问卷抽华为云云宝手办盲盒等好礼。课后有奖实操 :4月11日-4月12日,完成课后动手实验即送华为云定制T恤。点击开始实验【注意事项】1、活动期间同类子活动每个ID(同一姓名/电话/收货地址)提问数≤20个;所有参与活动的问题,如发现为复用他人内容或直播间中重复内容,则取消获奖资格。2、为保证您顺利领取活动奖品,请您在活动公示奖项后2个工作日内私信提前填写奖品收货信息,如您没有填写,视为自动放弃奖励。3、活动奖项公示时间截止2024年4月13日,如未反馈邮寄信息视为弃奖。本次活动奖品将于奖项公示后30个工作日内统一发出,请您耐心等待。4、活动期间同类子活动每个ID(同一姓名/电话/收货地址)只能获奖一次,若重复则中奖资格顺延至下一位合格开发者,仅一次顺延。5、如活动奖品出现没有库存的情况,华为云工作人员将会替换等价值的奖品,获奖者不同意此规则视为放弃奖品。6、其他事宜请参考【华为云社区常规活动规则】。
  • [问题求助] DWD、DWB和DWS的区别
    DWD、DWB和DWS的区别是什么?
  • [技术干货] 数据仓库分层:理解DWD、DWB和DWS的含义
    在数据仓库领域,我们常常会遇到一些缩写,比如DWD、DWB和DWS。这些缩写代表着数据仓库的不同层次,对于理解和构建数据仓库体系具有重要意义。下面,我们就来详细解释一下这些缩写的含义。DWD(Data Warehouse Discover) DWD,即Data Warehouse Discover,代表着数据仓库的探索层。在这个阶段,主要的目标是进行数据探查和数据清洗。DWD的数据源可能包括多个系统,如ERP、CRM、OA等。这些系统中的数据格式、数据类型、数据关系等都可能不同,因此需要进行数据清洗和整合,以便于后续的数据分析和决策支持。DWB(Data Warehouse Build) DWB,即Data Warehouse Build,代表着数据仓库的构建层。在这个阶段,主要的目标是将DWD中的数据进行整合和清洗,构建出符合业务需求的数据模型。这个模型通常是一个多维度的数据立方体,可以支持多种数据分析算法和决策支持应用。DWB的数据源可以是多个数据仓库的整合,也可以是多个数据源的整合。DWS(Data Warehouse Services) DWS,即Data Warehouse Services,代表着数据仓库的服务层。在这个阶段,主要的目标是将DWB中的数据进行加工和处理,以支持决策支持和数据分析应用。DWS的数据源可以是多个数据仓库的整合,也可以是多个数据源的整合。DWS的数据模型应该与具体的业务需求相结合,支持多种决策支持和数据分析应用。总结一下,DWD、DWB和DWS是数据仓库的三个重要层次,分别代表着数据仓库的探索、构建和服务三个阶段。在构建数据仓库时,我们需要明确每个阶段的目标和任务,以及每个阶段所需要的数据源和数据模型。只有理解了这些缩写背后的含义和任务,我们才能更好地理解和应用数据仓库的知识和技术。在实际的数据仓库项目中,这些缩写都有着重要的应用价值。比如在构建一个新的人力资源管理系统的数据仓库时,我们可以首先使用DWD进行数据探查和清洗,然后使用DWB构建出符合人力资源管理业务需求的数据模型,最后使用DWS进行数据的分析和决策支持。除了这些缩写,数据仓库中还涉及到许多其他的概念和技术,比如ETL(Extract-Transform-Load,指数据的抽取、转换和加载)、ELT(Extract-Load-Transform,指数据的抽取、加载和转换)、数据模型设计、元数据管理、数据质量等等。理解了这些概念和技术的含义和应用方法,我们才能更好地构建和应用数据仓库。
  • [数据库使用] GaussDB(DWS)运维操作—大表执行vacuum full锁超时回滚
    【问题现象】:某项目在运维时间窗针对业务大表执行vacuum full操作回收脏页释放空间的过程中,发现在执行一段时间后锁超时报错(通常超过2小时),或因死锁现象导致vacuum full操作回滚。【问题原因】:vacuum full操作会将源表的活元组重新写到新的存储空间(此过程七级锁),然后再交换源表及新空间的指针(此过程八级锁),整个vacuum full执行时,存在七级锁升级到八级锁的过程,且大表七级锁持锁期间会比较长,在持七级锁时,select查询语句仍旧可以查询对应业务表,若在交换文件前有业务表的大查询进入并持一级锁,会导致vacuum full无法顺利申请到八级锁进入交换文件的过程,进一步导致vacuum full等锁超时被回滚,造成整个运维操作失败,运维时间窗被浪费。【处理方法】:运维时间窗内,确保vacuum full执行完成后再接入业务调度。执行期间,可定期查看锁冲突视图,避免vacuum full被其他操作阻塞锁升级过程,参考语句:select * from pgxc_lock_conflicts where query ilike ‘%vacuum full tablename%’;若存在业务语句阻塞vacuum full操作,建议查杀业务语句保证运维操作执行。可结合产品文档调大参数maintenance_work_mem,提高维护操作的执行效率;该参数指定的是在维护性操作(比如VACUUM、CREATE INDEX、ALTER TABLE ADD FOREIGN KEY等)中可使用的最大的内存。
  • [问题求助] DWS 811版本使用时是否可以执行连接串中加statement_timeout参数?
    DWS 811版本使用时是否可以执行连接串中加statement_timeout参数?如:jdbc:postgresql://host:port/database?statement_timeout=30000jdbc:gaussdb://host:port/database?statement_timeout=30000
  • [集群&DWS] DWS集群gaussdb进程D状态原因分析
    触发条件:该问题为操作系统xfs内部实现bug,存在于EulerOS 2.9之前的所有历史版本。故障现象:数据库实例进程状态变为D状态,进程hang,集群状态无法降级。业务阻塞,数据库实例进程无法kill,需要重启OS恢复。判断方法:步骤1:使用管理员用户登录数据库。步骤2:对数据库环境进行检查。如果OS为EulerOS 2.9之前的所有历史版本,则继续执行下面的步骤,进行D进程确认;否则跳过。步骤3:执行如下命令获取进程状态ps -elf | grep gaussdb步骤4:如果gaussdb进程处于D状态(僵死状态)时,则通过如下方法检查是触发了xfs的D进程bug。通过步骤3获取到gaussdb进程的pid。查看进程栈信息。如果栈信息是如下内容,则表示当前进程是僵死在write_cache_pages函数中。​​​​​​​【措施和方案】給当前的数据库环境打xfs热补丁。具体实现参见 https://bbs.huaweicloud.com/forum/thread-0207147167992868006-1-1.html
  • [集群&DWS] EulerOS XFS bug热补丁实施方法
    【措施和方案】请联系DWS运维人员,提变更保障整改。在support中下载xfs热补丁包规避措施步骤:使用root用户登录需要部署补丁的机器,进入/root目录将附件中的xfs_files.tar.gz包拷贝至补丁机器的/root目录,并解压缩;创建临时文件/root/fix_patch_by_self.sh为解压缩后的文件fix_patch_by_self.sh赋权: chmod +x /root/fix_patch_by_self.sh执行热补丁部署sh fix_patch_by_self.sh -i回滚热补丁(选做)sh fix_patch_by_self.sh -u
  • [集群&DWS] EulerOS XFS bug导致进程D状态问题分析说明
    1. 问题现象:进程偶发性D住并且无法恢复,其堆栈信息如下:2 原因说明: Xfs在执行do_writepages时产生死锁。xfs write死锁,IO现场Hang。 ​3 问题处理 补丁修改内容参考:参加附件xfs_patch.txt4 OS分析参考 https://lore.kernel.org/all/20181218043626.GA31274@dastard/T/ 
  • [集群&DWS] EulerOS XFS bug排查实现
    1. 背景EulerOS 2.9之前的版本存在xfs 读写bug。当触发操作系统中xfs的bug时,会导致gaussdb进程成为僵尸进程,集群不可用。目前HCS大多数局点都存在风险,开发此脚本进行全网排查。排查原理:1、当EulerOS且内核版本(uname -a)大于4.19.87时,不涉及此问题;2、当OS为EulerOS SP9 和EulerOS SP10时,不涉及此问题。2. 使用要求机器已安装集群集群互信正常(集群属主用户SSH登陆免密)3. 使用方法      实现脚本参加附件check_kernel_version.txt检查脚本。在使用前先将文件后缀.txt修改为.py。HCS:将脚本上传至集群任意节点的沙箱内/home/Ruby/目录下登陆沙箱内执行命令: python /home/Ruby/check_kernel_version.py将结果进行截图或文本复制。ESL:将脚本上传至任意数据节点/home/omm/目录下root登陆此数据节点,执行以下命令:chown omm:  /home/omm/check_kernel_version.pychmod +x /home/omm/check_kernel_version.py    3. 执行以下命令:su - ommsource /opt/huawei/Bigdata/mppdb/.mppdbgs_profilepython /home/omm/check_kernel_version.py    4. 将结果进行截图或文本复制。
  • [开发应用] 将schema中未来新建的表的权限也赋予指定角色的问题
    用 ALTER DEFAULT PRIVILEGES IN SCHEMA schema_name GRANT SELECT ON TABLES TO u1;  将schema中未来新建的表的权限也赋予指定的u1,发现,比如我是用用户 padmin用户执行的语句ALTER DEFAULT PRIVILEGES IN SCHEMA schema_name GRANT SELECT ON TABLES TO u1;只有用padmin新建的表才会给角色u1有未来表的查询权限。  其他用户建立在schema_name下的表, 并不会给角色u1有未来表的查询权限。 想达到,将来不管什么用户在schema_name下创建的表都给予u1,应该怎么做。
  • [问题求助] 如何通过代码审查来发现存储过程中的性能问题?
    如何通过代码审查来发现存储过程中的性能问题? 
  • [问题求助] 如何避免在统计查询时对数据库性能产生负面影响?
    如何避免在统计查询时对数据库性能产生负面影响? 
  • [性能调优] dws中单条sql客户端查询慢,但是使用gsql查询不慢
    select * from test where bh= '1';在data stduio中执行该sql需要4-6秒,而在gsql中执行毫秒级,打印执行计划也只是毫秒级 。可能是什么原因导致
总条数:2065 到第
上滑加载中