-
【操作步骤&问题现象】GaussDB A 8.0.0.1 版本集群 是否有方式或方法可以判断产生笛卡尔积的sql?
-
1.前言在关系型数据库中,优化器是数据库的核心组件之一,由于一些列因素都会影响语句的执行,优化器综合权衡各个因素,在众多的执行计划中选择认为是最佳的执行计划。随着大数据时代的到来,像电商、游戏、电信等行业都大规模的应用,单一数据库节点是难以应对数据规模的不断增长并确保性能的需要,业务面临“存不下、算得慢、算不准”的问题。而GaussDB采用了可横向扩展的分布式架构,可以很好满足大规模海量数据的存储和计算的需求,其通过目标SQL执行计划的CBO成本,从目标SQL的诸多执行计划中选取成本值最小的执行路径为其执行计划,各执行路径的成本值是根据目标SQL中涉及到的表、索引、列等相关对象的统计信息计算出来的,实际反应执行目标SQL所要消耗的I/O、CPU和网络资源的一个估计值。I/O资源:把表的数据从磁盘读入内存时所需代价CPU资源:处理内存中表的数据所需的代价网络资源:需要DN间数据交互的分布式SQL,在实际执行时所需要的数据并不在本地DN中(需要从其他DN中取数据),便会将网络资源消耗折算成对等的I/O资源消耗再进行估算。本文结合第5场直播内容从分布式并行执行框架、分布式执行计划等方面进行介绍。2.分布式并行执行框架2.1执行器:PIPELINE模型GaussDB的执行器特点是:按照查询计划树从底往上执行,基于火山模型执行,即每个节点执行返回一行记录给父节点。火山模型的最大优点就是可以按需请求,每次只取出一条元组,在处理本条元组后,系统将会取出下一条满足条件的元组,直到取出所有满足条件的元组为止。从这种方式的运行机制可以看出,其每次执行时对于系统资源的需求都非常小。2.2 高性能分布式查询引擎GaussDB充分利用当前多核特点,通过多线程并发执行,提高系统吞吐量。众所周知,在传统的分布式 MPP 数据库中,因数据的重分布,也就是数据shuffle的代价非常昂贵,从而限制了用户使用场景范围。GaussDB能充分利用当前多核特点,采用并行执行机制,在SQL执行优化方面有多年的沉淀,并提供了三种stream流(广播流、聚合流和重分布流)来降低数据在DN节点间的流动,突破了传统分布式 MPP 数据库因为数据shuffle代价高昂带来的用户使用场景限制,即使是复杂的SQL、事务分析混合(HTAP)场景也能得到最佳执行。GaussDB的大致执行过程:业务应用下发SQL给Coordinator ,SQL可以包含对数据的CRUD操作;Coordinator利用数据库的优化器生成执行计划,每个DN会按照执行计划的要求去处理数据;数据基于一致性Hash算法分布在每个DN,因此DN在处理数据的过程中,可能需要从其他DN获取数据,GaussDB提供三种stream流(广播流、聚合流和重分布流)实现数据在DN间的流动,使得join无需抽取到CN执行;DN将结果集返回给Coordinate进行汇总;Coordinator将汇总后的结果返回给业务应用。3.分布式执行计划CN根据表的分布列信息和关联列信息进行判定,SQL语句是否可以直接在各个DN上执行而且不需要数据交流,如果是,CN采用LIGHT_QUERY或FQS_QUERY流程,保持了事不关己的态度,你发给我什么我就下发什么,直接将整个query命令下发给DN执行,执行完成后直接输出;如果需要在各个DN之间进行数据交互,则会选择使用stream算子;如果发现无法使用stream算子时,就回到了原始的PGXC流程。3.1 LIGHT_QUERY - 场景:语句可以直接在一个DN执行(单shard语句,点查场景)。 - 原理:CN直接下发语句QPBE报文到对应DN,这样的做的好处是,执行效率高,线性扩展比好。create table t1 ( col1 int, col2 varchar ) distribute by hash(col1); create table t2 ( col1 int, col2 varchar ) distribute by hash(col1);3.2 FQS_QUERY - 场景:当语句可以完全下推到多个DN上执行,且DN之间不需要数据交互时。 - 原理:CN不通过优化器,直接生成RemoteQuery计划,走执行器逻辑下发到DN,各DN根据下推语句生成执行计划并进行执行,执行结果在CN上进行汇总。create table t1 ( col1 int, col2 varchar ) distribute by hash(col1); create table t2 ( col1 int, col2 varchar ) distribute by hash(col1);LIGHT_QUERY和FQS_QUERY的最大异同点在于,虽然CN都是经过判定后直接把收到的query下发给DN进行处理,但是LIGHT_QUERY只涉及到单DN进行操作,而FQS_QUERY涉及到多个DN分别进行操作,它们都不会涉及到DN间的数据交互。3.3 STREAM GATHER - 场景:需要各DN之间进行数据交互。 - 原理:CN根据原语句通过优化器生成带stream算子的执行计划,下发给DN进行执行,DN执行过程中存在数据交互(stream节点),stream算子在DN之间建立连接进行数据交互,CN汇总执行结果并承担大部分计算。create table t1 ( col1 int, col2 varchar ) distribute by hash(col1); create table t2 ( col1 int, col2 varchar ) distribute by hash(col2);3.4 STREAM REDISTRIBUTE - 场景:需要各DN之间进行数据交互。 - 原理:CN根据原语句通过优化器生成带stream算子的执行计划,下发给DN进行执行,各DN执行过程中存在数据交互(stream节点),stream算子在DN之间建立连接进行数据交互,CN汇总执行结果并承担大部分计算。create table t1 ( col1 int, col2 varchar ) distribute by hash(col1); create table t2 ( col1 int, col2 varchar ) distribute by hash(col2);3.5STREAM BROADCAST - 场景:需要各DN之间进行数据交互。 - 原理:CN根据原语句通过优化器生成带stream算子的执行计划,下发给DN进行执行,各DN执行过程中存在数据交互(stream节点),stream算子在DN之间建立连接进行数据交互,CN汇总执行结果并承担大部分计算。create table t1 ( col1 int, col2 varchar ) distribute by hash(col1); create table t2 ( col1 int, col2 varchar ) distribute by hash(col2);使用REDISTRIBUTE算子时,数据进行重分布可以充分利用多个节点的算力,而BROADCAST算子主要用于stream的子计划产生的数据量较少的情况,此时BROADCAST的代价较少。3.6 PGXC - 场景:不能满足前面处理方式的极端场景,性能非常差。 - 原理:CN通过优化器把原语句中的部分语句生成RemoteQuery计划,把每个RemoteQuery下发到DN,DN执行后把中间结果数据发送给CN,CN收集后进行剩余执行计划的执行计算,CN承担了大部分计算。总结综上所述,GaussDB作为自主研发的新一代金融级分布式关系型数据库,采用可横向扩展的分布式架构,通过SQL优化器生成分布式算子以及分布式执行计划,提供了三种stream流(广播流、聚合流和重分布流)来降低数据在DN节点间的流动;执行引擎是一个分布式并行执行框架,支持节点间并行和节点内并行能力,充分利用当前多核特点,通过并发执行,提高系统吞吐量,具备大数据下高性能查询能力。 Ps:更多精彩内容,请点击回播链接进行观看:cid:link_0
-
摘要:而对企业来说,构建统一的数据底座,才能让数据供应和业务端更高效、更安全、更易共享。随着技术的日新月异,上云已非难事,但异构数据库(转换数据库类型)迁移上云在业界仍是一个巨大的挑战。本文分享自华为云社区《13万张表,数亿行代码,华为云UGO助力异构数据库迁移只需小时级完成!》,原文作者:心机胖 。当前,云上办公,云上交易,云上数字运营已成为主流,不把业务部署到云端,仿佛跟不上时代的步伐。而对企业来说,构建统一的数据底座,才能让数据供应和业务端更高效、更安全、更易共享。随着技术的日新月异,上云已非难事,但异构数据库(转换数据库类型)迁移上云在业界仍是一个巨大的挑战。华为集团是多业态、长链条、全场景的企业,在20年前就开始使用数据库,遍布了研发、供应、财经、行政等领域,有离线场景、实时场景、数仓等使用场景,这些场景使用主流商业数据库居多,随着数字化转型进程加快,在迭代方面,跟不上云的节奏,于是华为集团流程IT携手华为云数据库寻求云上转型。对于拥有海量数据、多种数据库类型、数据库专家云集的华为集团流程IT来说,上云也并非易事。业界盛行“两条腿”走路原则,既要多快好省又要安全稳定可靠,当然华为集团也不例外。面临新的异构数据库,既希望性能大幅提升,也要安全稳定,于是华为集团流程IT选择将业务搬迁至华为云数据库RDS与GaussDB,而兼容性和性能是异构数据库迁移最大的难题。关山难越,异构数据库迁移难以逾越的“深坑”迁移数据库如同搬家,直接搬不太可行,需要先搬“房子主体”,再搬“房子里的家具”等,其中涉及的迁移问题不仅繁杂,而且不能出差错。尤其是令人头疼的兼容问题,不但涉及到结构迁移、语法转换、SQL转换等复杂操作,对数据库性能要求也很高。腾云而出,华为云UGO为自动化搬迁而生首先华为云数据库联合华为集团流程IT对业务进行全面评估,华为集团数据库有数十万张表,10万级的存储过程,存储过程的代码超过亿级的代码,几十万个任务调度,迁移数据量高达数TB。经评估后,应用手动改造工作量巨大,需要成熟的企业级端到端对象迁移或者是评估工具,来提升异构数据库迁移转化率。华为云推出的数据库和应用迁移 UGO则为异构数据库对象迁移和应用迁移而生!通过预迁移评估、自动化语法转换,帮助用户提前识别迁移风险,提升迁移效率,最大化降低用户的数据库迁移成本。华为云数据库给出了三步走的迁移方案,通过华为云UGO评估并转换异构数据库语法进行语法迁移,再通过华为云数据复制服务DRS基于日志的实时变化数据捕捉,进行数据迁移,最后通过华为云DRS数据校验保证数据一致性。使用的关键技术有:1)迁移工作量评估:依据海量业务场景下的实际人力迁移成本作为评估基线,依据大量业务场景自动化迁移过程,累计迁移工作量作为输入,同时结合代码量、转化率、不兼容特性改造难度,方便客户对迁移工作有一个具体的量化感知。2) 应用SQL迁移:通过采集源库SQL流量,并进行SQL动态转换,将数据通过流量仿真回放形式迁移到目标库中,提供自动错误定位和迁移校验,迁移过程中订正对象清晰明确。同时,通过对源库进行迁移评估和SQL翻译,并且输出SQL翻译报告,完成应用改造,最后迁移到目标库。神速之光,华为云UGO小时级完成搬迁华为集团流程IT拥有数TB级别的数据量、数十万存储过程,迁移周期从以天为单位缩短至小时级,减少了50%存储过程改造成本,支撑主流商业数据库500+个Schema迁移,节省了70%+工作量,迁移套数1000+。在一般情况下,迁移周期和各方面的评估需要1-2个月的时间,迁移周期也是按天计算,而UGO只需小时级就完成了迁移。华为云UGO消除了异构数据库迁移难度大、周期长、成本高等问题,高效的支撑了华为集团流程IT数字化转型。此外,上云后实现了数据库分钟级扩容、数据秒级入库,解决了传统数据库扩展难及数据入库压力大的问题,可支撑逻辑库亿级别的数据量。微服务化改造后,预期可支撑2年的业务数据增长。目前,华为云数据库应用迁移解决方案顺利通过信通院“数据库应用迁移服务能力”评测,成为国内首批通过该项的商用数据库迁移方案,成功取得了国内首批评测最高级别的成绩。未来,华为云UGO将会不断创新,持续构筑技术硬实力,为客户提供更简单易用、高效可靠的迁移方案。华为云UGO火热公测中,立即免费体验
-
1. 概述在SQL运行过程中,当计算的数据量超过内存的可用大小时,为了避免把内存撑爆,就会产生下盘,将内存中的数据先临时写入到磁盘中。从整个集群的视角来看,下盘分为: CN上的下盘和DN上的下盘。下盘文件存放的目录均为 base/pgsql_tmp下盘文件格式 pgsql_tmp+queryid+threadid+NO 可以根据query_id找到正在执行的语句。 在一个会话中单个下盘文件的大小通过参数temp_file_limit 来做限制,默认值为-1。单个SQL在单个DN上的下盘空间大小通过参数 sql_use_spacelimit来做限制,默认值为-12.CN上下盘CN上下盘控制参数是work_mem,当执行算子使用的内存超过这个参数配置的大小就会产生下盘。2.1 不下推的语句当语句不能下推的时候在以下场景下执行过程CN需要缓存中间结果集,当中间结果集的大小超过work_mem的时候就会产生下盘。insert into select xxxx;游标场景多次执行fetch操作;2.2 CN RETRY下盘当使用CN RETRY 功能时, CN端使用的临时文件的最大值,通过参数max_cn_temp_file_size 来控制。当返回的结果集超过8K的时候,会分多次返回给客户端,为了避免retry 场景下返回多余的脏数据给客户端,需要将结果集进行下盘,然后反馈给客户端。3. DN上下盘执行计划下推到DN上进行执行的时候,物化类的算子是很消耗内存的,物化类算子会将中间结果缓存下来,当超过内存限制的时候会产生下盘,物化类的算子主要有以下几类: 下盘的控制逻辑主要有两种形式。3.1 打开动态负载管理(enable_dynamic_workload)打开该参数的时候,会使用内存自适应的功能,关于内存自适应的特性会单独进行博客说明,在语句生成计划的时候,会根据当前系统的负载和数据量大小来估算算每个算子的可用内存,然后在执行过程中会基于这个值来进行下盘控制。这里需要注意的是,若果参与计算的表上没有收集统计信息,无法正确的估算出可用内存大小,那么会使用work_mem来控制每个算子下盘的时机。 3.2 关闭动态负载管理当关闭动态负载管理后,内部执行算子会根据work_mem的大小来控制每个算子的下盘时机,当使用的内存大于work_mem的时候就会造成下盘。 4. TOPSQL中下盘信息执行完的历史SQL信息会记录到TOPSQL系统表 pgxc_wlm_session_info中。上图中的几个字段记录了下盘信息,可以通过spill_skew_percent来判断是否存在下盘倾斜,以及下盘量的多少。
-
【操作步骤&问题现象】在使用相对路径表空间的情况下,数据跑sql 涉及临时落盘情况,数据会存放在表空间下的路径(占用表空间存储)还是哪里?
-
使用unnest函数的时候报set-return function not supported in vector eninge执行语句:select unnest(string_to_array(Supervise_Item_Code,'^',null)) from jg_yypt.jg_jgxw_punish_action limit 1;报错:ERROR: dn_6047_6048: set-return function not supported in vector eninge在默认库里面会报错,在别的库里面可以正常执行,这是哪里有问题
-
问题现象:执行call dbms_output.put_line(str) 或者其他存储过程内调用dbms_output.put_line函数时,有时会出现报错:ERROR: buffer overflow, limit of 20000原因:该报错的原因是put_line函数默认最大输出长度为20000,超过该长度会出现报错。解决方法:执行 call DBMS_OUTPUT.ENABLE(200000); 调大最大长度限制,或者 call DBMS_OUTPUT.ENABLE(-1) 不做长度限制
-
数仓性能调优是数据库应用开发和迁移过程中的关键步骤,在整个项目实施过程中占据很大的份量。它没有明确的衡量标准和对错之分,考验的是资深一线技术人员的隐式技能。如果想成为一个性能调优的高手,除了对应用程序的逻辑做到游刃有余外,还需要了解应用的数据库的基本实现原理,更甚者,需要对操作系统、网络等基础知识有所涉猎,同时还要具备性能诊断和分析技巧。介于此,华为云社区推出了“GaussDB(DWS)性能调优”系列专题,该技术专题由华为云数据库内核技术专家、一线系统工程师撰写,从业务实战经验出发,为开发者介绍数据库级别的性能调优思路和总体策略,包括系统级和语句级调优。本系列文章共分为三部分,前面的基础篇和实战篇聚焦于数仓调优,最后为大家简单介绍数仓产品的最新动态。各位开发者可以通过基础篇文章了解数据库的基本原理,然后结合调优思路,对实战篇的各个调优技巧进行深入的学习。性能调优是一个不断积累的过程,大家不用考虑一步到位,唯有进行实践的积累,才能在广阔的调优战场所向披靡。Part 1: 数仓调优基础篇基础篇介绍性能调优最基本的数据库命令analyze和explain,同时,基于分布式数据库GaussDB(DWS)中产生的分布式计划多种多样的特点,补充对现有分布式计划种类及其性能优劣的详细介绍。⇔ GaussDB(DWS)性能调优系列基础篇一:万物之始analyze统计信息介绍analyze命令,依次解读什么是统计信息,为什么要收集统计信息、怎么收集统计信息以及什么时候应该收集统计信息。⇔ GaussDB(DWS)性能调优系列基础篇二:大道至简explain分布式计划详细解读explain展示的数据库执行计划,介绍如何通过执行计划了解数据库的执行过程、识别性能瓶颈,针对性调优。⇔ GaussDB(DWS)性能调优系列基础篇三:衍化至繁之分布式计划详解基于分布式数据库GaussDB(DWS)中产生的分布式计划多种多样的特点,补充对现有分布式计划种类及其性能优劣的详细介绍。Part 2: 数仓调优实战篇从数据建模、表定义的设计,到数据库硬件、集群部署的选择,再到数据库系统级调优、数据表结构设计,以及单个SQL语句的编写及调优,都要考虑对性能的影响。系统级调优也好,SQL级调优也罢,掌握这十八般武艺,你也能成为一个性能调优高手。⇔ GaussDB(DWS)性能调优系列实战篇一:十八般武艺之总体调优策略介绍数据库级别的性能调优思路和总体策略,包括系统级和语句级调优,本篇主要重点放在系统级调优。⇔ GaussDB(DWS)性能调优系列实战篇二:十八般武艺之坏味道SQL识别发现SQL中的坏味道(导致执行效率低下的SQL语句及其执行方式)是性能调优的前提,本文简要介绍如何通过自诊断视图识别和发现业务中存在的 “坏味道”SQL,以便针对性调优。⇔ GaussDB(DWS)性能调优系列实战篇三:十八般武艺之好味道表定义如何根据数据库特征和产品业务特征,设计合理的表定义,以达到性能提升的目的。⇔ GaussDB(DWS)性能调优系列实战篇四:十八般武艺之SQL改写通过SQL改写提升执行性能,同时改写方法也是数据应用开发过程应该遵循的好SQL的书写习惯。⇔ GaussDB(DWS)性能调优系列实战篇五:十八般武艺之路径干预路径干预方法介绍,路径生成是表关联方式确定的主要阶段,本文讨论几个影响路径生成的要素:cost_param、 scan方式、join方式、stream方式,并从原理上分析如何干预路径的生成。⇔ GaussDB(DWS)性能调优系列实战篇六:十八般武艺Plan hint运用计划干预方法介绍,执行计划数据库执行方式的外在展示,本文讨论如何通过plan hint提示优化器采用更高效的计划,可以使查询执行的性能获得大幅的提升,成为性能调优的一件有利的工具。Part 3: 数仓GaussDB(DWS)产品动态新一代华为云数仓GaussDB(DWS)已广泛应用于金融、政府、运营商、交通、物流、互联网等领域,服务于全球1000+客户,为各行业提供极具竞争力的数据仓库解决方案。⇔ 华为云GaussDB(DWS)数据仓库以2048大规模节点通过信通院评测认证⇔ 五大关键能力,华为云原生数据仓库GaussDB(DWS)深度技术解读⇔ 华为GaussDB(DWS)数据仓库,助力招行“人人用数,创新前行”⇔ 数智金融 使能创新,“2020华为数智金融论坛”在溪村成功举办⇔ 华为认证GaussDB OLAP数仓高级工程师 HCIP-GaussDB-OLAP V1.5(中文版)发布通知数仓GaussDB(DWS)开发者论坛:https://bbs.huaweicloud.com/forum/forum-598-1.html数仓GaussDB(DWS)产品主页:https://www.huaweicloud.com/product/dws.html转自,【技术补给站】第2期:数仓性能调优必读:从系统级到SQL级,带你进阶为性能调优高手-云社区-华为云 (huaweicloud.com)
-
一、tpcds工具编译1. 从tpc官网下载TPC-DS包。http://www.tpc.org/tpcds/2. 提交TPC-DS包至linux服务器上。3. 解压。 unzip tpc-ds2.6.zip4. 进入目录。 cd v2.6.0/tools5. 复制Makefile文件。 cp Makefile.suite Makefile6. 编译工具 make二、生成查询语句#----下面是坑,query生成工具调用的模板里面缺少两个宏定义,需要自己补上,可以定义为任意字符串,但推荐下面设置1. 编辑sql生成模板。 vi ../query_templates/oracle.tpl2. 新增两个宏定义。 define _BEGIN = "-- start query " + [_QUERY] + " in stream " + [_STREAM] + " using template " + [_TEMPLATE] + " and seed " + [_SEED]; define _END = "-- end query " + [_QUERY] + " in stream " + [_STREAM] + " using template " + [_TEMPLATE];#----完成填坑3. 然后就可以生成query了。 ./dsqgen -input ../query_templates/templates.lst -directory ../query_templates/ -dialect oracle -scale 10000 参数就不解释了,自个使用-?查询就明白了。4. And,query生成在哪呢? 查看当前路径下的sql文件,会发现多了一个query_0.sql,就是“这货”了。 ls query_0.sql 三、生成TPC-DS数据 生成数据依赖于dsdgen工具,此外还有一个tpcds.idx的二进制文件常用的参数:-scale <n> : n为整数,指定生成数据的规模-dir <dir> : dir为已存在的目录,指定生成数据文件的存放目录-parallel <n> : n为整数,指定数据生成多少份-child <n> : n为整数,指定生成第一几份数据,配合-parallel使用-delimiter: 指定数据文件字段分隔符-table <tablename> : 指定生成哪张表数据注:tpcds共25张表,表名如下:call_centercatalog_pagecustomercustomer_addresscustomer_demographicsdate_dimdbgen_versionstorehousehold_demographicsincome_bandinventoryitempromotionreasonship_modetime_dimwarehouseweb_pageweb_sitecatalog_returnsweb_returnsstore_returnscatalog_salesweb_salesstore_salesTPCDS数据主要存在store_sales、store_returns、catalog_sales、catalog_returns、web_sales、web_returns 6个表中,生成数据时指定store_sales、catalog_sales、web_sales三个表即可,store_returns、catalog_returns、web_returns三个表会随*_sales数据的生成自动生成出来典型用法:生成tpcds 100x数据,表store_sales数据文件分为5份,将第一份数据存在在目录/data2/tpcds100x下(根据需要可以适当舍去某些选项)./dsdgen -scale 100 -dir /data2/tpcds100x -TERMINATE N -parallel 5 -child 1 -force Y -table store_sales ./dsdgen -scale 100 -dir /data2/tpcds100x -TERMINATE N -parallel 5 -child 2 -force Y -table store_sales ./dsdgen -scale 100 -dir /data2/tpcds100x -TERMINATE N -parallel 5 -child 3 -force Y -table store_sales ./dsdgen -scale 100 -dir /data2/tpcds100x -TERMINATE N -parallel 5 -child 4 -force Y -table store_sales ./dsdgen -scale 100 -dir /data2/tpcds100x -TERMINATE N -parallel 5 -child 5 -force Y -table store_sales 想了解GuassDB(DWS)更多信息,欢迎微信搜索“GaussDB DWS”关注微信公众号,和您分享最新最全的PB级数仓黑科技~转载来自:https://bbs.huaweicloud.com/blogs/268496
-
【摘要】 在GaussDB(DWS)智能运维体系介绍中,大致梳理了DMS作为DWS云原生的智能运维系统,整个体系设计和服务群体,本文将以DBA视角分析,当在使用DWS数仓服务遇到SQL执行问题,怎么利用DMS系统去定位问题,并介绍DMS是怎么设计查询相关的指标和页面。在GaussDB(DWS)智能运维体系介绍中,大致梳理了DMS作为DWS云原生的智能运维系统,整个体系设计和服务群体,本文将以DBA视角分析,当在使用DWS数仓服务遇到SQL执行问题,怎么利用DMS系统去定位问题。1. 直接入口 - 集群概览在集群概览页面中可以看到当前集群执行SQL中耗时和下盘量最大的top5的查询SQL,如果像获取更进一步的查询信息,可以通过【监控】-【查询监控】2. 查询监控 - 实时查询在实时查询页面,提供了一个当前查询执行的聚合数据,提供当前数据库中运行、阻塞、延迟、取消查询数,以及在快慢车道中的查询数。聚合指标说明聚合指标名称指标说明计算方式运行处于运行中查询的数量state = ‘active’ state = ‘fastpath function call’ 为了保证数据一致性,这里还需要减掉阻塞和延迟的查询数量。阻塞处于阻塞中查询的数量state = ‘active’ and waiting = ‘t’取消后端在事务中,但事务中有语句执行失败state = ‘idle in transaction (aborted)’延迟查询正在排队等待执行state = ‘active’ and enqueue is not NULL快慢车道处于快车道中的查询和处于慢车道中的查询数量lane = ‘fast’ lane = ‘slow’DBA可以在【查询监控】-【实时监控】页面中对当前系统的查一下以提交时间、阻塞时间、执行时间、CPU时间、CPU时间倾斜、平均下盘量这些维度进行排序,获取关注的这些维度的topN的数据。实时查询显示项说明指标名称指标描述查询ID当前查询语句的QueryID,内核给每一个查询语句分配的唯一标识用户名称提交当前查询语句的用户名称应用名称当前查询语句所对应的应用名称数据库名称当前查询语句所对应的数据库名称工作负载队列承载当前查询语句的工作负载队列名称提交时间当前查询语句提交的时间戳阻塞时间当前查询语句执行前的等待时间,单位:ms执行时间当前查询语句到目前为止的执行时间,单位:msCPU时间当前查询语句在所有DN上执行的CPU总时间,单位:ms平均下盘量当前查询语句在所有DN上的平均下盘量,单位:MB查询语句当前正在执行的查询语句接入CN提交当前查询语句的CN名称客户端IP提交当前查询语句的客户端IP地址快慢车道当前查询语句所在的车道查询状态当前正在执行查询的语句的查询状态排队状态当前查询在数据库中执行的状态,是否在工作负载队列上排队查询监控还可以对具体的单个查询查看详细信息。查询详情指标名称指标描述基本信息该查询的基本信息:用户名,数据库,开始时间,预估执行时间等等调优警告该语句触发的内核调优告警,没有的话返回空实时资源消耗展示SQL执行过程中,CPU,内存,I/O下盘量指标的变化趋势(该页面仅实时查询下钻显示)历史资源消耗展示SQL执行过程中,CPU,内存,I/O下盘量指标的变化趋势查询语句该查询所执行的SQL语句查询计划该查询的语句的查询计划DMS还提供了历史查询,供DBA通过时间区间查看历史查询信息历史查询除了表格数据,DMS还提供了性能监控,可以提供对当前集群或者数据维度的TPS,查询数等指标提供趋势分析性能监控除了针对DBA提供可视化的页面呈现,DMS还提供了openAPI供开发人员对应自有监控系统。openAPI (华为云未上线)/v1/{project_id}/dms/clusters/{cluster_id}/query{ "queries": [ { "query": "select count(*) \r\nfrom store_sales\r\n ,household_demographics \r\n ,time_dim, store\r\nwhere ss_sold_time_sk = time_dim.t_time_sk \r\n and ss_hdemo_sk = household_demographics.hd_demo_sk \r\n and ss_store_sk = s_store_sk\r\n and time_dim.t_hour = 8\r\n and time_dim.t_minute >= 30\r\n and household_demographics.hd_dep_count = 5\r\n and store.s_store_name = 'ese'\r\norder by count(*)\r\nlimit 100;", "max_cpu_time": 0, "min_cpu_time": 0, "total_cpu_time": 0, "cpu_skew": 0, "max_peak_mem": 11, "min_peak_mem": 11, "avg_peak_mem": 11, "mem_skew": 0, "max_spill_size": 0, "min_spill_size": 0, "avg_spill_size": 0, "spill_skew": 0, "max_peak_iops": 0, "min_peak_iops": 0, "avg_peak_iops": 0, "iops_skew": 0, "db_name": "test", "application": "gsql", "query_id": "79657418412457882" } ], "timestamp": 1616679496270, "cluster_id": "9c11a33a-64e6-40c1-93bd-01b2255b2228" }想了解GuassDB(DWS)更多信息,欢迎微信搜索“GaussDB DWS”关注微信公众号,和您分享最新最全的PB级数仓黑科技~转载来自:https://bbs.huaweicloud.com/blogs/269981
-
一、介绍PL/SQL DEVELOPER是一个集成开发环境,它专门针对Oracle数据库的存储程序单元的开发所用。PL/SQL开发者在开发Oracle应用程序的时候都注重于开发工具简单易用,代码简洁和开发效率高等特点。二、下载和安装想要使用 PL/SQL DEVELOPER ,需要先下载安装介质:PL/SQL DEVELOPER软件:plsqldev1406x64.msiOracle客户端软件:WINDOWS.X64_193000_client.zip注意:两个软件的系统位数和windows系统需保持一致,本次为64位。1、安装PL/SQL DEVELOPER选择输入密钥安装:输入密钥信息:product code: ke4tv8t5jtxz493kl8s2nn3t6xgngcmgf3serial Number: 264452password: xs374ca至此,PL/SQL DEVELOPER 安装结束。2、安装Oracle客户端解压到安装目录:双击setup开始安装客户端:选择管理员模式安装:使用内置账户:根据实际情况进行选择,建议默认:至此,Oracle客户端 安装结束。三、配置Windows系统环境变量1、右键我的电脑—>高级系统设置—>环境变量2、系统变量添加TNS_ADMIN变量:3、系统变量添加NLS_LANG变量,值为SIMPLIFIED CHINESE_CHINA.ZHS16GBK四、配置PL/SQL Developer软件1、双击打开PL/SQL Developer软件连接方式有两种:1、配置TNSNAMES2、通过IP、监听端口和实例名1、配置TNSNAMES在TNS_ADMIN的路径下,新建一个文件:tnsnames.oraTNS文件中,CDB19C 是自定义的TNS名称,10.211.55.100是oracle数据库主机的IP,1521是监听的端口号,cdb19c是oracle数据库实例的服务名。重新打开PL/SQL Delveloper软件,填入数据库用户名密码,选择TNS(CDB19C),角色为SYSDBA:计算器:SELECT 365 * 24 FROM dual;2、通过IP、监听端口和实例名打开PL/SQL Delveloper软件,填入数据库用户名密码,角色为SYSDBA,数据库填写:10.211.55.100:1521/cdb19c执行查询当月日历:上面介绍了通过安装PL/SQL和Oracle客户端,成功连接到Oracle数据库进行查询。当然,还有一种更简单的方式进行配置PL/SQL Developer,就是通过打包已安装好的软件+Oracle免安装的客户端软件。直接解压缩,配置环境变量即可使用,本文不做介绍。感兴趣的朋友可以加博主私信获取安装包。————————————————版权声明:本文为CSDN博主「Lucifer三思而后行」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。原文链接:https://blog.csdn.net/m0_50546016/article/details/117913049
-
我们在support上可以找到标准的扩容指导书,用于指导我们扩容重分步,解决我们数据节点数据盘存储容量瓶颈的问题。这是常见的标准扩容重分步操作指导。经过提RFC申请,我们常常会得到一个时间窗,这个时间窗是要进行添加主机和mppdb的重分步,过程中是要求离线的,如果评估出来的时间窗是24+小时,就得对应停业务这么长时间,有时甚至额外加上环境问题导致的故障处理时间对于可以追批的局点可以接受,但是对于某些金融局点,长时间停业务往往就很难协调时间窗。这时候就需要定制的分段重分步,分段重分步允许客户每天留一定时间(建议4+小时,这段时间还是要离线停业务的)重分步操作,即将整个重分步流程分多批次(天)来执行。并对所有表进行规划排序重分步,以便最大效率最短时间完成重分步建议将版本升级到GAUSSDB A 8.0.0.9以上,相关影响,由于重分步过程中会有2个nodegroup,需要业务sql开始加上固定的sql,防止搜索计划超时,详见提RFC的具体文件。建议组网规划,新节点不要和老节点不同网段,以免出现网络性能不均衡的情况。由于要根据局点定制化执行(排表重分步顺序,按业务调整等),不经RFC不可私自执行RFC方案审核完后,现场保障人员即可依据方案执行。
-
安全多方计算在SQL场景下的限制随着MPC、隐私计算等概念的流行, 诸多政府机构、金融企业开始考虑参与到多方计算的场景中, 扩展数据的应用价值。以下面这个场景为例, 银行可能希望获取水电局和税务局的数据,来综合计算得到各公司的信贷评分等级。通过TEE、MPC等策略,可防止中间数据在计算过程中发生泄漏。但计算结果最终会返回给作业发起方, 例如发起方试图查询 [企业id, 用水量+ 用电量]时 , 隐私计算平台只能保证用电量、用水量单独不泄露, 无法保证用水量和用电量的相加值不被泄露,毕竟这个相加值是作为计算结果呈现的。 因此对于“计算结果是否会泄露敏感数据”这个问题,是TEE、MPC等策略所无法解决的。常见解决策略一、默认的隐私策略隐私计算平台通过设置复杂的隐私策略,指定少数sql场景, 来强行限制敏感数据的使用。例如直接拒绝id字段、敏感数据字段被明文暴露等。二、基于审批的作业共识但由于业务场景复杂,如果规则限制过强,可能导致阻止了正常逻辑的作业, 如果限制过弱,则可能导致敏感数据被恶意套取丢失。因此在多方SQL计算时,各数据提供方和作业发起方应该能够针对作业内容达成共识,确认该作业对数据的使用是正常的,合理的。TICS作业审批功能,达成计算共识华为tics可信智能计算服务支持作业审批功能,当试图发起某SQL多方作业时,数据提供方可进行审批,确认是否允许这种数据的用法。具体操作步骤如下:联盟管理员登录TICS控制台。进入TICS控制台后,单击页面左侧“联盟管理”。进入联盟管理页面后,单击联盟名称进入联盟详情页。联盟管理员在联盟详情页右上角单击“开启作业审批”。开启之后,所有作业就都需要通过审批后,才能执行。作业发起方进入自己所属的代理,编写完作业之后,单击“提交审批”。在页面下方可查看审批方和审批进度。图1 提交审批此时TICS执行分析作业的SQL语句时,将不再受隐私规则的语法限制,此时必须由提供方确认字段用途后才能继续执行SQL语句。审批中或者审批通过后, 如果进行了修改SQL和保存操作,那么就需要重新提交审批。提交完成后,在页面下方可查看审批方和审批进度。图2 审批进度数据提供方进入数据集所在代理,单击页面左侧的“审批管理”,查找待处理的审批项。点击“查看详情”。图3 审批管理详情页可以看到审批报告,报告内容包括作业发起方、会在该代理连接器上执行的SQL语句、各字段作用描述、是否在结果中可见(即明文显示)等。图4 详情说明:处于保护作业发起方的业务机密性, 这里会屏蔽所有和该审批者无关的字段信息,例如ID字段的描述中, 会屏蔽该字段具体和哪个字段做Join。审批报告中的“字段是否在结果中可见”直接决定了该字段数值是否会明文显示,请根据字段业务类型慎重判断是否可见。数据提供方确认风险后,在详情页填写审批意见,单击“同意”。作业发起者执行作业,执行完成后,可在页面下方查看执行结果。图5 执行作业华为可信智能计算服务 TICS 官网链接:https://www.huaweicloud.com/product/tics.html欢迎参与最新版的体验。tics服务交流社区:https://bbs.huaweicloud.com/forum/forum-1348-1.html
-
可通过如下SQL实现:select n.nspname,c.relname,a.attname,t.typname from pg_attribute a left join pg_class c on a.attrelid = c.oid left join pg_namespace n on c.relnamespace = n.oid left join pg_type t on t.oid = a.atttypid where c.relname='test' and a.attnum>0;其中test修改为具体的表名称即可,该返回结果会将不同schema下名称为test的表的字段信息全部罗列出来。
-
可通过如下SQL实现:select n.nspname,c.relname,a.attname,t.typname from pg_attribute a left join pg_class c on a.attrelid = c.oid left join pg_namespace n on c.relnamespace = n.oid left join pg_type t on t.oid = a.atttypid left join PG_PARTITION p on a.attnum::varchar = p.partkey::varcharwhere c.parttype = 'p'and c.relname = p.relname;查询结果为当前数据库下,所有schema下面的分区表的信息。包含分区字段以及其字段的属性。其中pg_class、pg_namespace、pg_type、PG_PARTITION均为系统视图,增加一些筛选条件还能获取不同的展示结果,例如增加一个条件and n.namespace='schema_name' --schema_name 替换为实际的名称可以指定某一个schema显示其下属的所有的分区表的信息。
上滑加载中
推荐直播
-
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家;李炎-华为云码道产品专家;彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战,从0到1打通消息通道;码道鸿蒙端云一体化实战,快速搭建员工签到系统。
回顾中 -
华为云开发者AI素养直播课·第五期2026/09/04 周五 16:00-18:00
林华鼎-华为云AI开发者运营负责人;蒋春阳-华为云AI开发者案例开发专家
本期直播内容: AI工具体验营 · 第5-8课连讲。Agent-Team 多智能体协作完成毕业设计实践
回顾中 -
华为云开发者AI素养ClassRoom·第六期2026/09/08 周二 19:00-20:00
樊渊-2026华为软件挑战赛冠军
高手来了:看软挑高手解析二维排样问题—从工业难题到算法突破
回顾中
热门标签