• [性能调优] gaussDB row_number WindowAgg 算子不下推,导致性能非常差,如何解决?
    我有一个 row_number 的分组排序函数,并且只取每个分组排序的第一个值。这张表有4亿数据,且 fea_id 的个数是10个。sql 语句及执行计划如下,为什么这个语句的 WindowAgg 算子不下推,以及,有什么办法能够让它强制下推呢? WindowAgg 不下推,性能实在是太差了。 ![](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202111/05/1058011yrjxxkktv1stn2g.jpeg) PS: 1 有的时候,通过 analyse table_a,更新一下统计信息,row_number 的执行计划就会从不下推变成下推执行,但是上面的例子,不起作用。 2 即使是通过 analyse 操作,让算子的代价评估更准确,然后更有可能下推,但是依然存在评估没有那么准确的时候,怎么强制让这个语句下推呢?就像对于 group by 操作,可以通过 best_agg_plan 参数来强制在 DN 上做预聚合一样。
  • [其他] GaussDB的技术发展以及在金融核心数据库国产化的最佳实践丨DAMS峰会
    2021 DAMS中国数据智能管理峰会即将于11月5日在上海盛大举办,为大家带来大数据、数据资产管理、数据库、运维、金融科技等领域的先进理念和最佳实践。其中,来自华为云的两位专家老师将分享GaussDB在技术、商业、生态上的发展规划,以及在金融核心业务场景中的“去O”实战与思考,一起来先睹为快:以上议题内容将会在2021 DAMS中国数据智能管理峰会 - 上海站完整呈现,更多关于大数据、数据治理、数据资产管理、数据库、数仓、**、AIOps、DataOps、Fintech金融科技等互联网大厂及大型商业银行实战经验,都可以在11月5日的DAMS峰会一次性看全。    峰会议程       码上报名   
  • [问题求助] GaussDB(DWS)支持 prepare transaction 吗?
    看帮助文档上提了(文档首页> 数据仓库服务 GaussDB(DWS)> SQL语法参考(8.1.1)> TCL语法> PREPARE TRANSACTION),但是在DWS实例的参数修改中找不到 max_prepared_transactions 参数项,但执行 show all 查询却又能看到个大于0的值。然而真的运行 PREPARE TRANSACTION 语句时,却又提示“SQL 错误 [4426] [0A000]: ERROR: Explicit prepare transaction is not supported.”
  • [性能调优] 【DWS产品】【功能】高效识别小CU表的问题
    当前提供的一些识别小 CU 的方案,效率都比较低, 一般都是先怀疑某个表是小CU 膨胀,然后在通过查看 CU 个数来识别, 虽然可以查询出来 , 速度也是相当慢  , 更谈不上整个数据库来定期搜索小 CU 的列表了 。  新版的DWS 是否有高效一些的功能,可以识别小CU 表膨胀的  ?   
  • [性能调优] 【DWS产品】TOPSQL过程pg_catalog.pgxc_get_wlm_session_info_bytime查询慢问题
    通过如下语句查询 top sql 信息,发现查询非常慢, 是否有优化方法 : select 'mes-gce-des-001-dws-pro' as clustername, *   FROM pg_catalog.pgxc_get_wlm_session_info_bytime('start_time', (now() - (interval '10 min'))::timestamp, now()::timestamp, 400000) WHERE start_time > '2021-11-01 00:00:00'  ORDER BY start_time ASC;
  • [其他] 【集群创建失败】DWS.6000/46%左右失败/RdsDownloadPackageTask失败
    现象:1.DWS.60002.46%左右失败分析1.登录dwscontroller后台rms库查看发现 在task  RdsDownloadPackageTask 失败     登录数据库: cid:link_0     select task.job_id,    task.task_name,    task.begin_time,    task.listener_num,    task.retry_num,    task.execution_status    from rds_instance ins left join     taskmgr_task task    on ins.jobId=task.job_id    left JOIN    taskmgr_job  job on     task.job_id=job.job_id    where ins.`name` like '%集群名称%'    order by task.job_id,task.begin_time;2.登录实例节点发现 vi /home/Ruby/log/downloadPackage.log 下载 包超时报错     登录节点:cid:link_13.使用swift做为包存储4.在实例节点上ping swift域名(域名从CDK参数obs.endpoint配置信息获取),无法ping通,恢复方案,场景1     判定,到swift服务器的网络不通5.在实例节点上 curl {obs.endpoint} 反馈为empty则端口通,没有返回则端口不通,看恢复方案,场景26.下载包报错:Failed to download package {包名},且为OBS存储,请登录obs客户端检查内核包权限是否是匿名可读写,看恢复方案,场景3恢复方案:场景1:在实例节点上ping swift域名(域名从CDK参数obs.endpoint配置信息获取),无法ping通检查swiftadpter是否配置:没有配置裸金属网关没有配置swiftadpter 网段,参考案例:cid:link_2关键命令:cps template-ext-params-show --service baremetal-gateway neutron-hypervbm-agent001cps template-ext-params-update --service baremetal-gateway neutron-hypervbm-agent001 --parameter neutron_hypervbm_ovs.DEFAULT.innet_service_cidr=原IP列表基础上新增缺失IP场景2:在实例节点上 curl {obs.endpoint} 反馈为empty则端口通,没有返回则端口不通检查一层,二层交换机是否配置正确历史积累场景:管理交换机 没有放通dmz ecmp的vlan场景3:obs上内核包权限不是匿名可读写登录obs修改对应的包权限
  • [问题求助] gaussdb 8.0.0.1 里面没找到sm3加密/解密函数,自己创建函数实现需要怎么实现?是否有现成的方法或方式?
    【操作步骤&问题现象】gaussdb 8.0.0.1 里面没找到sm3加密/解密函数,自己创建函数实现需要怎么实现?是否有现成的方法或方式?
  • [问题求助] 【Gaussdb A产品】【函数加密 解密功能】Gaussdb A 8.0.0是否支持加密与解密函数 算法否支持SNM3加密算法
    你好,Gaussdb A8.1.1有加密函数gs_encrypt与Gs_decrypt,但此版本8.0.0 gs_encrypt是一个工具,也没有解密的工具或函数,对于算法是否支持SNM3加密算法,而不是 SM4-CTR-128或者AES-CTR-128,所以想请问Gaussdb A产品 8.0.0对于函数加密或解密是否有函数,如果有算法否支持SNM3加密算法,谢谢,谢谢!
  • [其他] GaussDB(DWS)重建实例
    1.    适用场景硬件故障进行过单盘替换、背板替换、内存故障等。较为严重数据倾斜,清除倾斜表后对备机进行重建以便快速恢复。2.    前提条件GaussDB A集群安装成功,且处于已启动状态。集群处于Degraded或normal状态需要重建实例配置文件conf存在并且正常,比如未发生过重组raid、磁盘损坏导致大量文件丢失情况。3.    对系统影响重建实例原理是从对应主实例上复制一份数据到当前实例,重建期间主要耗费主实例所在磁盘读IO与当前重建实例所在盘的写IO。4.    实施步骤4.1确认需要build实例路径与nodeid步骤1 以omm用户登录GaussDB A集群的第一个正常的cn节点步骤2 执行以下命令,启用环境变量source ${BIGDATA_HOME}/mppdb/.mppdbgs_profile步骤3 查询需要重建实例nodeid与路径信息(以6002为例)cm_ctl query -Cvd|grep 6002说明6002实例nodeid为2,实例路径为:/srv/BigData/mppdb/data1/slave1,后续步骤均用到该信息。1  h61        6001 /srv/BigData/mppdb/data1/master1     P Primary Normal | 2  h63        6002 /srv/BigData/mppdb/data1/slave1      S Standby Normal | 3  linux18065 3002 /srv/BigData/mppdb/data1/dummyslave1 R Secondary Normal4.2检查是否有残留重建任务,防止后续重建失败步骤1在需要重建实例路径查看是否有重建残留进程以6002为例,在该实例所在节点h63执行ps -ef|grep gs_ctl|grep -v grep查询为空则正常步骤2 查看是否有build标志文件残留(8.0以下版本)在6002所在节点查看该实例路径下是否有build_completed.start文件存在ll /srv/BigData/mppdb/data1/slave1/build_completed.start若执行为空则为正常情况,若该文件存在手动移走或删除该文件后。4.3拉起重建任务步骤1根据实例nodeid与路径信息手动停止需要重建实例cm_ctl stop -n 2 -D /srv/BigData/mppdb/data1/slave1 说明cm_ctl: stop the node:2, datapath:/srv/BigData/mppdb/data1/slave1....cm_ctl: stop instance successfully!步骤2 确认需要重建实例是否处于Manually stopped状态cm_ctl query -Cvd|grep 6002说明1  h61        6001 /srv/BigData/mppdb/data1/master1     P Primary Normal | 2  h63        6002 /srv/BigData/mppdb/data1/slave1      S Down    Manually stopped | 3  linux18065 3002 /srv/BigData/mppdb/data1/dummyslave1 R Secondary Normal步骤3 在后台拉起实例重建(仅限非C80版本)高危操作,必须联系华为工程师确认后执行!!!!!!nohup cm_ctl build -n 2 -D /srv/BigData/mppdb/data1/slave1 -b full -t 108000000 >> /home/omm/6002_build.log 2>&1 &步骤4 确认实例处于build状态即可注:数据量较多情况下该过程会比较耗时,一直是build状态均为正常情况。cm_ctl query -Cvd|grep 6002 说明1  h61        6001 /srv/BigData/mppdb/data1/master1     P Primary Normal | 2  h63        6002 /srv/BigData/mppdb/data1/slave1      S Standby Building(100%) | 3  linux18065 3002 /srv/BigData/mppdb/data1/dummyslave1 R Secondary Normal 
  • [问题求助]  【香港启德项目】【数据平台】更换办公地址,ip发生变化,登录DWS库,需要把IP地址添加至白名单
    【功能模块】数据湖-DWS库【操作步骤&问题现象】1、更换办公地址,ip发生变化,登录DWS库,需要把IP地址添加至白名单公网IP : 1.85.38.98  内网IP 10.100.9.133公网IP: 202.105.136.146 内网IP:172.17.10.245【截图信息】【日志信息】(可选,上传日志内容或者附件)王斌国/18629429514/wangbinguo@chinasoftinc.com
  • [问题求助] 【香港启德项目】【数据平台】用工具登录DWS库,需要把IP地址添加】
    请给DWS集群dws-ap1-sunacfc_dev添加白名单公网IP: 202.105.136.146内网IP:172.17.10.245
  • [问题求助] 【香港启德项目】【数据平台】用工具登录DWS库,需要把IP地址添加
    【功能模块】DWS中的库信息【操作步骤&问题现象】1、需要把电脑IP地址加入白名单中公网IP : 1.85.38.98  内网IP 10.100.9.133【截图信息】【日志信息】(可选,上传日志内容或者附件)王斌国/18629429514/wangbinguo@chinasoftinc.com
  • [其他] 【DWS】失败TASK重新拉起步骤
    1. 背景RdsUpdateInitDbConfigTask超时后,使用下列命令可以重新拉起该TASK。2. 办法rms数据库中:UPDATE taskmgr_task SET end_time=NULL, listener_num=0, execution_status='WAITING' WHERE task_id='{失败的TASKID}';UPDATE taskmgr_job SET current_status="WAITING" , execution_status="INIT",end_time = NULL,updated_at = NULL ,task_index=1,fail_reason = null WHERE  job_id = "{失败TASK对应的JOBID}";
  • [生态空间] 【Gaussdb A产品】【函数加密 解密功能】Gaussdb A 8.0.0是否支持加密与解密函数 算法否支持SNM3加密算法
    你好,Gaussdb A8.1.1有加密函数gs_encrypt与Gs_decrypt,但此版本8.0.0 gs_encrypt是一个工具,也没有解密的工具或函数,对于算法是否支持SNM3加密算法,而不是 SM4-CTR-128或者AES-CTR-128,所以想请问Gaussdb A产品 8.0.0对于函数加密或解密是否有函数,如果有算法否支持SNM3加密算法,谢谢,谢谢!
  • [生态空间] gaussdb 8.0.0.1 里面没找到sm3加密/解密函数,自己创建函数实现需要怎么实现?是否有现成的方法或方式?
    【操作步骤&问题现象】gaussdb 8.0.0.1 里面没找到sm3加密/解密函数,自己创建函数实现需要怎么实现?是否有现成的方法或方式?
总条数:2749 到第 页
上滑加载中