请问下分区自动管理功能是否有DWS版本要求或者参数要求，按照官网进行测试时报错：CREATE TABLE CPU1(     id integer,     IP text,     time timestamp ) with (TTL='7 days',PERIOD='1 day') partition by range(time) (     PARTITION P1 VALUES LESS THAN('2023-02-13 16:32:45'),     PARTITION P2 VALUES LESS THAN('2023-02-15 16:48:12') );ERROR:  unrecognized parameter "ttl"原文链接：https://support.huaweicloud.com/bestpractice-dws/dws_05_0120.html

我在官方公众号看到文章有介绍到该功能，但是我目前使用的DWS版本8.2.0，并未支持诸如ALTER RESOURCE POOL rp1 WITH(WEIGHT=4);等语法。请问下具体哪个版本开始才支持该功能。公众号文章：https://mp.weixin.qq.com/s/atqrp3VoAZKSK3M3NPVfXQ

在本期《GaussDB(DWS)云原生数仓技术解析》的主题直播中，我们邀请到华为云EI DTSE技术布道师/华为云数仓GaussDB(DWS)云原生首席SE 王传廷，针对GaussDB(DWS)云原生数仓架构、产品能力，与开发者和伙伴朋友们展开交流互动，帮助开发者快速了解GaussDB(DWS)云原生数仓相关信息与能力。数仓需求变化及技术架构演进云计算时代，数据仓库的需求和技术架构也在不断地发生变化。数仓需求主要分为两类场景：公有云场景，主要是指用户直接购买的公有云厂商的云服务。公有云用户的需求更多关注在产品成本、扩容灵活弹性、数据共享。线下部署场景，这类场景可能是用户购买的硬件部署了一个软件，也可能是用户在机房搭建了内部私有云环境。线下部署场景主要需求是：系统稳定、负载之间有较好的隔离能力、数据共享、弹性。数仓技术架构演进由最初Shared Storage共享存储到Shared Nothing分布式计算架构再到现在的存算分离架构。存算分离架构特点：存储类似shared storage，计算类似shared nothing，每个节点只处理自己分片的数据。存算分离架构优点：计算存储分层扩展，计算节点扩容无需数据重分布，速度快，灵活；存储节点按需扩容，无限容量；计算节点之间无需协调机制，只需保证计算节点只处理自己分片的数据。GaussDB(DWS)云原生数仓架构解析华为云GaussDB(DWS)历经12年技术演进，2011年开始技术预研，2014年首次上市，通过不停地迭代和演进，从2017年开始大规模商用，当前全球已累积1700+大客户。针对数仓发展趋势，GaussDB(DWS)也在不断地演进，2022年推出实时数仓、IoT数仓，应对实时数据的接入，满足实时计算场景需求。2023年即将发布的云原生数仓，支持存算管三层分离、湖仓一体、数智融合，具备优异性能和极致弹性能力。GaussDB(DWS)云原生数仓产品能力一、极致弹性GaussDB(DWS)云原生数仓极致弹性，具备管理层、计算层、存储层三层分离独立灵活伸缩，一数多用、按需配置优势。存算管三层分离：存储层，支持私有格式和开放格式，开放格式主要支持ORC/Parquet/Hudi等大数据生态的主流格式。私有格式是GaussDB(DWS)的存储格式，数据存储在OBS上，在私有格式上具备更好的性能。计算层，我们抽象了Virtual Warehouse概念（简称VW），也叫逻辑集群。VW是一组计算单元，可以灵活地添加或者释放，数据不属于任何一个VW，仅仅只是绑定关系。管理层是指将集群管理查询优化与GaussDB(DWS)数据节点和GTM层体现出来。一数多用：数据存储在OBS上，任意逻辑集群均可承载读写负载，多逻辑集群间共享数据，无需拷贝，提供跨逻辑集群建的实时和近实时两种数据共享方式。按需配置：通过逻辑集群隔离不同业务，性能稳定，业务承载量或并发量线性扩展，可以进行读写分离或多读多写。二、湖仓一体之前使用大数据写数据，需要创建外表，指定外表字段，并与大数据字段对应，需要访问多少张表，就创建多少张表，当外表数量只有一两张时维护也比较容易，外表越来越多时，维护成本也随之增加，如果数据湖中字段发生了变化，外表也需要更改。GaussDB(DWS)云原生数仓在湖仓一体方面做了能力增强，降低维护成本。在这里我们引入新的概念External Schema。我们通过创建一个 External Schema的形式，自动对接Hive Metastore元数据管理，直接访问数据湖的数据表定义，不再需要创建外表，提升体验，降低维护代价。同时我们支持外表和内表进行融合查询，混合查询数据湖和数仓内任意数据，查询一步到位输出到数仓内/数据湖，无需额外数据中转拷贝，数据湖享受数仓的极致查询性能。三、数智融合打通数据仓库与AI生产线，通过OBS共享开放格式数据，为AI生产线提供强劲的数据处理能力和灵活的供数方式。提供SQL语法，在数据分析过程中提供驱动AI训练、应用AI推理的能力。直接调用部署的推理服务端点，灵活性好；将模型二进制部署为UDF，性能好。四、优异性能存算分离后，我们通过三个方面保证数仓性能，分别是：缓存、近数据计算(计算下推)、IO调度。缓存：将热数据优先缓存到本地，本地磁盘缓存空间够用的情况下，可以体验到和本地表一样的性能。GaussDB(DWS)在每个计算节点自带磁盘缓存，可以将OBS的数据缓存到本地，提升性能。近数据计算：将冷数据优先计算下推到存储层，降低读取数据量。IO调度：充分利用云存储带宽优势，弥补其相较传统MPP的高延迟劣势；单查询充分利用资源，为并发查询提供稳定、可预测的性能保证；多级资源池灵活配置。欢迎感兴趣的开发者观看直播回放，了解详细信息。更多关于GaussDB(DWS)产品技术解析、云原生数仓产品新特性的介绍，请关注GaussDB(DWS)论坛，直播安排将第一时间发布在GaussDB(DWS)论坛热门活动版块。论坛链接：cid:link_1

在数据倾斜计算中，有一种情况是非倾斜值去做hash join，倾斜值小表做广播，大表做Roundrobin。请问这种方式是怎么实现的，有session级别参数设置还是自适应，或者是hint？

查询某个用户对哪些对象有权限 SELECT    n.nspname as "Schema",   CASE c.relkind      WHEN 'r' THEN 'table'      WHEN 'v' THEN 'view'      WHEN 'm' THEN 'materialized view'      WHEN 'S' THEN 'sequence'      WHEN 'f' THEN 'foreign table'    END as "Type" FROM pg_catalog.pg_class c LEFT JOIN pg_catalog.pg_namespace n ON n.oid = c.relnamespace WHERE pg_catalog.array_to_string(c.relacl, E'\n') LIKE '%username%'; 

REASSIGN OWNED BY doomed_role TO successor_role; DROP OWNED BY doomed_role; -- repeat the above commands in each database of the cluster DROP ROLE doomed_role;Key points:-- repeat the above commands in each database of the cluster"it's typically necessary to run both REASSIGN OWNED and DROP OWNED (in that order!) to fully remove the dependencies of a role to be dropped."

问题咨询：HASH表分布列策略的选取有哪些技巧？

问题咨询：GaussDB(DWS)如何处理非结构化数据的兼容性？

咨询一下：GaussDBGaussDB(DWS)有哪些故障恢复技术？

昨天听直播客还有些基础性的问题不理解https://bbs.huaweicloud.com/live/DTT_live/202303291630.html1. SQL优化里的下推是啥意思2. GaussDB中的存算分离是啥意思？分离开有什么好处3. data Shuffle 是什么意思4. 现在说的湖仓一体，那是直接存在GaussDB里面就行了吗？还需要搭hadoop吗？数据还要不要购买OBS，然后存在里面？

1.问题描述客户端使用与数据库建好的链接报错：An I/O error occurred while sending to the backend​2.原理分析此报错的原因是​客户端与数据库之前建好的链接再使用时已经中断导致报错；连接中断有两种情况：一是客户端主动断开连接，二是数据库侧主动断开；3.定位方法3.1 数据库侧主动断开数据库侧异常断开主要有四种原因：1.CN进程异常重启；2.session_timeout超时；3.人为kill掉session；4.LVS中virtual router id 冲突；（1）查看CN进程是否异常重启执行 ps -eo pid,lstart,etime,cmd | grep coo如果链接在CN进程启动之前就已经建好，那么CN进程重启后，业务侧再使用此链接就会报错。（2）未达到session_timeout时间就报错如排查第一项未发现CN重启，且未到session_timeout时间，或者业务运行中就产生报错，可排查LVS总的virtual router id 是否冲突；查看OS日志，搜索Keepalive字段，若存在如下图片字样，则冲突；可以修改主备LVS配置文件后，重启LVS即可：/etc/keepalived/keepalived.conf：文件中virtual_router_id字段，同一子网下不可冲突/etc/init.d/gs_keepalived restart：重启LVS(3)排查CN日志中是否有 due to一般有以下几种情况；强制清理连接clean connection force 这种不仅会清理idle连接，也会清理active连接；调用了 select pg_terminate_backend(pid); 终止了会话，这种一般为用户自己调用（超时查杀脚本），个别情况是由于cm_agent在检测磁盘超阈值（默认90%）场景下，会调用此方法终止当前CN上所有非omm用户的SQL，同时会打印带调用日志 cancel session ok ，可以排查cm_agent日志；session_timeout超时，自动断开连接，日志如下；可以适当调大session_timeout规避3.2客户端测断开连接一般jdbc报错 AN I/O error 后详细信息有 SocketTimeoutException 这种是客户端socketTimeout超时导致的（有遇到过druid1.2.12版本加了socketTime默认值10s）如果经过前面排查，未发现数据库侧主动断开，则可能是客户端测断开的；（1）可以排查客户端是否设置超时参数，一般是 socketTimeout ；查看该参数是否设置合理，该参数和数据库侧session_timeout效果差不多，都是连接长时间不使用清理，不过这个是客户端侧；（2）排查网络，是否有网络问题导致连接中断；其余情况后续发下后补充。。。。。。。。。。

1、此方法只涉及8.1.x-ESL.x 版本（当前最高版本8.1.3.3也涉及；8.1.1所有版本均涉及）；云上版本均不涉及。     修复版本：8.1.3 版本将于2023.04.30修复；8.1.1待规划。2、现象：大集群在执行gs_check -e health期间。使用cm_ctl查询慢且cm_server显示为down; 实际cm_server进程存在，但为D状态。     大集群：100节点以上集群单次调用gs_check -e health可能会出现此情况，由于定时任务会定时调用gs_check，因此触发概率稍大。     小集群：20节点以内15并发正常不会并发调用gs_check -e health，由于现网调用gs_check基本上不会大于3并发，因此触发概率较小。3、根因：在使用cm_ctl查询时cm_server会调用getaddrinfo函数； gs_check -e health中有通过socket.getaddrinfo获取IP函数。正常getaddrinfo执行时间为毫秒级别，但当并发调用此函数过多，会导致排队阻塞，而且getaddrinfo函数响应超过5秒以上。4、规避方法一：    步骤：将/opt/huawei/Bigdata/FusionInsight_MPPDB_8.x.x/install/FusionInsight-MPPDB-8.x.x/sbin/mpp-gscheck.sh中，getGsCheck_mpp函数第一行return 0； 将此文件分发到所有节点。    遗留问题：升级或者打补丁后，此文件会被新版本文件覆盖。可能会导致再次出现此问题。     规避方法二：打补丁修复。

一版本能力简介1)8.0 autovacuum不可用。2)8.1.1 建议只开系统表的autovacuum。3)813 930版本可以打开系统表和用户表的autovacuum。二 最佳实践2.1 autovacuum的GUC参数      autovacuum的默认guc可以通过执行如下sql查看：select name,setting from pg_settings where name like '%vacuum%';  每个guc参数的具体含义可以参考产品文档此处不再赘述，且811版本的默认参数设置以813为准，本文仅重点说明四种GUC参数。（产品文档地址：cid:link_0https://support.huaweicloud.com/devg-813-dws/dws_04_0896.html）1） 系统表和用户表开关(1)    autovacuum_max_workers = 0，autovacuum被彻底关闭，不会对任何表做清理。(2)    autovacuum_max_workers > 0 和 autovacuum = off，只对系统表和开了delta表的列存表做清理（eg：vacuum delta表，vacuum cudesc表和delta merge）。(3)    autovacuum_max_workers > 0 和 autovacuum = on, 会对所有表做清理。注：上述描述的列存表的清理，仅包含对列存辅助表的清理，主表的清理为813特性，且默认关闭，不再次赘述。2） 行存清理阈值Autovacuum中判断行存表是否应被清理是根据如下公式进行的：dead_tuples> (autovacuum_vacuum_threshold + autovacuum_vacuum_scale_factor * live_tuples)其中dead_tuple和live_tuples为该表的脏数据和活跃数据，可以通过pg_stat_get_tuples_deleted和pg_stat_get_live_tuples函数获得，若行存表因为不满足公式而不能被autovacuum清理的时候，需要根据实际情况调试guc参数，一般只需调整autovacuum_vacuum_scale_factor大于该表的脏页率即可。对于新集群若知道集群中大表的平均脏页率（脏页率查询方法详见3.3），可以直接设置autovacuum_vacuum_scale_factor，若不好计算，可以参考813版本中默认值设置（811的默认值与813有不同），等待集群运行一段时间后，收集平均脏页率再调整。      3）autovacuum延迟机制机制原理：当vacuum的开销达到了设置的阈值时会休息一段时间。可以通过如下公式计算一次vacuum的额外休眠时间：机制目的：为了减少autovacuum发起的vacuum在并发活动的数据库上的I/O影响。注：（1）上述公式中的 n(dirty)，n(hit) 和n(miss)为autovacuum日志中buffer usage所显示的hits，misses和dirtied的数量。（2）若发现autovacuum发起的vacuum较慢，可以调大autovacuum_vacuum_cost_delay和autovacuum_vacuum_cost_limit。4）autovacuum日志（log_autovacuum_min_duration）该日志默认关闭，通过guc参数：log_autovacuum_min_duration设置，介绍如下：参数说明：当自动清理的执行时间大于或者等于某个特定的值时，向服务器日志中记录自动清理执行的每一步操作。设置此选项有助于追踪自动清理的行为。参数类型：SIGHUP例如：将log_autovacuum_min_duration设置为250ms，记录所有运行大于或者等于250ms的自动清理命令的相关信息。该参数的设置推荐以常用大表中平均vacuum的时间为参考。取值范围：整型，最小值为-1，单位为毫秒。当参数设置为0时，表示所有的自动清理操作都记录到日志中。当参数设置为-1时，表示所有的自动清理操作都不记录到日志中。默认值：-1日志标识：automatic vacuum of table …..附录1 autovacuum自动让锁机制Autovacuum有自动让锁机制，即当DDL业务拿表锁发现是被autovacuum阻塞时，会kill掉autovacuum线程，并打印日志：sending cancel to blocking autovacuum PID。该机制有如下特列：1）业务拿四级锁（常见的vacuum，analyze）被阻塞时，autovacuum不会让锁。2）当多个autovacuum线程对一个分区表做vacuum时，autovacuum的自动让锁机制失效。3）8.1.1版本上autovacuum若与业务发生死锁，自动让锁机制不生效。

GaussDB(DWS)在8.2.1版本中，是否支持单分区的vacuum与analyze？8.2.1较8.1.3有哪些差异？

云计算时代，数仓能为我们带来哪些便利？GaussDB(DWS)即将发布的云原生数仓如何构筑新一代数据仓库的技术底座，在云原生数仓的地基之上，数据时代的产业又将如何扩张拓展？3月29日16:30-18:00，华为云EI DTSE技术布道师王传廷带您解密华为云新一代云数仓GaussDB(DWS)3.0的核心技术与划时代意义。同时，我们准备了0.99元试用GaussDB(DWS)，帮助大家更好地了解和体验华为云数仓GaussDB(DWS)，观看直播即可参与试用。直播报名链接：请点击      一、直播看点1、数据仓库需求和架构演进；2、华为云GaussDB(DWS)云原生数仓特性解析。      二、参与互动，多重好礼等您拿1、0.99元试用：直播间扫码参与试用；2、报名转发有礼即日起—3.29日报名直播并转发直播海报至朋友圈，抽送华为云开发者定制飞盘。3、互动有礼官网直播间发口令“华为云 DTSE”、填写问卷抽华为云开发者定制棒球帽、华为云开发者定制卫衣等好礼。4、有奖提问直播过程中提问，评选优质问题送华为云定制鼠标。5、老观众专属连续报名并观看DTT直播3期以上抽送华为云开发者定制游戏机礼盒。更多福利：添加GaussDB(DWS)小助手微信（微信号：GaussDBDWS2），解锁更多隐藏福利哦~