【操作步骤&问题现象】客户需要官方提供标准的一个界限1、什么场景下适合用复制表2、不超过多大的数据量，表大小 适合用复制表（具体数值）

7月28日-29日，2021（第六届）中国大数据产业生态大会在北京举行。本次大会以“数智转型 融合共生”为主题，共同探讨产业服务数字化发展和行业数智化转型方向，大数据领域年度“金沙奖”也在会上正式揭晓，华为云数据使能DAYU主力产品——数据仓库GaussDB(DWS)蝉联“2021 中国大数据·数据仓库领域最佳产品奖”。华为云GaussDB(DWS)是一款具备分析及混合负载能力的分布式数据库，面向政企、互联网和物联网等应用场景，以企业级内核、统一架构提供标准数仓，实时数仓和云数仓。业务分析师和数据分析师在批量分析、交互式查询与分析、实时分析等业务场景中，可借助GaussDB(DWS)轻松获得一站式分析能力，降低数据分析门槛提升数据分析效率，更便捷高效的释放数据价值。一站式数据分析支持上万分析师在线作业，满足企业平台容量需求继2020年获奖后，华为云GaussDB(DWS)研发团队在数据分析技术上持续探索。通过智能多维的混合负载管理，华为云GaussDB(DWS)可在集群内实现实时、批量、交互式负载的一站式数据分析。为数据接入提供丰富的数据源接口，满足数据分析的全流程中不同角色对数据分析的不同需求。通过自研TCP多流技术提高物理连接数量级，在MPP架构下数据节点全并行数据交换，华为云GaussDB(DWS)实现单集群最大支持2048节点。2021年Q1建成投产的480节点大集群分析师平台，成为金融行业最大规模商用数据仓库集群，支持上万分析师在线作业，极大满足了大企业数据量激增对平台容量扩展的需求。高并发毫秒级点查询，效率提升200倍通过30多项查询重写技术（含4项专利），优化Ad hoc查询性能，实现高并发毫秒级点查询。在已商用的GaussDB(DWS)数据分析平台中，灵活查询平均运行时间由30分钟降低至50秒，查询平均等待时长更是由5小时降低至1.5分钟，查询效率提升200倍！对企业而言，业务数据从产生到汇聚，再到面向场景化分析，每个环节都分秒必争，快速释放数据潜能已成为企业数字化转型的刚需。数据分析架构简化，流数据每秒千万级实时接入在互联网和物联网业务应用中，时序数据和流数据承载了大量的业务内容。典型时序和流数据分析方案需要引入多种组件，不但数据格式难统一，平台架构也变得非常厚重，扩展困难。华为云GaussDB(DWS)在全并行分布式架构上，无缝融合OLAP引擎、时序引擎、CEP引擎，简化数据分析组件架构，实现T+1和T+0合一的一站式数据分析，实时数据与历史数据关联分析技术做到同行业技术领先。在已投产的实时数仓方案中，流数据高峰流量每秒千万级实时接入，解决了传统方案流数据接入流量速率的瓶颈问题。华为云GaussDB(DWS)提供GB~PB级数据分析能力、多模分析和实时处理能力，用于数据仓库、数据集市、实时分析、实时决策和混合负载等场景，在全行业数字化转型中帮助企业提质增效，建立核心竞争力，夯实企业发展根基。     目前，华为云大数据热销主打的产品有：1. 数据仓库服务GaussDB(DWS)提供云上企业级融合数据仓库，支持实时数据分析，具备高性能、低成本、易扩展等特性2.MapReduce服务 3.0.5版新版ClickHouse集群支持跨AZ集群，适用海量数据大宽表实时分析/实时BI报表分析3. 云搜索服务 CSS兼容Elasticsearch完全托管在线分布式搜索服务，用于站内搜索/日志分析/运维监控等场景 4.数据湖治理中心 DGC数据全生命周期一站式开发运营平台，可复用行业知识库，助力企业快速构建数据运营能力5.数据湖探索服务 DLI提供一站式融合处理分析服务，会SQL就会大数据分析，高易用免运维 现在828大促期间，大数据福利专场上线，注册用户即可免费体验大数据，爆款产品击穿底价5折！详情点击了解：https://activity.huaweicloud.com/bigdata.html

>摘要：GaussDB(for Cassandra) 提供了大key和热key的实时检测，以帮助业务进行合理的schema设计，规避业务稳定性风险。本文分享自华为云社区[《GaussDB (for Cassandra) 数据库治理 -- 大key与热key问题的检测与解决》](https://bbs.huaweicloud.com/blogs/308302?utm_source=zhihu&utm_medium=bbs-ex&utm_campaign=database&utm_content=content)，作者：Cassandra官方 。 Cassandra数据库是一个高度可扩展的高性能分布式数据库，面向大数据场景，可用于管理大量的结构化数据。在业务使用的过程中，随着业务量和数据流量的持续增长，往往一些业务的设计弊端逐渐暴露出来，降低了集群的稳定性和可用性。比如主键设计不合理，单个分区的记录数或数据量过大，出现超大分区键，引起了节点负载不均，集群稳定性会下降，这一类问题称为大key问题。当某一热点key的请求在某一主机上的访问超过server极限时，会导致热点Key问题的产生。往往大key是造成热key问题的间接原因。 [GaussDB(for Cassandra)](https://www.huaweicloud.com/product/gaussdbforcassandra.html) 是一款基于华为自研的计算存储分离架构的分布式数据库，兼容Cassandra生态的云原生NoSQL数据库，支持类SQL语法CQL。在华为云高性能、高可用、高可靠、高安全、可弹性伸缩的基础上，提供了一键部署、快速备份恢复、计算存储独立扩容、监控告警等服务能力。针对以上问题，GaussDB(for Cassandra) 提供了大key和热key的实时检测，以帮助业务进行合理的schema设计，规避业务稳定性风险。 # 大key的分析与解决 大key的产生，最主要的原因是主键设计不合理，使得单个分区的记录数或数据量过大。一旦某一个分区出现极大时，对该分区的访问，会造成分区所在server的负载变高，甚至造成节点OOM等。 针对大key问题，一般采取两种修复手段，一种是增加缓存，优化表结构。一种是基于现有分区键，增加分区键散列。对数据进行打散，避免单个分区的记录过大。GaussDB(for Cassandra) 有如下整改事例，业务整改后负载平稳运行。 ### 案例1： XX集群的数据量过大，导致集群存在大分区键(排查数量大概为2000+)，最大的分区键达到38G。当业务频繁访问这部分大的分区键时，会导致节点持续高负载，影响业务请求成功率。 表结构如下 CREATE TABLE movie ( movieid text, appid int, uid bigint, accessstring text, moviename text, access_time timestamp, PRIMARY KEY (movieid, appid, uid, accessstring, moviename) ) 表设计分析 movie表保存了短视频的相关信息，分区键为movieid，并且保存了用户信息(uid)，如果movieid是一个热门短视频，有几千万甚至上亿用户点赞此短视频，则该热门短视频所在的分区非常大(当前发现有38G)。 解决方法： 1. 优化表结构 创建新表保存热门短视频信息，只保留短视频公共信息，不包含用户信息，确保该表不会产生大的分区键。热门短视频信息写入该表中。 CREATE TABLE hotmovieaccess ( movieid text, appid int, accessstring text, access_time timestamp, PRIMARY KEY (movieid, appid) ) 2. 增加缓存 增加缓存，业务应用先从缓存中读取热门文件信息，没有查询到，则从数据库中查询，减少数据库查询次数。 整个优化逻辑如下：  1. 先查缓存，当缓存存在，直接返回结果。 2. 当缓存不存在，查询热门视频缓存（缓存不存在，则查询hot表），当视频为为热门视频时，查询hotmovieaccess表。 3. 当hotmovieaccess表存在结果时，直接返回，当hotmovieaccess表不存在记录时，查询movie表。 4. 并缓存查询结果。 ### 案例2: movie_meta以月度建表，每个表只存当月的数据，初始的这种设计是可以减轻或规避分区键过大问题的。由于业务频繁写入，热门视频存储的记录非常多，还是形成了大的数据分区。 CREATE TABLE movie_meta202110 ( path text, moviename text, movieid text, create_time timestamp, modify_mtime timestamp, PRIMARY KEY (path, moviename) ) 解决办法： 新分区键增加一个随机数（0~999）：将原来一个分区存储的信息随机离散存储到1000个分区中。 采用新的分区键之后，没有形成新超过100M的分区键，旧的超过100M的分区键数据，随着时间老化过期即可。 # 大key的定义与检测手段 通过长时间的业务观察，我们规定以下阈值，超过任何一个条件的阈值即为大key： 1. 单个分区键的行数不能超过10万 2. 单个分区的大小不超过100MB GaussDB(for Cassandra) 支持了大key的检测与告警。在CES界面，可以配置实例的大key告警。当发生大key事件时，会第一时间通知。及时整改，可避免业务波动。  大key告警字段解释 [ { "partition_size": "1008293497", //超大分区键的总大小 "timestamp": "2021-09-08 07:08:18,240", //大key产生时间 "partition_num": "676826", //超大分区键的总行数 "keyspace_name": "ssss", //keyspace名称 "table_name": "zzzz", //表名称 "table_id": "024a1070-0064-11eb-bdf3-d3fe5956183b", //表id "partition_key": "{vin=TESTW3YWZD2021003}" //分区键 } ] # 热key的危害与解决 在日常生活中，经常会发生各种热门事件，应用中对该热点新闻进行上万次的点击浏览和评论时，会形成一个较大的请求量，这种情况下会造成短时间内对同一个key频繁操作，会导致key所在节点的CPU和load飙高，从而影响落在该节点的其他请求。导致业务成功率下降。诸如此类的还有热门商品促销，网红直播等场景，这些典型的读多写少的场景也会产生热点问题。 热key会造成以下危害： 1. 流量集中，达到物理网卡上限。 2. 请求过多，缓存分片服务被打垮。 3. DB击穿，引起业务雪崩。 GaussDB(for Cassandra) 针对热key问题，常见的修复手段如下： 1. 设计上需要考虑热key的问题，避免在数据库上产生热key 2. 业务侧通过增加缓存来减少热key出现的情况下对数据库造成的冲击。考虑多级缓存解决热key问题（如Redis + 本地二级缓存） 3. 屏蔽热点key, 比如在业务侧进行定制, 支持热key黑白名单能力，可以将热key临时屏蔽。 # 热key的检测 我们定义访问频率 大于 100000 次/min 的key为热key。热key事件分为两种类型，一种时WRITES事件，代表写热点，一种是READS事件，表示读热点。 GaussDB(for Cassandra) 也提供了热key的监测与告警。在CES界面，可以配置实例的热key告警。如下  热key告警字段解释： { "sampler_type": "WRITES", // 采样类型。取值有WRITES, READS; WRITES代表写，READS代表读。 "partition_num": "2969", // 分区键的热点次数 "keyspace_name": "performance", // keyspace名称 "table_id": "a10f3bb0-3626-11ec-bbdf-63e05bbb4391", // 表id "table_name": "stresstable", // 表名 "partition_key": "85897376" // 产生热点分区键的值 } [GaussDB(for Cassandra)](https://www.huaweicloud.com/product/gaussdbforcassandra.html) 提供了大key和热key的实时监控。确保第一时间感知业务风险。提供的大key和热key解决方案，在面对大数据量洪峰场景，增强了集群的稳定性与可用性。为客户业务持续稳定运行保驾护航。 综上，在线业务在使用Cassandra时，必须执行相关的开发规则和使用规范，在开发设计阶段就降低使用风险。一般按照 制定规范 --> 接入评审 --> 定期巡检 --> 优化规则 的治理流程进行。合理的设计一般会降低大部份风险发生的概率，对于应用来说，任何表的设计都要考虑是否会造成热key,大key的产生，是否会造成负载倾斜的问题；另外建立数据老化机制，表中的数据不能无限制的增长而不删除或者老化；针对读多写少的场景，要增加缓存机制，来应对读热点问题，并提升查询性能；对于每个PK以及每行Row的大小，要控制大小，否则将影响性能和稳定性。超出后要及时优化。

【问题现象】连接DWS集群报错the authentication type 5 is not supported. Check you have configured the pg_hba.conf file to include the client's IP address or subnet【排查过程】更换jdbc驱动包没有效果。排查password_encryption_type参数不为1。【解决方法】1、通过gs_guc还原password_encryption_type的参数值为1；2、通过ALTER USER xxxx PASSWORD xxx重置用户密码。修改后恢复。

【问题现象】unexpected EOF on GDS connection "gsfs://10.100.19.187:/50004.csv" connection reset by peer。报Failed to connect dnxxx,一线反馈gds和集群网络ping不通。根据GDS与GaussDB(DWS)通信要求物理网络畅通。gds的网段跟集群裸金属的网段一致，但是ping不通集群。【解决方法】配置后不在报错。

GaussDB现在有这种现成的数据库监控程序吗？

【问题现象】业务泛网络追溯，调用存储过程进行查询，每天都出现占用70%会话连接的Savepoint s1和部分release s1，这些查询从早上8点到下午一直没有结束(正常一般几分钟)，这种状态导致所有查询都变慢，且出现waiting in ccn queue问题原因：带exception的存储过程中执行过程中，执行CN给其他CN下发savepoint语句，其他语句执行完成后状态变成idle in transaction。但是执行CN执行其他语句特别慢，其他CN上事务始终无法提交，导致有大量savepoint语句处于idle in transaction状态。问题解决：需要业务侧开发优化sql

【问题现象】表删除报错：ERROR: dn_6157_6158: relation "xxx" does not exist on DN dn_6157_6158【问题原因】drop table 与create table if not exists 并发时，dn上drop操作处于commit-in-process阶段，此时create table if not exists事务使用now快照读到该tuple，发现表存在，就不在该dn上建表。待drop事务提交后，该dn上的表找不到【触发条件】drop table 与 create table if not exists同一张表并发操作时，概率触发【解决方法】在CN上使用维护模式（连接时加-m），使用create table if not exists重建该表，然后删除该表即可正常删除

在做一个数据库逆向工具，GaussDB(DWS)外表创建的表结构如何得到创建表时Server\Options\DistributeBy参数1、比如创建语句:CREATE FOREIGN TABLE edwh.adm.testTable( col1 bigint, col2 bigint) SERVER "testServerName" options(header 'on') DISTRIBUTE BY roundrobin;2、我在 information_schema.tables 中可以查看到表概览信息。3、我查看 "GaussDB(DWS)8.0.1 产品文档" 手册 系统视图这里， 没有找到创建表时的逆向参数 server、options、distribute by.4、所以请问应该如何查找，才能找到这三个表级别的参数配置信息

【功能模块】【操作步骤&问题现象】在Teradata中，可以使用with来达到小计的效果，示例SELECT  Last_Name  ,First_Name  ,Dept_no  ,SalaryFROM  Employee_tableWITH SUM(Salary);结果在高斯里面如何达到同样的效果？【截图信息】【日志信息】（可选，上传日志内容或者附件）

【功能模块】在用ds连接数据库时会报错：命名空间在缓存中不可用我用该用户在后台可以用gsql 连接经过测试，我在新建连接的时候，在高级里选择所有内容，则不会报这个错，如下图二【问题】1、为什么会报命名空间不可用，该用户的权限应该是没问题的2、为什么在高级里设置所有内容，则不报错，这是什么原理【截图信息】图二

【问题现象】业务出现报错：multiple updates to a row by a single query for column store table【问题原因】列存更新的机制，报错的意思是一个update语句里，对一条记录要多次执行update，不确定要更新成哪条记录，于是出现了报错【解决方法】修改业务逻辑，在同一个update语句中对同一记录不要多次更新

【故障现象】使用如下命令创建一个新的表空间tpcds_local。postgres=# CREATE TABLESPACE tpcds_local RELATIVE LOCATION ‘my_tablespace/tablespace1’ ;CREATE TABLESPACE错误详情截图如下：【故障诊断】根据错误信息的提示，Permission denied ,访问被拒绝，初步判断是权限不足的问题。【故障原因】使用root账号创建表空间会导致权限不足，访问被拒绝。【解决方案】数据库的root权限创建实例页面只提供管理员root用户权限。管理员root用户权限：createrole，createdb和monadmin。由于root权限低于完整的管理员用户权限， 部分SQL语法/函数执行时会报权限不足，例如：create tablespace 等【参考知识】参考链接：https://support.huaweicloud.com/devg-opengauss/opengauss_devg_0122.html

【功能模块】网络平面【操作步骤&问题现象】1、产品文档中，关于网络平面的这句话怎么理解，一般不都是接入的业务平面吗，也可以接入管理平面吗，接入管理平面有没有前提条件或者需要做什么配置？【截图信息】【日志信息】（可选，上传日志内容或者附件）

1. 数据库简要介绍数据库在企业中有着重要的地位和应用，华为 GaussDB 数据库在鲲鹏生态中是主力场景之一。数据库总体可以分为关系型数据库和非关系型数据库。对于关系型数据库，有企业生产交易的 OLTP 数据库和企业分析的 OLAP 数据库。针对 OLTP 应用场景华为推出云数据库 GaussDB(for MySQL) 和 GaussDB(openGauss)；OLAP 场景则推出数据仓库服务 GaussDB(DWS)。对于非关系型数据库，目前 GaussDB(for Mongo) 和 GaussDB(for Cassandra)。数据库技术革新正在打破现有秩序，云化，分部署，多模处理是未来主要趋势。本章重点介绍华为 GaussDB(for MySQL) 云数据库的特性和应用场景，并介绍部分应用案例。2. 华为 GaussDB 数据库总览联机事务处理(OLTP),存储/查询业务应用中活动的数据以支撑日常的业务活动；联机分析处理(OLAP)：存储历史数据以支撑复杂的分析操作，侧重决策支持。GaussDB 数据库升级为全场景云服务，持续服务客户。高斯数据库GaussDB系列资料合集跳转链接一文轻松了解华为GaussDB家族https://bbs.huaweicloud.com/blogs/323097【最全资料汇总】如何在方案中采用数仓Gauss(DWS)，你要的都在这里https://bbs.huaweicloud.com/forum/thread-118202-1-1.htmlGaussDB(DWS)的SCHEMA介绍https://bbs.huaweicloud.com/forum/thread-114906-1-1.htmlGaussDB(DWS)流式数据入库实践一：Python接口https://bbs.huaweicloud.com/forum/thread-115413-1-1.htmlGaussDB(DWS)流式数据入库实践二：C接口https://bbs.huaweicloud.com/forum/thread-115461-1-1.htmlGaussDB(DWS)流式数据入库实践三：Java接口https://bbs.huaweicloud.com/forum/thread-115462-1-1.htmlGaussDB(DWS) 存储主题博文汇总https://bbs.huaweicloud.com/forum/thread-123590-1-1.html你应该知道的数仓安全——默认权限实现共享schemahttps://bbs.huaweicloud.com/forum/thread-115385-1-1.htmlGaussDB(DWS)高可用之CN&GTM;组件高可用介绍https://bbs.huaweicloud.com/forum/thread-114887-1-1.htmlGaussDB DWS存储类问题汇总https://bbs.huaweicloud.com/blogs/258243华为云数仓GaussDB(DWS)全量备份总结https://bbs.huaweicloud.com/forum/thread-116085-1-1.html【精华】Gauss松鼠会|走进企业 资源汇总（定期更新）https://bbs.huaweicloud.com/forum/thread-172327-1-1.htmlGaussDB(DWS) Nodeagent进程故障问题汇总https://bbs.huaweicloud.com/blogs/279717【精品汇总】项目实践全系列精品贴汇总（持续更新中）https://bbs.huaweicloud.com/forum/thread-156102-1-1.htmlGaussDB DWS存储类问题汇总https://bbs.huaweicloud.com/forum/thread-121376-1-1.htmlGaussDB T分布式集群这样安装部署不踩坑https://bbs.huaweicloud.com/blogs/140954Mysql与分布式Gaussdb 100语法差异及常见问题汇总https://bbs.huaweicloud.com/forum/thread-49068-1-1.html【精品汇总】数据库项目实践全系列精品汇总贴（持续更新中）https://bbs.huaweicloud.com/forum/thread-170356-1-1.html【集群】维护宝典汇总贴来啦~https://bbs.huaweicloud.com/forum/thread-100109-1-1.html【博文汇总】GaussDB(DWS)博文汇总贴1，欢迎大家交流探讨（持续更新中）https://bbs.huaweicloud.com/forum/thread-84739-1-1.htmlGaussDB重要通信参数汇总https://bbs.huaweicloud.com/blogs/239863Gauss松鼠会|酷哥说库 视频系列之资源汇总（定期更新）https://bbs.huaweicloud.com/forum/thread-172321-1-1.html数仓GaussDB(DWS)全量备份总结https://bbs.huaweicloud.com/blogs/242694【精华】Gauss松鼠会|酷哥说库 微动画系列之资源汇总（定期更新）https://bbs.huaweicloud.com/forum/thread-172318-1-1.html华为GaussDB100数据库的基础知识概述https://bbs.huaweicloud.com/blogs/139802数仓GaussDB(DWS)教程培训汇总https://bbs.huaweicloud.com/forum/thread-120729-1-1.html【博文汇总】GaussDB(DWS)博文汇总贴2https://bbs.huaweicloud.com/forum/thread-113509-1-1.htmlMariaDB 常用命令汇总https://bbs.huaweicloud.com/blogs/311780GaussDB(DWS) 集群扩容系列一：集群扩容与数据重分布https://bbs.huaweicloud.com/forum/thread-115466-1-1.htmlGaussDB(DWS)集群管理系列：CM组件介绍（架构和部署形态）https://bbs.huaweicloud.com/forum/thread-115447-1-1.htmlGaussDB(DWS) 测试主题博文汇总https://bbs.huaweicloud.com/forum/thread-123604-1-1.htmlGaussDB(DWS)存储系列之行存表https://bbs.huaweicloud.com/forum/thread-115382-1-1.html这一篇就够了，全方位带你了解集群类问题！！！https://bbs.huaweicloud.com/forum/thread-114402-1-1.html