• [运维管理] 【dws】复制表的使用
    【操作步骤&问题现象】客户需要官方提供标准的一个界限1、什么场景下适合用复制表2、不超过多大的数据量,表大小 适合用复制表(具体数值)
  • [技术干货] 华为云GaussDB(DWS)蝉联数据仓库领域年度“金沙奖”最佳产品奖
    7月28日-29日,2021(第六届)中国大数据产业生态大会在北京举行。本次大会以“数智转型 融合共生”为主题,共同探讨产业服务数字化发展和行业数智化转型方向,大数据领域年度“金沙奖”也在会上正式揭晓,华为云数据使能DAYU主力产品——数据仓库GaussDB(DWS)蝉联“2021 中国大数据·数据仓库领域最佳产品奖”。华为云GaussDB(DWS)是一款具备分析及混合负载能力的分布式数据库,面向政企、互联网和物联网等应用场景,以企业级内核、统一架构提供标准数仓,实时数仓和云数仓。业务分析师和数据分析师在批量分析、交互式查询与分析、实时分析等业务场景中,可借助GaussDB(DWS)轻松获得一站式分析能力,降低数据分析门槛提升数据分析效率,更便捷高效的释放数据价值。一站式数据分析支持上万分析师在线作业,满足企业平台容量需求继2020年获奖后,华为云GaussDB(DWS)研发团队在数据分析技术上持续探索。通过智能多维的混合负载管理,华为云GaussDB(DWS)可在集群内实现实时、批量、交互式负载的一站式数据分析。为数据接入提供丰富的数据源接口,满足数据分析的全流程中不同角色对数据分析的不同需求。通过自研TCP多流技术提高物理连接数量级,在MPP架构下数据节点全并行数据交换,华为云GaussDB(DWS)实现单集群最大支持2048节点。2021年Q1建成投产的480节点大集群分析师平台,成为金融行业最大规模商用数据仓库集群,支持上万分析师在线作业,极大满足了大企业数据量激增对平台容量扩展的需求。高并发毫秒级点查询,效率提升200倍通过30多项查询重写技术(含4项专利),优化Ad hoc查询性能,实现高并发毫秒级点查询。在已商用的GaussDB(DWS)数据分析平台中,灵活查询平均运行时间由30分钟降低至50秒,查询平均等待时长更是由5小时降低至1.5分钟,查询效率提升200倍!对企业而言,业务数据从产生到汇聚,再到面向场景化分析,每个环节都分秒必争,快速释放数据潜能已成为企业数字化转型的刚需。数据分析架构简化,流数据每秒千万级实时接入在互联网和物联网业务应用中,时序数据和流数据承载了大量的业务内容。典型时序和流数据分析方案需要引入多种组件,不但数据格式难统一,平台架构也变得非常厚重,扩展困难。华为云GaussDB(DWS)在全并行分布式架构上,无缝融合OLAP引擎、时序引擎、CEP引擎,简化数据分析组件架构,实现T+1和T+0合一的一站式数据分析,实时数据与历史数据关联分析技术做到同行业技术领先。在已投产的实时数仓方案中,流数据高峰流量每秒千万级实时接入,解决了传统方案流数据接入流量速率的瓶颈问题。华为云GaussDB(DWS)提供GB~PB级数据分析能力、多模分析和实时处理能力,用于数据仓库、数据集市、实时分析、实时决策和混合负载等场景,在全行业数字化转型中帮助企业提质增效,建立核心竞争力,夯实企业发展根基。     目前,华为云大数据热销主打的产品有:1. 数据仓库服务GaussDB(DWS)提供云上企业级融合数据仓库,支持实时数据分析,具备高性能、低成本、易扩展等特性2.MapReduce服务 3.0.5版新版ClickHouse集群支持跨AZ集群,适用海量数据大宽表实时分析/实时BI报表分析3. 云搜索服务 CSS兼容Elasticsearch完全托管在线分布式搜索服务,用于站内搜索/日志分析/运维监控等场景 4.数据湖治理中心 DGC数据全生命周期一站式开发运营平台,可复用行业知识库,助力企业快速构建数据运营能力5.数据湖探索服务 DLI提供一站式融合处理分析服务,会SQL就会大数据分析,高易用免运维 现在828大促期间,大数据福利专场上线,注册用户即可免费体验大数据,爆款产品击穿底价5折!详情点击了解:https://activity.huaweicloud.com/bigdata.html
  • [技术行业前沿] 【数据库系列】GaussDB (for Cassandra) 数据库治理:大key与热key问题的检测与解决
    >摘要:GaussDB(for Cassandra) 提供了大key和热key的实时检测,以帮助业务进行合理的schema设计,规避业务稳定性风险。本文分享自华为云社区[《GaussDB (for Cassandra) 数据库治理 -- 大key与热key问题的检测与解决》](https://bbs.huaweicloud.com/blogs/308302?utm_source=zhihu&utm_medium=bbs-ex&utm_campaign=database&utm_content=content),作者:Cassandra官方 。Cassandra数据库是一个高度可扩展的高性能分布式数据库,面向大数据场景,可用于管理大量的结构化数据。在业务使用的过程中,随着业务量和数据流量的持续增长,往往一些业务的设计弊端逐渐暴露出来,降低了集群的稳定性和可用性。比如主键设计不合理,单个分区的记录数或数据量过大,出现超大分区键,引起了节点负载不均,集群稳定性会下降,这一类问题称为大key问题。当某一热点key的请求在某一主机上的访问超过server极限时,会导致热点Key问题的产生。往往大key是造成热key问题的间接原因。[GaussDB(for Cassandra)](https://www.huaweicloud.com/product/gaussdbforcassandra.html) 是一款基于华为自研的计算存储分离架构的分布式数据库,兼容Cassandra生态的云原生NoSQL数据库,支持类SQL语法CQL。在华为云高性能、高可用、高可靠、高安全、可弹性伸缩的基础上,提供了一键部署、快速备份恢复、计算存储独立扩容、监控告警等服务能力。针对以上问题,GaussDB(for Cassandra) 提供了大key和热key的实时检测,以帮助业务进行合理的schema设计,规避业务稳定性风险。# 大key的分析与解决大key的产生,最主要的原因是主键设计不合理,使得单个分区的记录数或数据量过大。一旦某一个分区出现极大时,对该分区的访问,会造成分区所在server的负载变高,甚至造成节点OOM等。针对大key问题,一般采取两种修复手段,一种是增加缓存,优化表结构。一种是基于现有分区键,增加分区键散列。对数据进行打散,避免单个分区的记录过大。GaussDB(for Cassandra) 有如下整改事例,业务整改后负载平稳运行。### 案例1:XX集群的数据量过大,导致集群存在大分区键(排查数量大概为2000+),最大的分区键达到38G。当业务频繁访问这部分大的分区键时,会导致节点持续高负载,影响业务请求成功率。表结构如下 CREATE TABLE movie ( movieid text, appid int, uid bigint, accessstring text, moviename text, access_time timestamp, PRIMARY KEY (movieid, appid, uid, accessstring, moviename) )表设计分析movie表保存了短视频的相关信息,分区键为movieid,并且保存了用户信息(uid),如果movieid是一个热门短视频,有几千万甚至上亿用户点赞此短视频,则该热门短视频所在的分区非常大(当前发现有38G)。解决方法:1. 优化表结构创建新表保存热门短视频信息,只保留短视频公共信息,不包含用户信息,确保该表不会产生大的分区键。热门短视频信息写入该表中。 CREATE TABLE hotmovieaccess ( movieid text, appid int, accessstring text, access_time timestamp, PRIMARY KEY (movieid, appid) )2. 增加缓存增加缓存,业务应用先从缓存中读取热门文件信息,没有查询到,则从数据库中查询,减少数据库查询次数。整个优化逻辑如下:!(https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202201/14/111216joffbdcobxeiovdo.png)1. 先查缓存,当缓存存在,直接返回结果。2. 当缓存不存在,查询热门视频缓存(缓存不存在,则查询hot表),当视频为为热门视频时,查询hotmovieaccess表。3. 当hotmovieaccess表存在结果时,直接返回,当hotmovieaccess表不存在记录时,查询movie表。4. 并缓存查询结果。### 案例2:movie_meta以月度建表,每个表只存当月的数据,初始的这种设计是可以减轻或规避分区键过大问题的。由于业务频繁写入,热门视频存储的记录非常多,还是形成了大的数据分区。 CREATE TABLE movie_meta202110 ( path text, moviename text, movieid text, create_time timestamp, modify_mtime timestamp, PRIMARY KEY (path, moviename) )解决办法:新分区键增加一个随机数(0~999):将原来一个分区存储的信息随机离散存储到1000个分区中。采用新的分区键之后,没有形成新超过100M的分区键,旧的超过100M的分区键数据,随着时间老化过期即可。# 大key的定义与检测手段通过长时间的业务观察,我们规定以下阈值,超过任何一个条件的阈值即为大key:1. 单个分区键的行数不能超过10万2. 单个分区的大小不超过100MBGaussDB(for Cassandra) 支持了大key的检测与告警。在CES界面,可以配置实例的大key告警。当发生大key事件时,会第一时间通知。及时整改,可避免业务波动。!(https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202201/14/111321nvjcyuzxsa7lfe7z.png)大key告警字段解释 [ { "partition_size": "1008293497", //超大分区键的总大小 "timestamp": "2021-09-08 07:08:18,240", //大key产生时间 "partition_num": "676826", //超大分区键的总行数 "keyspace_name": "ssss", //keyspace名称 "table_name": "zzzz", //表名称 "table_id": "024a1070-0064-11eb-bdf3-d3fe5956183b", //表id "partition_key": "{vin=TESTW3YWZD2021003}" //分区键 } ]# 热key的危害与解决在日常生活中,经常会发生各种热门事件,应用中对该热点新闻进行上万次的点击浏览和评论时,会形成一个较大的请求量,这种情况下会造成短时间内对同一个key频繁操作,会导致key所在节点的CPU和load飙高,从而影响落在该节点的其他请求。导致业务成功率下降。诸如此类的还有热门商品促销,网红直播等场景,这些典型的读多写少的场景也会产生热点问题。热key会造成以下危害:1. 流量集中,达到物理网卡上限。2. 请求过多,缓存分片服务被打垮。3. DB击穿,引起业务雪崩。GaussDB(for Cassandra) 针对热key问题,常见的修复手段如下:1. 设计上需要考虑热key的问题,避免在数据库上产生热key2. 业务侧通过增加缓存来减少热key出现的情况下对数据库造成的冲击。考虑多级缓存解决热key问题(如Redis + 本地二级缓存)3. 屏蔽热点key, 比如在业务侧进行定制, 支持热key黑白名单能力,可以将热key临时屏蔽。# 热key的检测我们定义访问频率 大于 100000 次/min 的key为热key。热key事件分为两种类型,一种时WRITES事件,代表写热点,一种是READS事件,表示读热点。GaussDB(for Cassandra) 也提供了热key的监测与告警。在CES界面,可以配置实例的热key告警。如下!(https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202201/14/111410ymvwp5cthytrj1zj.png)热key告警字段解释: { "sampler_type": "WRITES", // 采样类型。取值有WRITES, READS; WRITES代表写,READS代表读。 "partition_num": "2969", // 分区键的热点次数 "keyspace_name": "performance", // keyspace名称 "table_id": "a10f3bb0-3626-11ec-bbdf-63e05bbb4391", // 表id "table_name": "stresstable", // 表名 "partition_key": "85897376" // 产生热点分区键的值}[GaussDB(for Cassandra)](https://www.huaweicloud.com/product/gaussdbforcassandra.html) 提供了大key和热key的实时监控。确保第一时间感知业务风险。提供的大key和热key解决方案,在面对大数据量洪峰场景,增强了集群的稳定性与可用性。为客户业务持续稳定运行保驾护航。综上,在线业务在使用Cassandra时,必须执行相关的开发规则和使用规范,在开发设计阶段就降低使用风险。一般按照 制定规范 --> 接入评审 --> 定期巡检 --> 优化规则 的治理流程进行。合理的设计一般会降低大部份风险发生的概率,对于应用来说,任何表的设计都要考虑是否会造成热key,大key的产生,是否会造成负载倾斜的问题;另外建立数据老化机制,表中的数据不能无限制的增长而不删除或者老化;针对读多写少的场景,要增加缓存机制,来应对读热点问题,并提升查询性能;对于每个PK以及每行Row的大小,要控制大小,否则将影响性能和稳定性。超出后要及时优化。
  • [问题求助] 【GaussDB】GaussDB现在有现成的数据库监控程序吗?
    GaussDB现在有这种现成的数据库监控程序吗?
  • [运维管理] 【dws】【ds连接】ds连接报:命名空间在缓存中不可用
    【功能模块】在用ds连接数据库时会报错:命名空间在缓存中不可用我用该用户在后台可以用gsql 连接经过测试,我在新建连接的时候,在高级里选择所有内容,则不会报这个错,如下图二【问题】1、为什么会报命名空间不可用,该用户的权限应该是没问题的2、为什么在高级里设置所有内容,则不报错,这是什么原理【截图信息】图二
  • [其他问题] 【GaussDB A】【网络平面功能】业务是否可以接入管理平面
    【功能模块】网络平面【操作步骤&问题现象】1、产品文档中,关于网络平面的这句话怎么理解,一般不都是接入的业务平面吗,也可以接入管理平面吗,接入管理平面有没有前提条件或者需要做什么配置?【截图信息】【日志信息】(可选,上传日志内容或者附件)
  • [技术行业前沿] 【数据库系列】GaussDB NoSQL架构设计分享
    >摘要:文章总结了当前数据库的发展趋势、GaussDB NoSQL关键技术解密以及核心竞争力。本文分享自华为云社区[《华为云GaussDB NoSQL云原生多模数据库的超融合实践》](https://bbs.huaweicloud.com/blogs/309814?utm_source=csdn&utm_medium=bbs-ex&utm_campaign=database&utm_content=content),作者:华为云数据库GaussDB(for Redis)团队。# 数据库发展趋势### 1. 行业市场中国信通院最新研究透露出两个重要信息:- 未来几年,中国数据库市场将保持23.4%的年复合增长率,中国数据库市场在全球的份额,将从2020年的5.2%提升到12.3%;- 中国的国产数据库产品虽然以关系型为主,非关系型为辅,但从2000年以后,以图、时序等为代表的非关系型产品发展势头越来越好,截止2020年底,国产NoSQL数据库厂商已经占到了40%。!(https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202201/07/160521z4oskhtx8frenq5m.png)### 2. 行业趋势受大环境的影响,国内金融、电信、政企等行业为防止潜在的供应链风险,技术层面存在国产化需求,这使得我们的国产数据库产业进入蓬勃发展的初期。但我国数据库行业发展还面临2个核心问题:- 如何缩小“**高要求的存量数据应用**”与“**仍处于发展初期阶段的供给能力**”之间的差距;- 如何匹配“**创新型数据应用**”与“**数据库技术演进**”的合理映射关系。如何回答上述两个问题,可以从中国信通院最新的趋势总结里找到答案:“多模实现一库多用,简化开发运维成本”、“云原生降低硬件依赖,更方便的享受新兴技术红利”。因此,为了更好的兼容历史数据应用(比如原先用Redis),并支持好未来的创新应用(新增Influx),可以在多模与云原生领域提前做好相关布局。!(https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202201/07/160610qmzhwclmizbevsfr.png)### 3. 云原生数据库演进方向数据库的发展,按传统物理机部署到云化,大概经历了三代。- 第一代是纯物理机、裸硬盘部署,从业人员必须关心硬件的各种细节,包括机型、系统、硬盘、组网等等;- 第二代是云化的初级阶段,从业人员把数据库部署从物理机,迁移到虚拟机VM,把物理硬盘,换成了云盘EVS。但这一代有个明显的缺点,EVS是个3副本可靠的服务,再加上数据库自身的高可用,那么存储成本就放大了3倍;并且备机其实是资源浪费的,没有提供服务;- 第三代是云化的高级阶段,这个阶段将数据库的资源,彻底分成存储和计算两层,其中计算资源部署在更轻量级的容器之上,而存储资源部署在分布式存储池之上。很显然,这是与云原生结合更彻底的方式,充分享受了架构的弹性、便捷,而且轻松实现了多点读写的全负荷分担能力。!(https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202201/07/160639uupsdqrax9fhdnng.png)### 4. 存算分离,分而治之云原生数据库有两个重要的特点。首先是存算分离。存算分离是一种分层的设计思想:- 从逻辑到功能进行明确的划分,让计算层更聚焦服务、产品、协议处理等事件;- 存储层更聚焦数据本身的复制、安全、扩缩容等等。!(https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202201/07/160701tq6uk5jyhpagfpql.png)### 5. 多模归一,一生万物云原生数据库第二个重要的特点,是多模。多模实际上是一种“归一”,也是一种“派生”。以大家熟悉的NoSQL为例,MongoDB是有Mongod/Mongos/Config等组件,而对应的Cassandra其实也有Coordinate Node/Data Node等组件。虽然这些组件名字不同,但背后做的事情是一样的,即:集群管理、副本管理、扩缩容管理、以及管控等功能。其实,完全可以把这些功能抽象成统一的架构,即“多模归一”。在这套统一架构之上,我们再新增别的引擎就很容易了。可以快速复用当前的成熟架构,提供不同的协议接口即可,即“一生万物”。!(https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202201/07/160722j1bk1giibjlzrqsb.png)### 6. GaussDB NoSQL概况接下来介绍这次分享的主角——云原生多模数据库GaussDB NoSQL。当前GaussDB NoSQL已经支持MongoDB、Cassandra、Redis、InfluxDB等4款引擎;全球客户1000+,足迹遍布金融、政府、电信、互联网等行业;总数据量超过10PB,每日新增超过10TB。# GaussDB NoSQL关键技术### 1. Compaction卸载GaussDB NoSQL采用LSM做存储引擎,正常情况下,前台的读写会受到后台的Compaction任务的影响,从而导致时延抖动。因此,我们设计了单独的Compaction任务节点,通过共享的方式,访问用户的数据并进行Compact,再将Compact的结果应用到用户的可见版本中。这样做的话,就将用户前台的IO和后台IO分离,解决了时延抖动问题。!(https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202201/07/16075406zmvvfcte4lzquj.png)### 2. Flush卸载根据LSM引擎的写入流程,可以知道,一个数据要写入DB中,需要经历两次IO:写WALflush memtable而这两次IO写的其实是相同数据,完全可以省掉一次。因此,我们借助共享存储的能力,独立出一个后台任务节点。当用户前台节点需要flush memtable的时候,由后台任务节点读取WAL,并转化成L0层的SST,再应用版本,并通知前台删除memtable。这样就极大节省了用户前台的IO开销。!(https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202201/07/160812jveswepsycdstcoo.png)### 3. 分裂GaussDB NoSQL在分片策略上,采取的是Hash + Range的结合方式,因此扩容或处理热点的时候会很灵活。比如,当chunk数量足够多时,只需要移动chunk就可以扩容;而当某个chunk成为访问热点时,对它做分裂就可以解决局部热点问题。!(https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202201/07/160834yhhqldk9bnrlapas.png)### 4. 3AZ容灾作为数据库产品,容灾特性是很重要的,它可以避免极端情况给用户业务带来的灾难性损失。GaussDB NoSQL有统一的容灾设计,即存储和计算可以实现3AZ部署,同时存储层数据实现3副本强一致复制。因此在任意时间,挂掉了任意机房的存储,都不会丢数据;而挂掉计算,也会被其他AZ的计算节点接管元数据,不会让访问完全中断。!(https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202201/07/1608530sei6bwxadnvchu7.png)# 以Redis为例看GaussDB竞争力接下来,以使用最广泛的NoSQL引擎Redis为例,具体介绍GaussDB NoSQL的优势。### 1. 强一致社区版Redis,主从复制是异步的,容易造成数据堆积,也有宕机丢数据风险。GaussDB(for Redis)(下文简称高斯Redis)则是采用强一致同步的,当用户的数据写入高斯Redis并收到返回OK,这意味着高斯Redis已经实现了强一致的复制,数据的安全性很高。当然,这里的复制过程采用了组提交、用户态文件系统、RDMA等技术来降低同步复制的时延。!(https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202201/07/160924xt7qi5yxiqhawrka.png)### 2. 高可用高斯Redis的数据存储是共享的,即Shared Everything,因此可以容忍最多N-1个节点故障,而不影响数据的访问。!(https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202201/07/160932da0s3cqoobgbcuoc.png)### 3. 弹性伸缩高斯Redis实现了分层弹性,将资源准确的划分成计算资源、存储资源,真正做到了按需扩容:- 当用户的计算不足时,只需要扩展计算节点;- 当存储空间不够时,只需要扩展存储空间即可。同时,扩容过程也足够流畅:- 计算扩容的过程,不需要拷贝数据,只需要修改路由映射即可,对业务侧的影响很小;- 存储扩容更简单,只需要修改配额即可,对业务侧零影响。所以计算、存储的扩容都足够轻量级,可极速完成且对业务干扰极小。!(https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202201/07/1609594fcadoqgqnunsoxc.png)### 4. 全负荷分担存算分离的设计,让我们把数据复制交给了存储,计算层则完全解放。每个节点都可以承担用户的读写请求,这跟开源Redis的主上读写来比较,实现了2倍扩展。!(https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202201/07/161013dhsu6u4mjl2yhwld.png)# 总结- 云原生是技术趋势云原生是大势所趋,越来越多厂商和从业者都在提倡云原生,而华为云GaussDB NoSQL不仅仅基于云原生,还实现了多模架构,实现了多副本强一致、高可用、弹性伸缩、高性能等能力,以及具备资源复用、开发运维统一等好处。- 华为云GaussDB NoSQL提供超融合数字化解决方案华为云GaussDB NoSQL的多模特性,提供高并发、低时延的Redis,助力秒杀、推荐、热搜等场景;提供大容量、高频写的Cassandra,助力海量存储以及检索等场景;提供非结构化、灵活扩展的MongoDB,助力大数据分析、交易等场景;提供时序特征的InfluxDB,助力边缘计算、工业生产、实时监控等场景。以上场景涵盖数字工业的方方面面,提供了完整的一体化解决方案,方便用户一站式使用。!(https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202201/07/161116dsuiujfylm06olhn.png)本文整理自华为云数据库NoSQL架构师余汶龙的专题分享——云原生多模数据库GaussDB NoSQL架构设计,总结了当前数据库的发展趋势、GaussDB NoSQL关键技术解密以及核心竞争力。
  • [资产园地] 高斯数据库GaussDB系列资料合集
    1. 数据库简要介绍数据库在企业中有着重要的地位和应用,华为 GaussDB 数据库在鲲鹏生态中是主力场景之一。数据库总体可以分为关系型数据库和非关系型数据库。对于关系型数据库,有企业生产交易的 OLTP 数据库和企业分析的 OLAP 数据库。针对 OLTP 应用场景华为推出云数据库 GaussDB(for MySQL) 和 GaussDB(openGauss);OLAP 场景则推出数据仓库服务 GaussDB(DWS)。对于非关系型数据库,目前 GaussDB(for Mongo) 和 GaussDB(for Cassandra)。数据库技术革新正在打破现有秩序,云化,分部署,多模处理是未来主要趋势。本章重点介绍华为 GaussDB(for MySQL) 云数据库的特性和应用场景,并介绍部分应用案例。2. 华为 GaussDB 数据库总览联机事务处理(OLTP),存储/查询业务应用中活动的数据以支撑日常的业务活动;联机分析处理(OLAP):存储历史数据以支撑复杂的分析操作,侧重决策支持。GaussDB 数据库升级为全场景云服务,持续服务客户。高斯数据库GaussDB系列资料合集跳转链接一文轻松了解华为GaussDB家族https://bbs.huaweicloud.com/blogs/323097【最全资料汇总】如何在方案中采用数仓Gauss(DWS),你要的都在这里https://bbs.huaweicloud.com/forum/thread-118202-1-1.htmlGaussDB(DWS)的SCHEMA介绍https://bbs.huaweicloud.com/forum/thread-114906-1-1.htmlGaussDB(DWS)流式数据入库实践一:Python接口https://bbs.huaweicloud.com/forum/thread-115413-1-1.htmlGaussDB(DWS)流式数据入库实践二:C接口https://bbs.huaweicloud.com/forum/thread-115461-1-1.htmlGaussDB(DWS)流式数据入库实践三:Java接口https://bbs.huaweicloud.com/forum/thread-115462-1-1.htmlGaussDB(DWS) 存储主题博文汇总https://bbs.huaweicloud.com/forum/thread-123590-1-1.html你应该知道的数仓安全——默认权限实现共享schemahttps://bbs.huaweicloud.com/forum/thread-115385-1-1.htmlGaussDB(DWS)高可用之CN&GTM;组件高可用介绍https://bbs.huaweicloud.com/forum/thread-114887-1-1.htmlGaussDB DWS存储类问题汇总https://bbs.huaweicloud.com/blogs/258243华为云数仓GaussDB(DWS)全量备份总结https://bbs.huaweicloud.com/forum/thread-116085-1-1.html【精华】Gauss松鼠会|走进企业 资源汇总(定期更新)https://bbs.huaweicloud.com/forum/thread-172327-1-1.htmlGaussDB(DWS) Nodeagent进程故障问题汇总https://bbs.huaweicloud.com/blogs/279717【精品汇总】项目实践全系列精品贴汇总(持续更新中)https://bbs.huaweicloud.com/forum/thread-156102-1-1.htmlGaussDB DWS存储类问题汇总https://bbs.huaweicloud.com/forum/thread-121376-1-1.htmlGaussDB T分布式集群这样安装部署不踩坑https://bbs.huaweicloud.com/blogs/140954Mysql与分布式Gaussdb 100语法差异及常见问题汇总https://bbs.huaweicloud.com/forum/thread-49068-1-1.html【精品汇总】数据库项目实践全系列精品汇总贴(持续更新中)https://bbs.huaweicloud.com/forum/thread-170356-1-1.html【集群】维护宝典汇总贴来啦~https://bbs.huaweicloud.com/forum/thread-100109-1-1.html【博文汇总】GaussDB(DWS)博文汇总贴1,欢迎大家交流探讨(持续更新中)https://bbs.huaweicloud.com/forum/thread-84739-1-1.htmlGaussDB重要通信参数汇总https://bbs.huaweicloud.com/blogs/239863Gauss松鼠会|酷哥说库 视频系列之资源汇总(定期更新)https://bbs.huaweicloud.com/forum/thread-172321-1-1.html数仓GaussDB(DWS)全量备份总结https://bbs.huaweicloud.com/blogs/242694【精华】Gauss松鼠会|酷哥说库 微动画系列之资源汇总(定期更新)https://bbs.huaweicloud.com/forum/thread-172318-1-1.html华为GaussDB100数据库的基础知识概述https://bbs.huaweicloud.com/blogs/139802数仓GaussDB(DWS)教程培训汇总https://bbs.huaweicloud.com/forum/thread-120729-1-1.html【博文汇总】GaussDB(DWS)博文汇总贴2https://bbs.huaweicloud.com/forum/thread-113509-1-1.htmlMariaDB 常用命令汇总https://bbs.huaweicloud.com/blogs/311780GaussDB(DWS) 集群扩容系列一:集群扩容与数据重分布https://bbs.huaweicloud.com/forum/thread-115466-1-1.htmlGaussDB(DWS)集群管理系列:CM组件介绍(架构和部署形态)https://bbs.huaweicloud.com/forum/thread-115447-1-1.htmlGaussDB(DWS) 测试主题博文汇总https://bbs.huaweicloud.com/forum/thread-123604-1-1.htmlGaussDB(DWS)存储系列之行存表https://bbs.huaweicloud.com/forum/thread-115382-1-1.html这一篇就够了,全方位带你了解集群类问题!!!https://bbs.huaweicloud.com/forum/thread-114402-1-1.html
  • [实践系列] windows下使用ODBC连接DWS查询大数据量结果后报out of memory while reading tuples
    如题,现网用户使用官方提供的ODBC包,在windows下cognos连接DWS时,报Out of memory while reading tuples. 使用其他工具连接,也报一样的错误,说明与cognos本身没关系。ODBC在输出大数据量结果时,会一次性将结果输出出来,而windows的内存量不足以处理这样大量的数据时就会报这样的错误,查询资料后,可以通过勾选odbc的选项"use Declare/Fetch",利用游标来缓存结果,这样就不会让输出结果集消耗完内存。修改odbc的选项路径为Options->Datasource->use Declare/Fetch
  • [性能调优] 【GaussDB】【表关联】行存表与列存表关联
    【表关联】行存表与列存表关联 和 列存表与列存表关联的性能是否差距很明显【操作步骤&问题现象】在GaussDB(DWS)中行存表天然的使用行执行引擎,列存表天然的使用列执行引擎。如果一个SQL语句涉及的表既有行存表又有列存表,系统会自动选择行执行引擎。由于列执行引擎的性能(除indexscan相关的算子)比行执行引擎性能要好很多【截图信息】【日志信息】(可选,上传日志内容或者附件)
  • [业务报错] 连接DWS集群报错the authentication type 5 is not supported
    连接DWS集群报错the authentication type 5 is not supported. Check you have configured the pg_hba.conf file to include the client's IP address or subnet更换jdbc驱动包没有效果。排查password_encryption_type参数不为1。1、通过gs_guc还原password_encryption_type的参数值为1;2、通过ALTER USER xxxx PASSWORD xxx重置用户密码。修改后恢复。
  • [业务报错] 过多Savepoint导致查询慢
    【问题现象】业务泛网络追溯,调用存储过程进行查询,每天都出现占用70%会话连接的Savepoint s1和部分release s1,这些查询从早上8点到下午一直没有结束(正常一般几分钟),这种状态导致所有查询都变慢,且出现waiting in ccn queue问题原因:带exception的存储过程中执行过程中,执行CN给其他CN下发savepoint语句,其他语句执行完成后状态变成idle in transaction。但是执行CN执行其他语句特别慢,其他CN上事务始终无法提交,导致有大量savepoint语句处于idle in transaction状态。问题解决:需要业务侧开发优化sql
  • [运维管理] GaussDB(DWS)创建外表时参数Server\Options\DistributeBy如何在系统视图中逆向查到这些数据
    在做一个数据库逆向工具,GaussDB(DWS)外表创建的表结构如何得到创建表时Server\Options\DistributeBy参数1、比如创建语句:CREATE FOREIGN TABLE edwh.adm.testTable( col1 bigint, col2 bigint) SERVER "testServerName" options(header 'on') DISTRIBUTE BY roundrobin;2、我在 information_schema.tables 中可以查看到表概览信息。3、我查看 "GaussDB(DWS)8.0.1 产品文档" 手册 系统视图这里, 没有找到创建表时的逆向参数 server、options、distribute by.4、所以请问应该如何查找,才能找到这三个表级别的参数配置信息
  • [Sql迁移] 【DWS 8.1.1】【SQL迁移】Teradata的with语句达到小计的效果如何在高斯中实现
    【功能模块】【操作步骤&问题现象】在Teradata中,可以使用with来达到小计的效果,示例SELECT  Last_Name  ,First_Name  ,Dept_no  ,SalaryFROM  Employee_tableWITH SUM(Salary);结果在高斯里面如何达到同样的效果?【截图信息】【日志信息】(可选,上传日志内容或者附件)
  • [技术交流] GaussDB (for openGauss)云服务-咨询—创建表空间提示权限不足
    【故障现象】使用如下命令创建一个新的表空间tpcds_local。postgres=# CREATE TABLESPACE tpcds_local RELATIVE LOCATION ‘my_tablespace/tablespace1’ ;CREATE TABLESPACE错误详情截图如下:【故障诊断】根据错误信息的提示,Permission denied ,访问被拒绝,初步判断是权限不足的问题。【故障原因】使用root账号创建表空间会导致权限不足,访问被拒绝。【解决方案】数据库的root权限创建实例页面只提供管理员root用户权限。管理员root用户权限:createrole,createdb和monadmin。由于root权限低于完整的管理员用户权限, 部分SQL语法/函数执行时会报权限不足,例如:create tablespace 等【参考知识】参考链接:https://support.huaweicloud.com/devg-opengauss/opengauss_devg_0122.html
总条数:1010 到第
上滑加载中