• [技术干货] Java连接GaussDB数据库
    以 GaussDB 为实践环境,以社交网络为应用背景,设计了 26 道 SQL 供学生练习。题目分为简单、思考和挑战。同学们尝试利用结对编程解决一些难度较大的 SQL。其次利用 IDEA,开发相应的应用,实现数据库的连接、动态 SQL 的绑定。学生掌握利用Navicat连接数据库的方法,SQL 中大写字母的处理。发现arm 版的驱动支持 MAC M1 芯片。详细内容见链接: https://pan.baidu.com/s/1EHIZDJ7BJcH8hr42lXt7KQ?pwd=tkmp 提取码: tkmp。
  • [技术干货] 关系连接算法以及 SQL 单表查询计划分析
    CMU数据库的第1讲介绍了数据库中的连接算法,本次讲座详细讲述数据库中块连接算法、排序归并连接、Hash连接。以 GaussDB 为实践环节,编写了随机生成字符串、时间戳的函数,向 Wechat 数据库中 Userinfo 表中插入100 条记录,10000 条记录,分析 SQL 语句的查询计划。创建单字段索引,组合索引,分析不同的 SQL 语句的查询计划。同一个 SQL 不同的条件,查询计划也不相同。详细的课件见链接: https://pan.baidu.com/s/1XnBDAyQibIrjppoHo0hLOQ?pwd=va2b 提取码: va2b。
  • [问题求助] 设置字段宽度
    gsql中是否能设置查询表的字段宽度? 类似与Oracle中的 col的方式
  • GaussDB支持自定义聚合函数能在分布式版本运行吗
    GaussDB支持自定义聚合函数能在分布式版本运行吗
  • [技术解读] 【GaussDB技术解读】GaussDB数据库关键技术原理文章集合,宝藏内容值得收藏
    序号标题1GaussDB技术解读——GaussDB架构介绍(一)2GaussDB技术解读——GaussDB架构介绍(二)3GaussDB技术解读——GaussDB架构介绍(三)4GaussDB技术解读——GaussDB架构介绍(四)5GaussDB技术解读——GaussDB架构介绍(五)6GaussDB关键技术原理:高性能(一)7 GaussDB关键技术原理:高性能(二)8GaussDB关键技术原理:高性能(三)9GaussDB关键技术原理:高性能(四)10GaussDB关键技术原理:高性能(五)11GaussDB关键技术原理|高可用:DCF&双集群容灾12GaussDB关键技术原理|高可用:逻辑复制13GaussDB关键技术原理|高可用:两地三中心跨Region容灾14GaussDB关键技术原理:高弹性(一)15GaussDB关键技术原理:高弹性(二)16GaussDB关键技术原理:高弹性(三)17GaussDB关键技术原理:高弹性(四)18GaussDB关键技术原理:高弹性(五)19GaussDB关键技术原理:高弹性(六)20GaussDB高智能--数据库智能化发展史&自治运维技术21GaussDB高智能--自治运维技术(中)
  • [技术解读] GaussDB关键技术原理:高性能(三)
    GaussDB关键技术原理:高性能(二)从查询处理综述对GaussDB的高性能技术进行了解读,本篇将从查询重写RBO、物理优化CBO、分布式优化器、布式执行框架、轻量全局事务管理GTM-lite等五方面对高性能关键技术进行分享。3 高性能关键技术 内容概要:本章节介绍GaussDB中实现的高性能关键技术,内容涉及优化器、执行器、分布式数据库、存储引擎等多个方面。 目的:通过对GaussDB数据库关键高性能技术的学习,能够让读者更加清晰的理解数据库内核哪些优化是性能关键点同时也为类似的应用系统实现提供方法论和最佳实践。  3.1 查询重写RBO 在数据库里RBO基于规则的优化一般指查询重写技术,按照一系列关系代数表达式的等价规则,对查询的关系代数表达式进行等价转换,从逻辑上减少执行的总量从而提高查询执行效率,例如,通过条件的推导得出非必要的表扫描、避免非必要的计算表示等。    查询重写RBO优化是非常重要的一种逻辑优化手段,通常应用和实施在查询优化过程的前端,将一些肯定能够优化的场景进行优化,RBO优化结束后进行物理优化,以下以常用的几种重写优化进行介绍:  Example 1:谓词化简优化Predicate Simplification  使用谓词查询条件的可满足性Satisfiability (SAT)&可传递性Transitive Closure(TC)对查询进行化简,a.w.k SAT-TC,假设有t1,t2表,他们的定义分别为:T1(c1 int, c2 int);,T2(c1 int, c2 int check (c2 < 30));,则原查询: SELECT t1.c1,t1.c2, t2.c1, t2.c2FROM t1 JOIN t2 ON t1.c2 = t2.c2WHERE t1.c2 > 20可优化为:SELECT dt1.c1,dt1.c2, dt2.c1, dt2.c2FROM (select c1,c2 from t1 where t1.c2 between 20 and 30) as dt1,(select c1,c2 from t2 where t2.c2 between 20 and 30) as dt2WHERE dt1.c2 = dt2.c2;说明:通过谓词逻辑可以发现当前查询中可以一次实施TC->SAT->TC优化策略。  step1: TC优化:内连接关联条件t1.c2 = t2.c2 && t1.c2 > 20可以得出t2.c2 > 20  step2: SAT优化:t2.c2列上创建有check-constraint可以得出t2.c2 BETWEEN 20 AND 30  step3: TC优化:同理得出t1.c2 BETWEEN 20 AND 30  到此t1,t2在关联之前就可以最大限度减小处理的元组数,达到提升性能的目的,以下是其他SATTC例子: ————————————————                              版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。 说明:通过谓词逻辑可以发现当前查询中可以一次实施TC->SAT->TC优化策略。  step1: TC优化:内连接关联条件t1.c2 = t2.c2 && t1.c2 > 20可以得出t2.c2 > 20  step2: SAT优化:t2.c2列上创建有check-constraint可以得出t2.c2 BETWEEN 20 AND 30  step3: TC优化:同理得出t1.c2 BETWEEN 20 AND 30  到此t1,t2在关联之前就可以最大限度减小处理的元组数,达到提升性能的目的,以下是其他SATTC例子: ————————————————                              版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。                          说明:通过谓词逻辑可以发现当前查询中可以一次实施TC->SAT->TC优化策略。  step1: TC优化:内连接关联条件t1.c2 = t2.c2 && t1.c2 > 20可以得出t2.c2 > 20  step2: SAT优化:t2.c2列上创建有check-constraint可以得出t2.c2 BETWEEN 20 AND 30  step3: TC优化:同理得出t1.c2 BETWEEN 20 AND 30  说明:通过谓词逻辑可以发现当前查询中可以一次实施TC->SAT->TC优化策略。                        step1: TC优化:内连接关联条件t1.c2 = t2.c2 && t1.c2 > 20可以得出t2.c2 > 20  step2: SAT优化:t2.c2列上创建有check-constraint可以得出t2.c2 BETWEEN 20 AND 30  step3: TC优化:同理得出t1.c2 BETWEEN 20 AND 30  到此t1,t2在关联之前就可以最大限度减小处理的元组数,达到提升性能的目的,以下是其他SATTC例子: A=B AND A=C --> B=CA=5 AND A=B --> B=5A=5 AND A IS NULL --> FALSEA=5 AND A IS NOT NULL --> A=5X > 1 AND Y > X --> Y >= 3X IN (1,2,3) AND Y=X --> Y IN (1,2,3)Example 2:谓词下推优化Predicate Push Down将谓词查询条件下沉到中间结果集的最底层提前过滤,可以有效减少读入到内存中数据的数量,减少计算层的代价优化前:SELECT MAX(total)FROM (SELECT product_key, product_name,SUM(quantity*amount) AS totalFROM Sales, ProductWHERE sales_product_key=product_keyGROUP BY product_key, product_name) AS vWHERE product_key IN (10, 20, 30);优化后:SELECT MAX(total)FROM (SELECT product_key, product_name,SUM(quantity*amount) AS totalFROM Sales, ProductWHERE sales_product_key=product_key AND product_key IN (10, 20, 30)GROUP BY product_key, product_name) AS vWHERE product_key IN (10, 20, 30);说明:  查询在优化前需要事先将中间结果集v计算出。  在计算的过程中需要对sales、product两张表的全量数据进行读取进行,然后对结果集进行Group分组、Aggregation聚合操作,但是最终的结果集只要求输出product_key的值为10,20,30的结果集。  利用谓词下推规则可以让product_key in(10,20,30)过滤操作在Join之前完成,如果查询条件product_key in(10,20,30)的选择率较低则可以减少Join、Aggregation、Group三个操作处理的数据量,从而提升性能。  Example 3:谓词上移优化Predicate Pullup  将谓词查询条件中比较繁重的函数计算放到最后,期望减小繁重计算的次数达到提升性能的目的。  优化前: SELECT *FROM t1,(SELECT * FROM t2WHERE complex_func(t2.c2) = 3) AS dt(c1,c2,c3)WHERE t1.c1 = t2.c1 AND t1.c2 > 30优化后:SELECT *FROM t1,(SELECT * FROM t2) AS dt(c1,c2,c3)WHERE t1.c1 = t2.c1 AND t1.c2 > 30 AND complex_func(t2.c2) = 3说明:  原查询“complex_func(t2.c2) = 3”查询条件在子查询中,如果该条件在子查询DT中被计算则会导致t2表中的全量数据被计算开销较大。  通过谓词pullup上移到最外层让t2先和t1做关联和过滤,则能够有效减少complex_func被调用的次数,从而达到性能提升的目的。  查询重写是查询优化器阶主要分类之一,通常可以快速将处理的数据进行成倍数缩减,下图是常见的查询重写分类 3.2 物理优化CBO 在优化器处理完RBO的优化以后,路径的选择往往不能通过实现制定好的规则进行变换,而是需要根据数据的分布(统计信息)情况来对查询执行路径进行评估,从可选的路径中选择一个执行代价最小的路劲进行执行,例如是否选择索引SeqScan vs. IndexScan、选择哪个索引,两表关联选择什么样的连接顺序,选择怎样的具体算法等,因此,可以将物理优化总结为对多个可行的物理执行代价进行评估,选择最优的计划输出到执行器进行执行,例如有以下查询: select * from t1 join t2 on t1.a=t2.b;可选择的计划有:如上图所示,根据T1、T2可访问的执行路径:IndexScan vs. SeqScan,关联算法:HashJoin、MergeJoin、NestLoop;关联内表外表等多个维度的选择,就会生成多达数十种不同的执行计划,由于考虑到T1、T2的表大小,谓词的选择率、是否有索引等因素很难从一个固定的规则里选出一个合理的执行计划,此时需要对T1、T2表的数据特征进行建模,构建代价模型从而选出最优的计划,这个过程按照处理的顺序大体上可以分为:统计信息、行数估算、代价估算、路径搜索、计划生成五个处理步骤:  (1)统计信息,物理优化的依据来源于表信息的统计, 描述基表数据的特征包括唯一值、MCV值等,用于行数估算。  (2)行数估算,代价估算的基础,来源于基表统计信息的推算,估算基表baserel、Join中间结果集joinrel、Aggregation中结果集大小,为代价估算做准备。  (3)代价估算,根据关系的行数,推算出当前算子的执行代价,根据数据量估算不同算子执行代价,各算子代价之和即为计划总代价。  (4)路径搜索,依据若干算子的执行代价对最优路径进行路径搜索,通过求解路径最优算法(e.g. 动态规划、遗传算法)处理连接路径搜索过程,以最小搜索空间找到最优连接路径。  (5)计划生成,将查询的执行路径转换成PlanTree能够输出给执行器做查询执行,在分布式场景下根据数据分布的属性决定Data-Shuffling数据迁移总体方案。  3.3 分布式优化器 分布式数据库场景下表分布在各个节点上,数据的本地性Data Locality是分布式优化器中生成执行计划时重点考虑的因素,基于Share Nothing的分布式数据库中有一个很关键概念就是“移动数据不如移动计算”,之所以有数据本地性就是因为数据在网络中传输会有不小的I/O消耗,网络的overhead通常情况下会大于本地的计算,因此分布式数据库优化的一个重要的原则就是尽量减少这个网络I/O消耗就能够提升效率。例如有以下例子一个聚集查询的例子: 表信息:- T1: distribute By HASH(c1)执行查询:- select sum(c1), c2 from t1 group by c2由于表T1的分布列为c1但实际上要按照c2为键值进行聚集,对聚集列进行重分布是不可避免的一步操作,因此先做聚集还是先做数据迁移重分布就成为分布式优化器的一个选项,针对这一情况可以有以下两种分布式执行计划选择:说明:  (1)执行计划A未考虑Data Locality的优化按照聚集的逻辑直接从扫描输出的100m元组进行重分布操作,造成大量的数据传输和网络资源消耗。  (2)执行计划B考虑Data Locality的优化,把AGG算子分解成2次AGG,其中第一次AGG在本地执行对原始数据进行缩减然后再通过网络重分布进入第二次AGG,虽说执行计划B相比A多了1个AGG算子,尽管计算的总量未发生变化但是节省了大量的网络IO操作,端到端提升了查询性能。  表关联也是类似的原理,如果当join列与分布列不一致时,需要网络stream节点算子对数据进行重分布或者复制确保查询执行的语义正确。  3.4 分布式执行框架 由于GaussDB采用的是无共享Shared-nothing的架构,由众多独立且互不共享CPU、内存、存储等系统资源的逻辑节点组成。在这样的系统架构中,业务数据被分散存储在多个物理节点上,数据分析任务会被推送到数据所在位置就近执行,通过控制模块的协调,并行地完成大规模的数据处理工作,实现对数据处理的快速响应。DN是基于本节点存储的数据执行具体的执行计划;DN之间可能会有数据交互,这个数据交互就通过分布式执行框架来完成。分布式框架主要靠网络通信算子Steram完成,Stream算子是分布式执行框架的核心元素,Stream算子主要有2个职责:(1)数据重分布(Data Shuffling):负责将单节点DataNode进程串联成为分布式集群的能力也就是通常理解的数据重分布,其他友商如GreemPlum的Motion节点,VectorWise的DXchg节点也具备类似的功能;(2)分布式流水线(Distribute Pipeline):将原有的分布式执行计划进行并行切分,即以Stream节点作为处理流水线分界由不同的工作线程完成,线程间以PV生产者消费者模式工作,  数据重分布(Data Shuffling)  针对当前GaussDB所支持的数据重分布机制上有3种工作模式:  (1)Gather Stream(N:1)每个源节点都将其数据发送给目标节点,一般用于汇总DN节点到CN节点的过程。 (2)Redistribute Stream(M:N):M个DN节点将其数据根据关联条件、聚集分组表达式算出Hash值,根据重新计算的Hash值进行分布,发送数据到对应的目标节点。一般用于Join、Agg、NodeGroup中的重分布场景。(3)Broadcast Stream(1:N):有一个源节点将其数据发给N个目标节点。例如下图的分布式执行计划,由于不同的表分布属性不同,因此通过分布式执行框架Stream节点进行数据串联并执行,最后在CN节点进行结果集汇总。说明:  (1)执行的过程中对T1、T2的扫描都在DN节点上并行完成。  (2)优化器生成的执行计划选择了前一节中描述的方案3,即T1保持不动复制T2到所有节点,并完成分布式HASHJOIN。  (3)HashJoin节点在所有节点上执行完成以后通过Gather节点在CN上进行结果集汇总。  分布式执行流水线(Distribution Pipeline)  在分布式执行过程中如果存在数据搬移,Stream算子的数据发送端、数据接收端有不同的线程完成,他们在时间分片上重叠以并行的方式执行,因此全局执行计划被网络通信算子Stream切分成多个计划片段,分别有不同的线程来完成执行,不同的线程之间采用PC生产者消费者进行交互通信,全局上达到并行执行的效果。如下图,实际的计划执行在DN这一层以Stream算子为界,被切分成多个线程并行处理。 3.5 轻量全局事务管理GTM-lite GTM,全称Global Transaction Manager,即全局事务管理器,负责全局事务号的分发,事务提交时间戳的分发以及全局事务运行状态的登记,作为事务管理中的重要模块,为支持事务一致性提供必要的保证。事务开始和提交时与GTM进行交互获取必要的全局事务信息,包括事务ID,全局时间戳,全局快照等等。与其他模块一个很重要的不同点就是,为了保证一致性和事务标识全局唯一,集群中只要一个主GTM,即只有一个GTM真正参与事务(不过GTM和DN一样是高可用的,支持一主多备或主备从)。使用GTM来进行事务管理,一个很重要的问题就是会出现单点瓶颈,因为所有需要获取事务唯一标识的事务都需要连接GTM,获取全局快照的时候也都需要连接GTM,在大并发的情况下频繁的交互导致大量的网络通信和锁等待,从而限制了集群性能。  在老的GTM模式下,虽然通过将活跃事务链表替换为CSN来减少了通信量,但是由于仍采用全局事务id的策略,所以每个活跃事务仍要在GTM注册槽位,GTM负责管理和分发全局事务id,这导致当并发量大的时候,GTM容易成为单点瓶颈,主要体现在以下两个方面:  (1)在一个事务的执行流程中,CN会与GTM进行多次交互,如事务开始时在GTM注册槽位、获取快照时从GTM获取全局事务id、事务结束时向GTM提交并移除槽位等,这些频繁的交互会带来大量的网络通信和等待;  (2)当并发量超过槽位数限制时,会由于槽位不够影响业务正常进行。  由此可见,其影响性能的主要原因在于GTM的协调太强,通过对全局事务id的管控,虽然保证了事务的一致性,但是也限制了事务处理的效率。与GTM模式相反,GTM-FREE模式下CN/DN不与GTM交互,通过CN/DN分别维护本地事务id来保证事务系统的正常运行。这种模式下由于缺少全局事务id以及GTM的其他协调(CSN),事务的一致性会受到影响,从而限制了这种模式的适用范围。综上,现有的两种模式在效率和一致性要求上并没有达到一个很好的平衡,而影响这种平衡的主要因素在与“协调”,协调带来更多一致性的保障,但是却降低了性能。由此,一个好的模式应该是在尽可能少的协调的情况下,达到尽可能高的性能,这也是本章介绍的GTM-LITE模式  GTM-LITE的主要目标就是在消除GTM瓶颈影响的同时,尽可能通过更少的信息交互,利用它来协调好事务的并发,从而保证事务一致性的同时提升性能。为此,GTM-LITE的主要设计思路包含以下4点:  (1)本地事务id取代全局事务id。GTM不再分配全局唯一的事务id,每个CN/DN节点用本地产生的事务id,保证节点内事务id不会重复;对于跨节点的事务,由全局唯一的gid标识符前缀来保证写一致性,由全局唯一的csn号来保证事务读的一致性。  (2)GTM不再维护槽位信息,仅在事务提交时下发全局唯一的csn序列号。GTM下发的全局csn是一个递增的uint64值。这一设计消除了BEGIN, GetNewTransactionId同GTM的交互。进一步,如果事务在GTM提交时失败,可以retry重新获取最新的csn,减少网络故障对系统造成的影响。  (3)本地维护多版本过期脏元组的回收,并引入Snapshot Invalid机制,保证全局事务的一致性。由于舍弃全局事务id,无法直接根据RecentGlobalXmin确定需要清理的脏元组,所以需要利用全局csn来计算RecentGlobalXmin,从而实现GTM架构代码的有效复用。  (4)引入prepared array链表对单节点事务可见性判断进行优化。对于单节点的读事务,不再向GTM申请快照,而是使用本地的快照+prepared array链表来进行可见性判断,这种方式在保证读外部一致性的前提下,尽可能的减少同GTM的交互。基本判断方法为:对于csn<本地快照csn的事务以及本地prepared(在prepared array中)且最终提交的事务,均可见。  以上内容从查询重写RBO、物理优化CBO、分布式优化器、布式执行框架、轻量全局事务管理GTM-lite等五方面对高性能关键技术的进行了分享,下篇将从USTORE存储引擎、计划缓存计划技术、数据分区与分区剪枝、列式存储和向量化引擎、SMP并行执行等方面继续解读高性能关键技术,敬请期待! 
  • [技术干货] GaussDB 技术干货集合
    序号网址标题1https://bbs.huaweicloud.com/forum/thread-0235152777783711058-1-1.htmlGaussDB数据库如何创建修改数据库和数据表2https://bbs.huaweicloud.com/forum/thread-0235152777783711058-1-1.htmlGaussDB数据库如何创建修改数据库和数据表3https://bbs.huaweicloud.com/forum/thread-0272151812820406012-1-1.htmlGaussDB数据库的元数据及其管理简介4https://bbs.huaweicloud.com/forum/thread-02109151812652385008-1-1.htmlGaussDB的行存表与列存表的选择5https://bbs.huaweicloud.com/forum/thread-0299151812618135019-1-1.htmlGaussDB云数据库配套工具UGO6https://bbs.huaweicloud.com/forum/thread-02120151812519215014-1-1.htmlGaussDB OLTP 云数据库配套工具DAS7https://bbs.huaweicloud.com/forum/thread-02109151812463028007-1-1.htmlGaussDB OLTP云数据库配套工具DRS8https://bbs.huaweicloud.com/forum/thread-02119151812405488013-1-1.htmlGaussDB OLTP云数据库配套工具DDM9https://bbs.huaweicloud.com/forum/thread-0236151812356015011-1-1.html数据库模型设计案例分享(GaussDB版)10https://bbs.huaweicloud.com/forum/thread-02106149253127739038-1-1.htmlGaussDB 常用语法总结【操作指导集合】11https://bbs.huaweicloud.com/forum/thread-02107149218966585035-1-1.htmlGaussDB数据库SQL系列-聚合函数12https://bbs.huaweicloud.com/forum/thread-02106149217197091032-1-1.html由数据插入超长引起的问题——了解GaussDB和openGauss的字符集13https://bbs.huaweicloud.com/forum/thread-0235152777783711058-1-1.htmlGaussDB数据库如何创建修改数据库和数据表14https://bbs.huaweicloud.com/forum/thread-0272151812820406012-1-1.htmlGaussDB数据库的元数据及其管理简介15https://bbs.huaweicloud.com/forum/thread-02109151812652385008-1-1.htmlGaussDB的行存表与列存表的选择16https://bbs.huaweicloud.com/forum/thread-0299151812618135019-1-1.htmlGaussDB云数据库配套工具UGO17https://bbs.huaweicloud.com/forum/thread-02120151812519215014-1-1.htmlGaussDB OLTP 云数据库配套工具DAS18https://bbs.huaweicloud.com/forum/thread-02109151812463028007-1-1.htmlGaussDB OLTP云数据库配套工具DRS19https://bbs.huaweicloud.com/forum/thread-02119151812405488013-1-1.htmlGaussDB OLTP云数据库配套工具DDM20https://bbs.huaweicloud.com/forum/thread-0236151812356015011-1-1.html数据库模型设计案例分享(GaussDB版)21https://bbs.huaweicloud.com/forum/thread-02106149253127739038-1-1.htmlGaussDB 常用语法总结【操作指导集合】22https://bbs.huaweicloud.com/forum/thread-02107149218966585035-1-1.htmlGaussDB数据库SQL系列-聚合函数23https://bbs.huaweicloud.com/forum/thread-02106149217197091032-1-1.html由数据插入超长引起的问题——了解GaussDB和openGauss的字符集24https://bbs.huaweicloud.com/forum/thread-0297146799368478025-1-1.htmlGaussDB WDR分析之集群报告篇25https://bbs.huaweicloud.com/forum/thread-0231145158414495004-1-1.html利用GaussDB的可观测性能力构建故障模型26https://bbs.huaweicloud.com/forum/thread-0235152777783711058-1-1.htmlGaussDB数据库如何创建修改数据库和数据表27https://bbs.huaweicloud.com/forum/thread-0272151812820406012-1-1.htmlGaussDB数据库的元数据及其管理简介28https://bbs.huaweicloud.com/forum/thread-02109151812652385008-1-1.htmlGaussDB的行存表与列存表的选择29https://bbs.huaweicloud.com/forum/thread-0299151812618135019-1-1.htmlGaussDB云数据库配套工具UGO30https://bbs.huaweicloud.com/forum/thread-02120151812519215014-1-1.htmlGaussDB OLTP 云数据库配套工具DAS31https://bbs.huaweicloud.com/forum/thread-02109151812463028007-1-1.htmlGaussDB OLTP云数据库配套工具DRS32https://bbs.huaweicloud.com/forum/thread-02119151812405488013-1-1.htmlGaussDB OLTP云数据库配套工具DDM33https://bbs.huaweicloud.com/forum/thread-0236151812356015011-1-1.html数据库模型设计案例分享(GaussDB版)34https://bbs.huaweicloud.com/forum/thread-02106149253127739038-1-1.htmlGaussDB 常用语法总结【操作指导集合】35https://bbs.huaweicloud.com/forum/thread-02107149218966585035-1-1.htmlGaussDB数据库SQL系列-聚合函数36https://bbs.huaweicloud.com/forum/thread-02106149217197091032-1-1.html由数据插入超长引起的问题——了解GaussDB和openGauss的字符集37https://bbs.huaweicloud.com/forum/thread-0297146799368478025-1-1.htmlGaussDB WDR分析之集群报告篇38https://bbs.huaweicloud.com/forum/thread-0231145158414495004-1-1.html利用GaussDB的可观测性能力构建故障模型39https://bbs.huaweicloud.com/forum/thread-0284144599249246009-1-1.htmlGaussDBAPI概览40https://bbs.huaweicloud.com/forum/thread-0202142095354960004-1-1.htmlGaussDB数据库:创建高性能索引
  • [技术解读] GaussDB和Postgres
     数据库结构:两者都支持SQL语言和ACID事务,具有相似的数据库结构,包括表、视图、存储过程、触发器等。  开源:两者都是开源软件,均可以免费使用和修改。  数据库安全:两者都提供了安全控制机制,包括用户权限控制、数据加密等。  数据备份和恢复:两者都支持数据备份和恢复,可以保证数据的可靠性和完整性。  但是,GaussDB和Postgres也存在一些不同之处:  数据库架构:GaussDB采用分布式架构,可以支持海量数据存储和高并发访问,而Postgres采用单机架构。  数据库性能:GaussDB具有更高的性能和扩展性,可以支持更大规模的数据处理和更高的并发访问。  数据库功能:GaussDB具有更多的高级功能,如在线数据迁移、在线扩容等,而Postgres则更加注重数据完整性和数据安全性。  总之,GaussDB和Postgres都是优秀的数据库管理系统,可以根据实际需求选择使用。如果需要处理海量数据和高并发访问,可以考虑使用GaussDB 
  • [技术解读] GaussDB分布式和主备的区别
     GaussDB分布式和主备的区别主要在于数据的存储和管理方式以及系统的可用性。  数据存储和管理方式:在主备模式下,数据只存储在主节点上,备节点只是主节点的备份,主节点负责处理所有的数据读写请求,备节点只有在主节点出现故障时才会接管主节点的工作。而在分布式模式下,数据被分成多个分片,存储在不同的节点上,每个节点都可以处理部分数据的读写请求,数据的管理更为分散和灵活。  系统可用性:在主备模式下,当主节点出现故障时,备节点需要接管主节点的工作,但是这个过程需要一定的时间,系统在这段时间内是不可用的。而在分布式模式下,即使某个节点出现故障,其他节点仍然可以处理数据的读写请求,系统的可用性更高。  总的来说,主备模式更适合对数据一致性要求较高、对系统可用性要求相对较低的场景,而分布式模式更适合对系统可用性和数据处理能力要求较高的场景。 
  • [技术解读] GaussDB SQL基础语法示例-GOTO语句
    一、前言SQL是用于访问和处理数据库的标准计算机语言。GaussDB支持SQL标准(默认支持SQL2、SQL3和SQL4的主要特性)。本系列将以《云数据库GaussDB—SQL参考》在线文档为主线进行介绍。GOTO 语句是直观基本的控制流语句,会导致控制流发生无条件更改。它用于分流至使用 SQL 过程中定义的标签的特定用户定义位置。使用 GOTO 语句通常被视为缺乏编程技巧,并且不推荐这样做。大量使用 GOTO 会导致代码可读性不好,特别是在过程变长时。此外,因为有更好的语句可用于控制执行路径,所以 GOTO 并非必需。没有需要使用 GOTO 的特定情况;使用它通常只是为了方便。二、在GaussDB数据库中的概念及语法1、基本概念GOTO语句是一种控制语句,它用于无条件地将程序的执行跳转到指定的位置。在GaussDB数据库的SQL实现中,GOTO语句通常被用于存储过程和触发器等数据库对象中,以实现复杂的逻辑控制。GOTO语句可以实现从GOTO位置到目标语句的无条件跳转。GOTO语句会改变原本的执行逻辑,因此应该慎重使用。当执行GOTO语句时,目标Label必须是唯一的。2、语法BEGIN--some code hereIF condition THENGOTO label;END IF;-- some code hereGOTO label;<<label>>-- code to jump toEND;/三、在GaussDB数据库中的基础示例和限制场景说明1、基础示例创建一个函数,在满足一定条件时,通过GOTO语句进行跳转。CREATE OR REPLACE FUNCTION proc_goto(i in integer,j in integer)RETURNS TEXTLANGUAGE plpgsqlAS $$BEGINLOOPINSERT INTO test_1(id,date) VALUES(i,current_date) ;i := i+1;IF i=j THENGOTO label;END IF;END LOOP;<<label>>INSERT INTO test_1(id,date) VALUES(i,'3000-12-31') ;RETURN 'succeed';END $$;CALL proc_goto(1,5);select * from test_1;2、限制场景说明GOTO使用有以下限制场景:1、不支持有多个相同的GOTO labels目标场景,无论是否在同一个block中。BEGINGOTO label 1;<< label 1>>SELECT * FROM ...<< label 1>>UPDATE t1 SET ...END;2、不支持GOTO跳转到IF语句,CASE语句,LOOP语句中。BEGINGOTO label 1;IF valid THEN<< label 1>>SELECT * FROM ...END IF;END;3、不支持GOTO语句从一个IF子句跳转到另一个IF子句,或从一个CASE语句的WHEN子句跳转到另一个WHEN子句。BEGINIF valid THENGOTO label 1;SELECT * FROM ...ELSE<< label 1>>UPDATE t1 SET ...END IF;END;4、不支持从外部块跳转到内部的BEGIN-END块,即禁止从外层跳转到内层。BEGINGOTO label 1;BEGIN<< label 1>>UPDATE t1 SET ...END;END;5、不支持从异常处理部分跳转到当前的BEGIN-END块。但可以跳转到上层BEGIN-END块。BEGIN<< label 1>>UPDATE t1 SET ...EXCEPTIONWHEN condition THENGOTO label 1;END;6、如果从GOTO到一个不包含执行语句的位置,需要添加NULL语句。DECLAREdone BOOLEAN;BEGINFOR i IN 1..50 LOOPIF done THENGOTO end_loop;END IF;<<end_loop>>NULL;END LOOP;END;/四、小结在本文中,我们介绍了GOTO语句在云数据库GaussDB SQL中的使用特点,通过一系列的示例,可以更好地组织代码,避免一些不必要的计算和操作,从而提高SQL语句的执行效率。 但同时需要注意的是,GOTO语句虽然可以用于实现复杂的逻辑控制,但也容易导致代码的可读性降低和维护困难。因此,在实际开发中,应该根据具体情况慎重使用GOTO语句。——结束
  • [运维管理] 为什么需要每次执行source ${BIGDATA_HOME}/mppdb/.mppdbgs_profile命令启动环境变量。直接写到.bashrc文件里面不行吗?有什么影响和弊端?
    为什么需要每次执行source ${BIGDATA_HOME}/mppdb/.mppdbgs_profile命令启动环境变量。直接写到.bashrc文件里面不行吗?有什么影响和弊端?
  • [技术解读] GaussDB SQL基础语法示例-循环语句
    一、前言SQL是用于访问和处理数据库的标准计算机语言。GaussDB支持SQL标准(默认支持SQL2、SQL3和SQL4的主要特性)。本系列将以《云数据库GaussDB—SQL参考》为主线进行介绍。二、GaussDB数据库总的循环语句在GaussDB数据库中,循环语句是一种常用的控制流语句,用于在数据库查询中执行重复操作。通过使用循环语句,我们可以灵活地处理数据集中的每一行,并根据需要对数据进行转换、过滤或计算。循环语句在处理大规模数据、进行复杂计算和操作时具有显著的优势。在GaussDB数据库中,循环语句主要包括LOOP、WHILE LOOP、FOR LOOP和FORALL等语句。这些语句用于在数据库查询中执行重复操作,并可以根据需要选择合适的循环类型来处理数据集中的每一行。 本文将介绍GaussDB数据库中的循环语句及其应用。三、GaussDB中常用循环语句(语法 + 示例)1、LOOP循环语句LOOP循环是一个无限循环,直到显式地使用EXIT语句退出循环。在循环体内部,可以根据条件执行重复的查询操作。例如,可以使用IF语句在每次循环时检查条件,并执行相应的操作。语法:LOOPstatementsEND LOOP;Tip: 该循环必须要结合EXIT使用,否则将陷入死循环。示例:---插入多条数据,i是字段id起始值,j终止值。CREATE OR REPLACE PROCEDURE proc_loop(i in integer,j in integer)ASBEGINLOOP-- 执行重复的插数操作INSERT INTO test_1(id,c_times) VALUES(i,current_timestamp) ;--id值递增 +1i := i+1;-- 退出循环的条件IF i=j THENEXIT;END IF;END LOOP;END;/CALL proc_loop(1,5);SELECT * FROM test_1;2、WHILE … LOOP 循环语句WHILE … LOOP循环是一个有条件的循环,只要满足指定的条件,循环就会继续执行。在循环体内部,可以执行重复的查询操作。当条件不再满足时,循环会终止。语法:WHILE condition LOOPstatementsEND LOOP;示例:---插入多条数据,i是字段id起始值,j终止值。CREATE OR REPLACE PROCEDURE proc_loop_1(i in integer,j in integer)ASBEGINWHILE i < j LOOP-- 执行重复的查询操作INSERT INTO test_1(id,c_times) VALUES(i,current_timestamp);--id值递增 +1i := i+1;END LOOP;END;/CALL proc_loop_1(5,10);SELECT * FROM test_1;3、FOR … LOOP循环语句(integer变量)FOR LOOP循环是按照指定的次数执行循环。在循环体内部,可以执行重复的查询操作。语法:FOR name IN [REVERSE] lower_bound ..upper_bound [BY step] LOOPstaementsEND LOOP;Tip: 变量name会自动定义为integer类型并且只在此循环里存在。变量name介于lower_bound和upper_bound之间。 当使用REVERSE关键字时,lower_bound必须大于等于upper_bound,否则循环体不会被执行。示例:---插入多条数据,i是字段id起始值,j终止值。CREATE OR REPLACE PROCEDURE proc_loop_2(i in integer,j in integer)ASBEGINFOR i IN i..j LOOP-- 执行重复的查询操作INSERT INTO test_1(id,c_times) VALUES(i,current_timestamp);END LOOP;END;/CALL proc_loop_2(10,15);SELECT * FROM test_1;4、FORALL循环语句(批量查询)FORALL循环是一种并行化的循环,用于在数据集上执行并行操作。它适用于处理大规模数据集,可以利用多核处理器并行执行查询操作。语法:FORALL index IN lower_bound .. upper_bound DML;Tip:变量index会自动定义为integer类型并且只在此循环里存在。index的取值介于low_bound和upper_bound之间。示例:---插入多条数据,CREATE OR REPLACE PROCEDURE proc_loop_3(i in integer,j in integer)ASBEGINFORALL i IN i..j-- 执行重复的查询操作INSERT INTO test_1(id,c_times) VALUES(i,current_timestamp);END;/CALL proc_loop_3(16,20);SELECT * FROM test_1;四、小结本文介绍了GaussDB数据库中的循环语句及其使用方法。循环语句提供了灵活的数据处理能力。通过掌握循环语句的用法,我们可以更好地利用GaussDB数据库的功能,提高数据处理效率和查询性能。——结束
  • [技术解读] GaussDB SQL基础语法-变量&常量
    一、前言SQL是用于访问和处理数据库的标准计算机语言。GaussDB支持SQL标准(默认支持SQL2、SQL3和SQL4的主要特性)。本系列将以《云数据库GaussDB—SQL参考》在线文档为主线进行介绍。二、GaussDB数据库中的常量和变量的基本概述及语法定义数据库中的变量和常量是两种重要的数据使用类型。变量是可以变化和被修改的,而常量则是固定不变,不能被修改的。1、变量定义在GaussDB中,变量是用于存储可变值的数据类型。变量通常在程序中定义,并在执行期间可以更改其值。在GaussDB中,可以使用以下语法来定义变量:DECLARE variable_name data_type;其中,variable_name 是变量的名称,data_type 是变量的数据类型。例如,要定义一个名为 my_variable 的整数变量,可以使用以下语句:DECLARE my_variable INT;2、常量定义在GaussDB中,常量用于存储固定值的数据类型。常量在程序中定义后,其值不能被修改。在GaussDB中,可以使用以下语法来定义常量:DECLARE constant_name data_type = constant_value;其中,constant_name 是常量的名称,data_type 是常量的数据类型,constant_value 是常量的值。例如,要定义一个名为 my_constant 的整数常量,可以使用以下语句:DECLARE my_constant INT = 10;这将定义一个名为 my_constant 的整数常量,其值为 10。请注意,这只是GaussDB中定义变量和常量的基本语法。具体建议参考GaussDB的官方文档或相关资料以获取更详细信息。3、其他(%TYPE、%ROWTYPE属性)变量类型除了支持基本类型,还可使用%TYPE和%ROWTYPE去声明一些与其他表字段或表结构本身相关的变量。%TYPE属性:%TYPE主要用于声明某个与其他变量类型(例如,表中某列的类型)相同的变量。假如我们想定义一个my_name变量,它的变量类型与employee的firstname类型相同,我们可以通过如下定义:--使用某列的属性声明DECLARE my_name employee.firstname%TYPE--使用其他变量的属性声明DECLAREname VARCHAR(10) NOT NULL := 'ZhangSan';surname name%TYPE := 'LiSi';这样定义可以带来两个好处,首先,我们不用预先知道employee 表的firstname类型具体是什么。其次,即使之后firstname类型有了变化,我们也不需要再次修改my_name的类型。%ROWTYPE属性:%ROWTYPE属性主要用于对一组数据的类型声明,用于存储表中的一行数据,或从游标匹配的结果。假如,我们需要一组数据,该组数据的字段名称与字段类型都与employee表相同。我们可以通过如下定义:--根据表employee表结构定义变量类型DECLARE my_employee employee%ROWTYPE三、在GaussDB数据库中如何使用变量&常量(示例)变量&常量一般在数据库中不能直接应用到简单的SQL语句中,而是常常用于自定义的函数、存储过程中。下文简单举一列子(可参考前面FUNCTION/PROCEDURE相关文章):示例一,定义常量&变量(创建动态语句)常量作为WHERE 条件之一;变量存储查询的结果值。示例二,定义变量(创建游标)定义变量,存储游标结果值示例三,定义变量(创建package属性重载函数)定义TEXT类型变量、赋值SQL语句四、小结在GaussDB数据库中,变量和常量是两种不同的数据存储方式。变量是用于存储可变值的数据类型,可以在程序执行期间更改其值。而常量则是用于存储固定值的数据类型,其值在定义后不能被修改。 在GaussDB中,可以使用DECLARE语句来定义变量和常量,并通过使用“:=”运算符来为它们赋值。正确地定义和使用变量和常量可以提高程序的灵活性和可维护性,并确保数据的准确性和完整性。——结束
  • [技术干货] 大数据干货合集(2024年6月)
    融合分析能力是云原生数据仓库GaussDB(DWS)核心亮点之一。GaussDB(DWS)采用一套SQL引擎,支持Oracle、Mysql、HDFS等多源数据融合分析,并通过算子下推、加速集群等技术对分析性能进行了大幅优化,在数据免搬迁的前提下,实现了跨源数据免搬迁、高效分析。GaussDB(DWS)云原生数据仓库支持冷热数据多温存储,热数据存储于数仓内部,以获得良好的查询分析性能,冷数据可分级存储到更低成本的OBS中,不仅降低存储成本,并且在OBS内,通过合法鉴权,数据能够共享开放,供其他引擎处理分析,GaussDB(DWS)当前已经支持表内不同分区间的冷热数据存储,未来还将支持更细粒度、更加智能的冷热数据管理。GaussDB(DWS)性能优化最佳实践https://bbs.huaweicloud.com/forum/thread-0264154438478550040-1-1.html行存储和列存储的特点https://bbs.huaweicloud.com/forum/thread-0264154438609471041-1-1.html索引介绍https://bbs.huaweicloud.com/forum/thread-02127154438820523046-1-1.htmlGaussDB(DWS)性能调优Plan hint运用https://bbs.huaweicloud.com/forum/thread-0244154439166498047-1-1.html GaussDB(DWS)技术解读:融合分析能力https://bbs.huaweicloud.com/forum/thread-02109154439296560046-1-1.htmlGaussDB(DWS)技术解读:实时数仓https://bbs.huaweicloud.com/forum/thread-02127154439392517047-1-1.htmlGaussDB(DWS)技术特点https://bbs.huaweicloud.com/forum/thread-0224154439459494036-1-1.htmlGaussDB(DWS)的迁移工具https://bbs.huaweicloud.com/forum/thread-0210154439520486040-1-1.htmlCM组件介绍https://bbs.huaweicloud.com/forum/thread-0244154439658225048-1-1.htmlUnique SQL特性原理与应用https://bbs.huaweicloud.com/forum/thread-0273154439742484032-1-1.html用Unique SQL辅助定位问题https://bbs.huaweicloud.com/forum/thread-02109154439842964047-1-1.htmlGaussDB(DWS)delete误删数据后如何恢复https://bbs.huaweicloud.com/forum/thread-0244154440068495049-1-1.htmlvacuum full执行慢怎么办https://bbs.huaweicloud.com/forum/thread-0264154440311742042-1-1.htmlvacuum full的功能https://bbs.huaweicloud.com/forum/thread-0224154440495021037-1-1.htmlvacuum full执行慢的常见场景https://bbs.huaweicloud.com/forum/thread-0212154440623154031-1-1.html
  • [技术解读] GaussDB SQL基础语法示例-数组表达式
    一、前言SQL是用于访问和处理数据库的标准计算机语言。GaussDB支持SQL标准(默认支持SQL2、SQL3和SQL4的主要特性)。本系列将以《云数据库GaussDB—SQL参考》在线文档为主线进行介绍。欢迎使用GaussDB数据库数组表达式。在本文中,我们将介绍GaussDB数据库中数组表达式的概念、语法和用法。GaussDB是一种高性能、高可扩展的分布式数据库,广泛应用于各种业务场景。数组表达式是GaussDB数据库中的一种强大功能,它允许用户在数据库查询中使用数组操作符和函数来处理数组类型的数据。通过学习本文,您将了解如何使用GaussDB数据库的数组表达式来简化数据处理流程,提高查询效率,从而更好地满足业务需求。二、条件表达式的概念及GaussDB中的常见的数组表达式GaussDB支持SQL语言以及一些扩展功能。在GaussDB中,数组表达式用于处理数组类型的数据。以下是一些常见的数组表达式:1、IN :expression IN (value [, ...])使用IN运算符可以判断一个数组是否包含在一个给定的值列表中。如果数组包含所有在括号中指定的值,则返回true;否则返回false。2、NOT IN :expression NOT IN (value [, ...])使用NOT IN运算符可以判断一个数组是否不包含在一个给定的值列表中。如果数组不包含任何在括号中指定的值,则返回true;否则返回false。3、ANY(array):expression operator ANY (array expression)ANY运算符用于判断一个数组是否满足给定数组中的任何一个条件。其中,operator是比较运算符,如=、<、>等。如果左侧的数组满足右侧数组中的任何一个条件,则返回true;否则返回false。4、SOME (array) :expression operator SOME (array expression)SOME运算符用于判断一个数组是否满足给定数组中的至少一个条件。其中,operator是比较运算符,如=、<、>等。如果左侧的数组满足右侧数组中的至少一个条件,则返回true;否则返回false。 需要注意的是,SOME在GaussDB中的用法与ANY相同,因此上述例子同样适用于SOME。5、ALL (array) :expression operator ALL (array expression)ALL运算符用于判断一个数组是否满足给定数组中的所有条件。其中,operator是比较运算符,如=、<、>等。如果左侧的数组满足右侧数组中的所有条件,则返回true;否则返回false。三、GaussDB中常用的数组表达式(语法 + 示例)1、expression IN (value [, ...])右侧括号中的是一个数组表达式列表。左侧表达式的结果与表达式列表的内容进行比较。如果列表中的内容符合左侧表达式的结果,则IN的结果为true。如果没有相符的结果,则IN的结果为false。使用in的时候,忽略为null的,不会查询出为null的数据。如果表达式结果为null,或者表达式列表不符合表达式的条件且右侧表达式列表返回结果至少一处为空,则IN的返回结果为null,而不是false。这样的处理方式和SQL返回空值的布尔组合规则是一致的。示例:基础表:教师表、课程表--在教师表中是否可以匹配到代课的老师SELECT * FROM course WHERE teid IN (SELECT teid FROM teacher );2、expression NOT IN (value [, ...])右侧括号中的是一个表达式列表。左侧表达式的结果与表达式列表的内容进行比较。如果在列表中的内容没有符合左侧表达式结果的内容,则NOT IN的结果为true。如果有符合的内容,则NOT IN的结果为false。如果查询语句返回结果为空,或者表达式列表不符合表达式的条件且右侧表达式列表返回结果至少一处为空,则NOT IN的返回结果为null,而不是false。这样的处理方式和SQL返回空值的布尔组合规则是一致的。示例(基础表course、teacher见上文截图):--在教师表中是否可以匹配到代课的老师SELECT * FROM course WHERE teid NOT IN (SELECT teid FROM teacher );3、expression operator ANY/ SOME (array expression)右侧括号中的是一个数组表达式,它必须产生一个数组值。左侧表达式的结果使用操作符对数组表达式的每一行结果都进行计算和比较,比较结果必须是布尔值。如果对比结果至少获取一个真值,则ANY的结果为true。如果对比结果没有真值,则ANY的结果为false。如果结果没有真值,并且数组表达式生成至少一个值为null,则ANY的值为NULL,而不是false。这样的处理方式和SQL返回空值的布尔组合规则是一致的。示例:基础表:部门1、部门2--查找部门1的员工年龄大于部门2的员工SELECT * FROM department1WHERE age > ANY (SELECT age FROM department2);SOME跟ANY 类似:--查找部门1的员工年龄大于部门2的员工SELECT * FROM department1WHERE age > SOME (SELECT age FROM department2);补充说明:> any 大于子查询结果中的某个值< any 小于子查询结果中的某个值>= any 大于或等于子查询结果中的某个值<= any 小于或等于子查询结果中的某个值= any 等于子查询结果中的某个值,相当于IN!= any 不等于子查询结果中的某个值4、expression operator ALL (array expression)右侧括号中的是一个数组表达式,它必须产生一个数组值。左侧表达式的结果使用操作符对数组表达式的每一行结果都进行计算和比较,比较结果必须是布尔值。如果所有的比较结果都为真值(包括数组不含任何元素的情况),则ALL的结果为true。如果存在一个或多个比较结果为假值,则ALL的结果为false。如果数组表达式产生一个NULL数组,则ALL的结果为NULL。如果左边表达式的值为NULL ,则ALL的结果通常也为NULL(某些不严格的比较操作符可能得到不同的结果)。另外,如果右边的数组表达式中包含null元素并且比较结果没有假值,则ALL的结果将是NULL(某些不严格的比较操作符可能得到不同的结果), 而不是真。这样的处理方式和SQL返回空值的布尔组合规则是一致的。示例:(基础表department1、department2见上文截图)SELECT * FROM department1WHERE age > ALL (SELECT age FROM department2);补充说明:> all 大于子查询结果中的所有值< all 小于子查询结果中的所有值>= all 大于或等于子查询结果中的所有值<= all 小于或等于子查询结果中的所有值= all 等于子查询结果中所有值!= all 不等于子查询结果中的任何一个值,相当于NOT IN四、小结通过本文的介绍,相信您已经对GaussDB数据库的数组表达式有了深入的了解。数组表达式是GaussDB数据库中非常实用的功能,它可以帮助您更高效地处理数组类型的数据,简化查询语句,提高查询效率。希望本文对您有所帮助。 ——结束
总条数:1681 到第 页
上滑加载中