-
8月16日,以“数智赋能 共筑未来”为主题的第14届中国数据库技术大会(DTCC 2023)在北京举行,华为云数据库技术专家张树杰分享了《GaussDB在HTAP上的探索与发展》主题演讲,介绍了华为云GaussDB在HTAP方向的思考与最新成果。以下为演讲实录:一、什么是HTAP?大家好!今天很高兴和大家分享《GaussDB在HTAP上的探索和发展》。首先,我们看一下TP和AP的特点。TP一般是做交易型的业务,它的数据量通常来说比较小,在GB~TB的范围内,它要求低时延、高吞吐,同时对高可用、故障恢复要求较高。AP一般用于对历史数据做分析,根据数据分析的结论为企业的商业决策提供一些支撑,因此AP对时延和吞吐的要求没有那么高,主要面对数据量大、查询偏复杂的场景。早期数据库对TP、AP区分没有那么明显,所有业务都放在同一个数据库上。随着时间的发展,数据量越来越大,人们倾向于把TP放在数据库层面上,AP由数据仓库解决,中间通过ETL工具把TP的数据传输到AP数仓上。这种模式兴起和盛行于20世纪90年代并持续到现在,我们一直还在使用着TP、AP混合的架构。随着CPU算力、内存容量、磁盘IO效率发生变化,一些老的软件体系结构随着新硬件、新算法的发展都在发生改变。所以在2010年左右,业内开始考虑把TP和AP同时融合到同一个数据库里,通过这种方式提升数据库处理数据的能力。 关于HTAP,目前还没有一个明确的定义,即使有一些公司或者个人给出了定义,但实际上也不是特别精确。我们总结了HTAP有两个关键特点:一个是采用In-Memory的架构。我们可以看到,无论是老牌的数据库厂商,还是新兴的数据库厂商,都不约而同采用In-Memory的架构来实现HTAP。另外一个是实时。我们当前的架构主要是,交易型的业务在行存的数据库上,分析型的业务在列存的数仓上,中间通过ETL工具传输数据。这个架构的问题是,它的数据新鲜度不够好,比如说先前在互联网应用方面,我们经常做一些个性化的用户推荐,在给用户推荐感兴趣的商品时,会在登录时对它进行一个用户画像,根据用户画像的结果推荐产品,这是一种实时分析的能力。另外就是防诈骗系统,需要实时的响应,实时分析这笔交易是否为诈骗交易。这种实时性的特点,对 HTAP方案提出了新的要求。我们当前的HTAP架构主要应对实时AP分析的能力,实时AP对性能上有一些影响,它随着数据新鲜度,也就是实时性要求变高,数据库的性能会有一些下降。二、HTAP架构模式有哪些?我们在设计HTAP架构时要考虑更多的维度,比如说硬件、资源隔离,从这些维度考虑,HTAP的架构会多种多样,加上应对的用户场景不同,会催化出不同的HTAP架构模式。我们对当前主流的HTAP架构进行了以下分类:第一种,IN-Memory Store模式。这种模式在同一个集群内对行存引擎做了增强,用空间换时间,在内存里保存一份列存数据,我们可以把他看成是一个列存索引,这种架构下的数据新鲜度比较好,行存和列存的数据完全同步,在行存和列存中间,会有一个Delta表记录增删改操作带来的增量数据,后台有进程定期将Delta表里的数据Merge到列存引擎。但是这种架构的扩展性一般,资源的隔离性不佳,能够支撑的列存的数据量也是有限度的,因此这种架构适用于TP为主,实时AP为辅的业务模型。第二种,主备架构模式。这种模式下主机上是行存模式,应对TP业务负载,在只读的备机上是列存模式,应对AP的业务负载,主备之间通过物理复制或逻辑复制的方式实现数据同步。这种方式的扩展性、资源隔离性都比较好,但是数据的新鲜度取决于主备之间的数据传输模式,如果采用同步复制,则主备的数据新鲜度较好,但是对主机的事务吞吐量会有所影响;如果采用异步复制模式,则主备的数据新鲜度取决于数据的延迟。 第三种,IN-Memory-Computing模式。这种模式将列式内存引擎和数据库对接,由数据库负责TP业务,列式内存引擎负责AP业务。由于其部署在云上,因此有很好的计算弹性,数据库和列式内存引擎之间通过逻辑复制同步数据,数据的延迟小于100ms,能够较好的兼顾数据新鲜度和性能之间的平衡。第四种,主列存+增量行存模式。通过主列存+增量行存的方式既能够较好的支撑TP业务,也能够应对AP业务,在TP/AP性能上做了一些均衡。其中增量行存可以看做是delta表,应对TP中的增删改操作,保证增删改操作的性能和TP系统基本一致,同时通过主列存引擎对AP业务进行加速,当然在做AP业务时,会同时访问增量数据和列存数据,达成数据的一致性。我们有了这么多模式之后,可以思考两个问题。一个是到底什么样的架构才是真正的HTAP架构?我个人的观点是没有适合的定义,因为在不同的业务场景下,TP和AP的占比不一样,包括周边各种环境,各种因素都不同,每个用户的选择也会不一样。包括我们在HTAP研发过程中接触到很多用户,每个用户都提出很多要求,像Orcale这种架构更适合重TP、轻AP的场景,而HANA这种架构更多是做偏AP分析型的应用。如果我们以TP、AP业务占比做一个横轴的话,每个架构在上面都有一个独立的坐标点。另外一个问题,我们当前这些HTAP的主流架构能不能取代以前的那种TP+ETL+AP的架构?从目前看,如果我们把HTAP定义为实时TP+实时AP,实际上是不能取代的,因为TP+ETL+AP这种架构,AP的数据量远远大于当前HTAP的主流架构所能支撑的AP数据量。三、GaussDB对HTAP的思考在GaussDB HTAP开发过程中,我们总结了以下实现HTAP架构需要关注的核心技术。第一,透明路由。它之所以成为关键的原因是因为增加了客户的易用性,提升了HTAP产品的商用价值。这里面有两个观点,一个是如果HTAP基于行存和冗余列存这种方式,需要判断哪些数据被冗余到列存里面来,因此提供一种自动化的方法根据业务特点来选择加载列存数据,并对用户透明就非常有意义。另外,TP业务要路由到行存引擎,AP业务路由到列存引擎,目前大部分架构还需要通过Hint的方式来实现业务分流,如果借助优化器的代价系统、以及当前的AI4DB技术,能够更大程度的提供业务分流的准确性,从而对用户透明,提高系统的易用性。第二,性能提升。我们把TP和AP融合起来比较困难的关键原因,主要是因为AP查询的复杂度比较高。如果是一个纯TP数据库,一些常规执行优化技术,比如说并行、编译执行、向量化执行,TP上虽然也有,但实际上很难有大的作为,因为TP要求的是低时延、高吞吐,这种情况下这些技术都有自己的启动代价,这些启动代价会对TP的性能产生很大的影响。在TP上,如果我们把HTAP里面的AP融入进来,这些技术就能大有可为,我们在这些技术的基础上对复杂查询进行加速,可以很好地支撑我们现在的性能,支撑我们的HTAP。第三,数据新鲜度。我们多次讨论实时性的问题,不同的数据新鲜度最后带来的就是我们不同的架构,有In-Memory的,有主备的,也有基于增量表技术的,都会带来不同的数据新鲜度。在这种数据新鲜度下,我们怎么保证数据新鲜度高,而且性能又好。在这些方面我们需要更多的思考,来保证我们HTAP架构能够具备更多应对用户的能力。第四,资源隔离。我们看到有的架构,比如说用户对TP性能要求比较高,要求你在引入实时AP的同时,不能影响TP的能力和性能。也有用户提出对整体的能力要求,对硬件没有什么诉求,如果有需要可以增加硬件。不同的用户有不同的要求,我们在面对这样的用户时,需要在资源隔离和数据新鲜度,以及性能的提升方面做好权衡。四、GaussDB在HTAP方向上的创新GaussDB在现有基础上对HTAP进行改造,并实现以下几个方面的提升:第一,性能提升数十倍。GaussDB已经实现向量化、并行、编译技术,性能提升10+倍,一些场景下还有更高的性能提升。最近我们基于HTAP做了更深度的挖掘和优化,比如基于降低内存拷贝、延迟读等技术,向量化的扫描算子最新的数据又提升了大概30倍左右。第二,100%的透明路由。我们既有基于Hint手工指定的方式,还有基于规则、基于代价、基于AI的透明路由技术。我们在基于代价的透明度路由方面,做了向量化优化技术;基于AI的透明路由方面,我们通过轻量的AI技术可以真正应用到商业版中,通过这些技术,TP、AP分流的准确率目前表现还是不错的。第三,100%的数据新鲜度。我们实现了在同Server内的列式的内存引擎,数据同步方面支持实时同步、在线同步、定期同步,保证了TP上的数据和IUD操作带来的数据修改及时同步到引擎上,可以实现100%的数据新鲜度。第四, 100%的资源隔离。如果用户更关注的是100%的资源隔离,我们也提供了基于主备复制HTAP模式,通过读写分离,把TP业务放到主机上,AP业务放到备机上,实现资源的隔离。目前,GaussDB既有基于同Server的实时的HTAP,也有基于主备技术的准实时的HTAP,同时在透明路由的加持下,能够准确的把业务分流同步分到实时的HTAP上,达成在性能、资源隔离、数据新鲜度方面有一个均衡的结果。
-
8月16日,第14届中国数据库技术大会(DTCC2023)在北京国际会议中心顺利举行。在GaussDB“五高两易”核心技术,给世界一个更优选择的专场,华为云数据库GaussDB首席架构师冯柯对华为云GaussDB数据库的高级压缩技术进行了详细的解读。以下为演讲实录:各位嘉宾,大家下午好!很高兴由我开始给大家带来今年GaussDB一系列新特性的技术解读。我解读的是第一个特性,高级压缩。GaussDB高级压缩全景高级压缩是面向业务全场景的数据库压缩解决方案,适用的场景主要分两类。第一类是存储类,主要为业务提供容量控制,减少业务扩容的概率和成本;第二类是传输类,主要是面向跨Region、跨AZ的业务场景如何去匹配业务的网络带宽的现实条件,为业务提供更稳定的SLA保证。这里面又有很多细分的场景,TP、AP都有。这里面有非常多的挑战,一是压缩算法怎么设计,二是怎么做冷热判定。我们在整个存储类的压缩里用的都是选择性压缩,基于系统自动发现数据的冷热,只压缩业务中相对比较冷的数据,不去碰相对热的数据。包括实现业务的零侵入、和存储引擎的结合,有很多技术挑战。典型场景和目标设计不同的场景对于压缩算法,包括压缩率、业务影响、业务侵入容忍度是不一样的。这里要介绍的,是我们第一个发布的OLTP表压缩的技术细节。讲这个之前,先讲一下OLTP表压缩究竟解决的是什么样的客户场景,这决定了我们整个技术目标。有两个典型场景是我们在真实业务中碰到的。第一个场景,客户的业务来自于IBM小机,整个单库容量达到几十个TB,容量比较大。业务如果迁移到开放平台,比较大的问题是单体容量太大,整个运维窗口的时间比较长。我们有不同的选择,可以选择大家说的拆库,也就是分表分库,但拆库意味着需要做整个分布式改造,对有些业务来讲是很多年的存量的关键业务,这种改造方式整个风险是非常高的。第二个选择可以用压缩,压缩可以减少容量,但客户在业务设计的开始并没有做冷热分离,比如没有把用户的数据基于时间维度做分片,如果用压缩,客户首要的诉求是能否做到压缩对业务的影响足够低,其次才是压缩率,这是第一个典型场景。第二个典型场景,客户业务基于分布式集群部署,容量增长得非常快,已经超过一个PB,并且还在不断增长。对于客户来讲,这是非常大的问题,需要定期做扩容。使用压缩同样可以帮助客户减少扩容的频率、变更的风险。但问题是一样的,客户数据同样没有做冷热分离,是面向扩展性来设计的,比如基于用户ID号进行分片,让不同用户的负载能够平均分配给不同的数据节点。由于没有做冷热分离,如果要用压缩,能否做到压缩对于业务的影响足够低,其次才是压缩率。这也是我们看到的非常典型的OLTP压缩的场景。我们对这两个场景进行了分析,推导出三个基本的设计目标。首先,整个压缩方案必须是零侵入的,不能假设业务的已有数据分布,不能说建一个分区,数据一定能区分冷热,因为业务没有这样的条件。不能对业务的数据分布、逻辑模型有任何的假设,方案必须是零侵入的。第二,如果业务开启压缩,对业务的影响应该是极低的,我们定义至少10%,甚至5%,这是非常重要的。第三才是合理的压缩率,2:1或3:1,如果没有压缩率,做这些事情的价值就不存在了。这三个基本目标也决定了我们后面整个技术方案的设计和工程落地。关键挑战一:如何判定业务的冷热数据?确定完目标,有三个比较关键的问题需要解决。一是怎么判定业务的冷热数据,二是判定完之后怎么和现有的压缩引擎结合,对压缩后的数据有效地存储,第三点才是怎么实现有竞争力的压缩算法。我们做冷热判定,首先是确定判定的粒度。可以按照表、分区、块来判定,也可以按照行来判定。判定的粒度越细,意味着对业务的侵入越低,对业务整个数据分布没有任何假设,当然实现的挑战也越大。基于我们定义的技术目标,在做OLTP表压缩时,第一个目标就是冷热判定必须是行级别的,这样对业务的侵入是最小的。我们利用了GaussDB现有存储引擎已有的机制。GaussDB现在的存储引擎和其他引擎一样,在整个数据上除了存放用户数据之外还存放元数据,元数据里有事务信息,这个事务信息通常是用来实现事务的可见性,里面记录了最后一次修改的事务ID号。当这个事务ID号足够老,对于当前所有事务都可见,这个时候我们把事务ID号替换成物理时间戳,这个物理时间戳可以用来表达这行数据最后一次修改的时间是什么时候,如果这个时间足够早、足够老,真正达到了冷的条件,那么我们就可以对它进行压缩,用户可以用非常简单的逻辑实现冷热的判定。第二个例子是,用户可以自定义冷热条件,这个行如果长时间没有做任何修改,系统就可以把它压缩掉,否则不要碰,这是一个非常简单的策略。如果客户业务中有一些字段有非常清楚的冷热属性,比如交易的时间、交易的完成状态,那可以指定这个字段进行冷热判定。或者客户大部分的交易数据都满足3个月前的交易是冷数据,但其中某些特殊类型的交易,像担保交易,可能没有办法满足这个约束,这时候也可以自定义冷热条件。比如交易状态必须是完结的,或者交易类型不能是特定类型,通过自定义条件和最近修改时间的组合,可以灵活地定义什么样的数据应该压缩。这是第一点,怎么做冷热判定。关键挑战二:如何对压缩后的数据有效地存储?第二点,压缩后的目标数据怎么存。根据总体设计目标,我们希望做到对业务的侵入越低越好。我们选择了直接做块内的压缩:把一个块内所有满足冷热判定的行一次性压缩完,把压缩后的数据包就存放在当前数据块内。这样做从压缩率上讲并不是最优选择,但从对业务的影响上讲是一个更好的选择。因为业务即使定义了冷热判定条件,我们仍有一定的概率会访问冷数据,我们希望通过块内压缩的实现来保证访问冷数据的代价有一个确定性的上限,这是块内压缩的基本思考。关键挑战三:如何实现有竞争力的压缩算法?为什么做选择性压缩?很简单,没有任何一个压缩算法能做到数据压缩之后对业务没有影响,今天没有这样的黑科技,这是我们基本的技术判断,所以要去平衡压缩率和对业务的影响。我们首先做的是选择性压缩,业务数据分布满足典型的80-20分布政策,80%的数据占有80%的存储容量,但只消耗了20%的算力。比如银行交易,随着时间的推移,整个订单的访问频率会迅速降低,这是非常典型的满足冷热特征的业务。如果做选择性压缩,那么只压缩那些占用80%存储容量,但只消耗20%算力的冷数据,就意味着我们在节省存储成本方面达成了80%的目标;而不去压缩那些只占用20%的存储容量,但却消耗80%算力的热数据,就意味着我们在降低对用户的业务影响方面达成了80%的目标,这是非常简单的技术选择。压缩算法我们也看了一些,比如LZ4是现在性能最好的算法,我们一开始用的就是这个算法,但比较大的问题是压缩率相对较低。如果仔细去分析算法原理,LZ4是基于LZ77算法的一种实现,是把压缩的数据看成一个连续的字节流,从当前开始寻找匹配的字符串,找到字符串长度和偏移进行编码来代替被匹配的字符串,从而实现压缩的效果。LZ77算法从原理上讲非常适合于长文本,相对不太适合像结构化数据这样的,里面有大量的数值类型和短文本,这是数据库的特征。我们做了很多优化,比如对数值类型做了差值编码,所以压缩框架实际上有两层,第一层对数据做编码,第二层用LZ77算法。原生LZ77算法有很多优化是面向长文本的,包括3字节的编码,我们做了非常多的工程优化,使它更容易面向短文本,比如两字节短编码,包括内置行边界。这里我们无法给出很多细节,主要的优化背景其实就两个:一个是通用压缩算法并不特别适合于关系型数据库结构化数据的场景,二是我们所做的这些工程优化,从通用的压缩场景来讲,并不一定是最优的,但它们是特别适合关系型数据的。竞争力评估最后有一个简单的评估,是通过TPCC和TPCH测试对目前的商用数据库O*进行的压缩率评估。O*和我们的GaussDB一样,也提供了完整的冷热判定能力,但由于发展原因,它实际上先做了数据压缩,再做冷热判定,所以整个压缩算法的压缩率是比较低的;我们使用了标准的TPCH的数据,测试表明我们的压缩率相对于O*平均提高了50%,这些数据可以被直接验证。其他的一些厂商,像开源数据库,还有国内的厂商都提供了压缩的解决方案,但共同问题是没有做冷热判定,对用户来讲可以指定一个表或一个分区,里面的数据要么都被压缩,要么都不压缩。压缩意味着存储成本节省,但性能会下降,不压缩则是另外一个选择。这个看上去简单的选择对客户来讲反而是最难的,这也是为什么我们看到今天有很多压缩的解决方案,但用户却不会去用,因为谁也不知道开启压缩之后有什么后果,这是比较大的问题。这里我们也做了一个标准的TPCC的测试评估,基于GaussDB单机版本进行选择性压缩。根据TPCC的语义,所有已经配送完成的订单就不会再变更,但仍有一定的概率被访问到,这是非常贴近于真实业务场景的访问模型。所以,我们的压缩算法选择了压缩流水类数据,比如订单数据,而一些状态类的数据,比如库存、账户等没有去压缩,在流水数据里,我们也只压缩已经配送完成的订单,不压缩没有配送完成的订单。从最后的结果看,整个压缩之后对于业务的影响在1.5%左右。我们相信我们是业内第一个在150万tpmC性能峰值仍然能够开启压缩并且性能基本不下降的产品。下一步计划:语义压缩我们已经打破了数据编码和压缩算法的边界,但对压缩算法的使用本质上没有变化,即把整个数据看成是一维的字节流。但关系数据是两维的、结构化的数据,所以在数据的行与行之间、列与列之间存在非常丰富的关联。这种关联主要来自两种场景,一种是业务本身在做建模时引入的关联,比如为了消除连接,数据模型设计成扁平化或低范式化,这会引入非常常见的关联。第二种是业务服务化改造进行服务的分层,数据在不同的服务分层之间被不断传递而造成的一种关联。我们通过一些算法自动发现这种结构化数据之间的关联,发现这些关联不是用于商品推荐或者服务治理,而是希望通过消除这些关联达到压缩的目的。在很多场景里,这种基于语义的关联消除技术会比通用算法提供更好的压缩效能,这是我们后面会重点去构建竞争力的地方。小结为什么做高级压缩的特性?因为我们希望在三个领域实现业内领先。一是在性能敏感场景,在提供合理的压缩率的前提下,对业务的影响(越小越好)实现业内领先。二是在成本敏感的场景,在提供合理的压缩解压性能的前提下,压缩率(越高越好)实现业内领先。第三,大家可能注意到,冷热判定本身不仅可以做数据压缩,还可以做很多别的工作,比如多存储介质、负载的感知,我们希望对于整个冷热判定,包括模型及方法,在能够支持的业务领域的广度方面,能够做到业内领先,这是我们做高级压缩特性的一个基本目的。我的分享就到这里,谢谢大家。
-
8月16日,由IT168联合旗下ITPUB、ChinaUnix两大技术社区主办的第14届中国数据库技术大会(DTCC2023)在北京国际会议中心顺利举行。大会以“数智赋能 共筑未来”为主题,邀请了上百位行业专家,一起探讨新时代下各类型数据库的最新动态和应用实践,带来一场数据库领域的年度盛宴。在上午的主会场,华为云数据库服务产品部总经理苏光牛围绕“打造最可信数据库,华为云GaussDB给世界一个更优选择”做了精彩发言。软件世界,“可信”是基础苏光牛说,在软件世界里,可信是所有创新和可持续发展的基础。过去,大部分我们熟知的公司本质上都可以说是软件公司。随着云服务的兴起,大家逐步认识到,软件服务才是数字化转型的核心,未来也将从软件定义一切演进到“一切皆服务”。不管哪个时代,数据库始终是软件产业中的根技术,它上连应用,下连基础设施,有承上启下的关键作用。而如今,在中国的软件和云发展的过程中,无序的开发和不受控已经成为明显的弱点。根据第三方报告显示,全球超过四分之一的组织经历了与公共云相关的安全事件,开源软件也被无限制地广泛应用组合,其中,缺乏供应链透明度的软件极易受到恶意篡改和攻击,种种风险都在阻碍软件和云产业的高速发展。面临严苛的外部环境,还有企业数字化转型过程中的巨大不确定性,让业界都充分认识到,软件必须坚持可信优先。华为也以此作为对自身发展的要求,在2019年发布了IPD可信框架与方法,表示产品必须具备安全性(security)、可靠性、可用性、韧性、隐私性、安全性(safety)六大特征。这也驱动了华为的数据库从软件自主逐步走向软件可信。华为可信软件工程实践华为的可信框架构建起了从产品定义、系统设计、软件实现到交付运维运营等所有环节、从结果到过程的全部可信,保证产品从创新到客户落地的整个过程是完整、双向一致可追溯的。苏光牛表示,华为云GaussDB数据库就是基于这套可信软件工程打造的产品。早在2001年,华为就开始了对数据库的研发,并广泛应用到华为通信领域的各个产品中。2019年,随着华为IPD可信框架和方法的发布,GaussDB数据库也正式对外发布,不仅要解决华为集团内部业务连续性的诉求,还将承担金融、关基等更多行业对数据库全面创新的使命。这几年,大量的银行、保险、证券、能源等行业的核心业务系统都运行在了GaussDB数据库上,经过各种场景的打磨,华为云GaussDB也逐渐成熟,去满足更多场景下的客户诉求。同时,软件和应用的开发还高度依赖相关的开发工具,数据库也不例外。华为研发了一整套自主创新、完全可信的软件开发流水线,提供从项目管理、IDE、代码开发到部署端到端的全生命周期能力。华为云GaussDB数据库基于这套软件开发流水线完成了开发,还构建起6环9层33步的测试防护网,覆盖了绝大部分代码和场景,当前已经有20万测试用例消减了大部分基本问题,并通过全链路的深度交互测试平台减少低概率、复杂交互类的问题,还构建了10多个行业客户场景化的防护网,消减了场景化问题,实现真正的高质量。基于可信软件工程,打造“五高两易”全新的GaussDB“基于华为可信软件工程方法论,我们将可信理念融入到了GaussDB的每个能力中,形成了高可用、高安全、高性能、高弹性、高智能,易部署、易迁移五高两易的全面能力。”苏光牛就其中的一些关键能力做了分享。高可用:GaussDB与工行联创推出了国内首个基于存算分离的双集群强一致方案,让同城的两个数据中心完全部署两套独立的数据库软件,任何软硬件故障完全隔离,真正实现了7*24小时服务不间断;对于一些容灾等级要求不高的系统,也提供基于本地盘的单集群跨数据中心拉远的方案,更具性价比,满足客户不同容灾等级的可靠性要求。针对慢SQL导致数据库资源使用升高、执行变慢、无法继续对外提供服务的问题,GaussDB通过全局快慢车道、单类SQL精准管控实现了对慢SQL的资源管控,通过内存熔断、线程池熔断等机制让系统扛得稳、可逃生,满足了可信框架中的“韧性”要求。高性能:深入到数据库最底层对性能进行了优化,采用B-Link协议和堆表设计,避免了页面结构变化导致的性能下降问题;用逻辑时钟CSN代替事务快照,极大提升了大规模分布式下的处理性能;写日志路径采用无锁设计,足以支撑200万以上tpmC的写入性能。通过工程实践的不断打磨,GaussDB实现了真正的高性能。高安全:相比传统数据库采用单点存储加密可能会引起的管理员恶意获取密钥解密、信息泄露等风险来说,GaussDB的全密态方案让用户自己持有数据加解密密钥,加解密过程仅在客户端完成,让数据在存储、传输、查询整个生命周期过程中均以密文形态存在。因此无论数据处于何种状态,攻击者都无法获取到有效信息,从而保障了企业数据全生命周期的隐私安全。 高智能:对于DBA来说,最具挑战的问题是,当系统出现亚健康状态,如何快速感知到问题,及时识别和分析阻塞点,从而方便进一步的判断和操作。GaussDB的SQL Audit工具,在开发验证阶段就可以帮助SQL通过自动审核满足规范要求,大幅降低系统出现亚健康的情况,智能运维则提供了慢SQL根因分析、索引推荐、异常检测等多样化的运维功能,让DBA更加得心应手。 易迁移:异构数据库迁移是一项大工程,企业需要考虑如何选择合适的目标数据库、迁移的风险、工作量、如何提升迁移效率、改造后如何保证数据的准确性等一系列问题。对此,GaussDB的一站式工程化迁移解决方案,通过UGO提前评估、结构迁移、DRS在线迁移和数据对比、流量回放、灰度并行等,让原本不确定的迁移担忧变成确定、可信的迁移计划。GaussDB成为TOP客户的一致选择苏光牛提到,华为云GaussDB已经成为金融政企客户自主创新的一致选择,得到行业的广泛认可。Gartner最新报告显示,华为云是全球唯一获得云数据库管理系统“客户之选”的云厂商,客户满意和推荐度高达98%。在金融行业,国有六大行中的四家都已经上线了GaussDB数据库。工商银行上线了200多套GaussDB数据库集群,其5A级信贷系统的可靠性得到了十倍的提升;邮储银行使用GaussDB建成了全球银行最大的分布式核心系统,业务效率提升了30%以上。在关基行业,国家管网、国网陕西电力、陕西财政等越来越多的大型央国企和政务系统也纷纷选择了GaussDB作为核心系统自主创新的首选,性能都得到大幅度提升。未来,华为云GaussDB将会持续打磨更领先的技术,更多的创新,做企业核心应用云化的可信数据底座,也希望和更多客户和伙伴一起发力,繁荣数据库产业生态,共赢数字化未来。
-
1 问题描述集群状态显示DN实例一直处于catchup状态。2 机制说明主备DN实例为保证数据双副本和一致性原则,需要将主DN产生的事务日志及时同步给备机,备机实例接受不及时,或备实例故常重新恢复后,会重新追赶主实例的数据,来到达主备一致状态,追赶的过程就是我们在查询集群状态时看到的Catchup状态。 主备追赶分两种类型,一种是xlog追赶,一种是数据页追赶。 更深入的机制原理,有兴趣的小伙伴可以在社区留言问题或者浏览社区精品机制原理文章。3 问题分析切换omm加载环境变量,查询集群状态,其中DN实例6021主备关系如图: 登录数据库查询catchup追赶 虽然catchup是备DN实例,但catchup线程是在主DN实例,分析dn_6021日志,发现cacthup线程在反复重启,如图: 图片详细信息,直接上文字:2023-08-09 20:38:28.893 64d377f3.5009 [unknown] 281467704376880 [unknown] 0 dn_6021_6022 00000 0 [BACKEND] LOG: catchup process start to search all bcm files. 2023-08-09 20:38:29.936 64d377f3.5009 [unknown] 281467704376880 [unknown] 0 dn_6021_6022 01000 0 [BACKEND] WARNING: page verification failed, calculated checksum 42173 but expected 56380 2023-08-09 20:38:29.936 64d377f3.5009 [unknown] 281467704376880 [unknown] 0 dn_6021_6022 XX001 0 [BACKEND] WARNING: invalid page in block 16178 of relation base/16538/13642638, try to remote read 2023-08-09 20:38:29.936 64d377f3.5009 [unknown] 281467704376880 [unknown] 0 dn_6021_6022 00000 0 [REMOTE] L0G: remote read page, file base/16538/13642638 block 16178 from :25512 2023-08-09 20:38:29.937 64d377f3.5009 [unknown] 281467704376880 [unknown] 0 dn 6021 6022 58030 0 [REMOTE] ERROR: remote read failed from :25512, remote data checksum error, maybe remote data corrupted 2023-08-09 20:38:31.941 64d377f3.5009 [unknown] 281467704376880 [unknown] 0 dn 6021 6022 00000 0 TBACKEND] LOG: catchup process start to search all bcm files. 2023-08-09 20:38:32.995 64d377f3.5009 [unknown 281467704376880 [unknown] 6 dn 6021 6022 01000 0 [BACKENDJ WARNING: page verification failed, calculated checksum 42173 but expected 56380 2023-08-09 20:38:32.995 64d377f3.5009 [unknown] 281467704376880 [unknown] 0 dn 6021 6022 XXO01 0 [BACKEND1 WARNING: invalid page in block 16178 of relation base/16538/13642638, try to remote read4 问题根因主备DN有磁盘或历史磁盘故障引起;5 解决方法1、需要查询物理文件对应表是否存在; 2、备份主备DN实例报错物理文件和bcm文件; 3、此步骤属于高危操作,请联系华为工程师处理;
-
1. 背景GaussDB作为一款企业级分布式数据库,提供了“同城跨AZ双活、两地三中心、双集群强一致”等极致的高可用容灾能力。当某个数据库节点由于故障无法对外提供服务时,为了继续保证数据库服务的可用性,JDBC驱动会将业务后续的数据库连接请求发送到其它可用节点上。但故障发生后,已经与故障节点建立会话的连接无法自动切换到可用节点上,导致使用这些连接的业务单元发生报错。如果业务单元缺少连接重试或业务一致性校验,可能会引起应用中断,甚至业务数据不一致的问题,造成用户严重的业务损失。因此,华为云GaussDB数据库提供了一种在数据库故障情况下的客户端连接转移方案 —— ALT(Application Lossness Transparent,应用无损透明)。该方案的原理是,当数据库集群的某个节点由于故障无法对外提供服务,若此时集群内还存在其它可用节点,则将故障节点上的会话连接自动迁移到目标节点上,客户端无需再次发出连接请求,仍然可以继续执行数据库操作。整个过程中,客户端应用程序是无感知的,就像是经历了一次略有延迟的SQL请求处理,极大地提高了数据库服务的可用性。2. 技术架构我们先来看下ALT的技术架构和运行原理:图1 - ALT架构示意图从上图中可以看到,GaussDB集群引入了一个独立组件GNS(GaussDB Notification Service),用于检测获取数据库各节点的实时状态信息。当应用程序调用JDBC接口首次向集群中的任意节点建立连接时,JDBC驱动会与GNS服务建立集群状态订阅链路。当GNS检测到集群状态发生变化,会通过订阅链路将状态变化事件发送给JDBC驱动,事件处理线程收到任务后,再通过集群连接管理器中保存的引用副本对受到影响的连接进行管理和迁移。GNS组件采用的是多节点对等多活的部署方式,每个GNS服务都拥有集群的全量状态数据,JDBC驱动只需要与其中任意一个GNS建立订阅服务,就可以管理应用程序在该集群所有节点上的连接。3.关键能力在了解了ALT的整体架构和运行原理之后,我们再来看看它具备哪些关键能力,这些能力可以为客户带来什么样的业务价值。3.1 快速应用通知ALT提供了一种数据库状态变化的主动消息通知机制。JDBC驱动通过GNS服务来订阅业务所用数据库集群的状态,当集群中的节点发生状态变化时,GNS将变化事件推送给JDBC驱动,后者再根据集群的最新状态对目标数据库上的连接进行管理和迁移。同时,JDBC驱动也向应用程序提供了集群状态变化的回调函数注册接口。应用程序可以针对某些数据库连接,向JDBC驱动注册状态变化的回调函数。当集群状态发生变化时,JDBC驱动会对注册的函数进行调用,通过注册回调函数,可以很方便地在业务侧实现数据库状态变化的邮件通知、告警平台上报等运维管理操作。3.2 连接无感迁移 当检测到GaussDB数据库发生故障或即将进行停机维护时,JDBC驱动的事件处理线程分析每条受影响的连接,确定是否有满足连接要求的其它数据库节点,如果存在,则将连接迁移至可用节点,并且恢复连接的会话状态信息。在主动停机维护场景下,使用者还可以通过参数来配置等待可用节点出现的连接挂起时长,从而提高集群统一维护场景下的服务可用性。 3.3事务断点续传连接开启ALT后,JDBC驱动和GaussDB服务端都会跟踪记录当前会话的事务状态信息。如果数据库正在处理SQL请求时发生故障,当连接迁移到新节点后,ALT根据记录的事务状态信息将会话恢复至故障前,事务则从中断的位置继续执行,避免了由于数据库故障导致的业务中断和应用层的数据不一致现象。ALT特性给客户带来的价值可以总结为: (1)避免数据库故障时,无法及时获取服务端状态而导致RTO过大;(2)加速JDBC指定节点类型(targetServerType)的连接建立;(3)集群停机维护时的业务连续性保证;(4)数据库故障时的业务连续性保证;(5)集群容灾切换时的快速应用通知。4. ALT特性演示JDBC开启ALT方式样例:URL=jdbc:opengauss://host1:port1,host2:port2,host3:port3/database?enableALT=true&gns=gns_host1:gns_port1, gns_host2:gns_port2当应用程序使用JDBC驱动访问GaussDB数据库时,只需要在连接URL中添加配置项enableALT和GNS监听地址即可开启ALT服务。ALT服务的最小订阅粒度是连接级别的,JDBC驱动支持向同一集群同时建立ALT连接和普通连接。演示场景:GaussDB集中式集群进行switchover操作时,观察使用ALT连接的SQL请求执行情况。演示步骤: 应用程序与数据库主节点分别建立普通JDBC连接和启用ALT特性的连接,使用两条连接同时执行下述SQL命令,观察集群完成switchover后,数据库连接是否可以正常使用。1. 客户端发送SQL请求:查看当前访问的数据库实例信息SQL> show listen_addresses;2. 客户端发送SQL请求:创建和使用数据库对象SQL> create table alt_test_switchover(mes text);SQL> insert into alt_test_switchover values('message before switchover');<-- 集群操作:switchover -->3. 客户端发送SQL请求:使用数据库对象SQL> insert into alt_test_switchover values('message after switchover');SQL> select mes from alt_test_switchover;4. 客户端发送SQL请求:查看当前访问的数据库实例信息SQL> show listen_addresses;对比结果:(1)普通JDBC连接:集群进行switchover后,数据库连接断开,应用程序无法再使用该连接发送SQL请求。图2 – 普通JDBC连接日志(2)启用ALT特性的连接:集群进行switchover后,数据库连接自动迁移到新的主节点上,应用程序可以继续使用该连接发送SQL请求。图3 – ALT连接日志GaussDB作为一款企业级分布式数据库,具备五高两易(高可用、高安全、高性能、高弹性、高智能,易部署、易迁移)的核心优势。在满足金融核心业务的可靠性要求方面,GaussDB与工行联创推出了国内首个双集群强一致方案,实现集群级故障完全隔离RPO=0,而全新的应用无损透明方案,又做到了系统故障应用无感知,真正实现了业务7*24小时不中断,为企业带来更极致的高可用体验。
-
8月5日-6日,由清华大学和华为联合主办的“GaussDB数据库内核原理与实现导教班”培训活动在华为云贵安数据中心成功举办。本次培训由清华大学计算机系长聘教授、系副主任,CCF数据库专委会副主任李国良担任讲师,集结了国内49所知名高校的64位资深老师,涵盖25所985院校,产教融合,共同推动国内数据库的发展。华为云数据库服务产品部总经理苏光牛对老师们的到来表示了热烈的欢迎,并致辞表示:今天的国际大环境给了国内数据库更多自主创新、突破根技术的机会,意味着数据库人才的市场需求也变得更大。华为在数据库领域积累了很多年,自主创新的GaussDB数据库已经广泛应用在金融、政企等关键领域中,这些使用了GaussDB的客户同样也需要更专业的数据库人才。而数据库内核人才的发展不存在年龄的限制,人才的培养也离不开老师们的投入。同时,更多关基行业都需要完成核心系统的自主创新。华为完成ERP系统的全面替换、上线600多套GaussDB数据库的事实说明GaussDB完全有能力来支撑更多关基行业的需求,未来也要成为世界的一个更优选择。数据库是生态型产业,今天的导教班活动也是数据库生态中的一部分,未来也将持续办下去,希望老师们和GaussDB一起展开更多探索和合作,培养更多专业的数据库人才,真正帮助中国的根技术实现彻底的突破。在为期两天的培训课上,李国良教授循序渐进地对本次导教班的教学内容进行了全面的介绍,不仅从整体出发,对数据库的系统架构、发展历史和未来趋势做了详细的阐述,深化老师们对数据库整体概况的宏观认识,又从细节入手,讲解了数据库的模型和存储引擎的原理,并深化到数据库的事务处理、恢复、并发控制、索引,以及优化器和执行器等内容,通过深入浅出的讲解,帮助老师们更深刻地了解数据库内核的原理和实现途径,从而更好地应用到未来数据库的课程教学中。此外,李国良教授还介绍了当前清华大学开设数据库内核课程的教学实践成果。当前,清华大学基于数据库实验平台,已经设计了5次关于数据库内核开发的课程实验,实验框架提供了数据库总体的运行框架和大部分编码,让学生们基于该教学实验平台,通过补全各个模块来拓展数据库功能,最终实现一个相对完整的数据库系统。数据库的原理已经非常成熟,重点在于如何突破更多数据库根技术,形成产品的核心竞争力。对此,华为数据库技术研发总监宋涛对GaussDB数据库的核心关键技术进行了介绍:高性能:基于Ustore存储引擎,在业务长时间频繁更新的状态下依然保持高性能和极低抖动,在招商银行的现场实测中,GaussDB在性能遥遥领先的前提下,相比国内其他厂商抖动率减少85.6%,同时存储空间的利用率提升了17%。高可用:联合工行,业界首创了基于存算分离的双集群强一致RPO=0方案,保障任何软硬件故障完全隔离,如今该方案已经支撑工行5A级的信贷系统上线,满足业务7*24小时业务连续性要求;高弹性:实现了基于“HashBucket+段页式”的在线扩缩容,扩容过程中支持暂停和中断续扩,且扩容期间将业务响应时延和吞吐量影响控制在5%以内,扩容时间预估的准确度也做到了分钟级;高安全:实现了基于密文数据的检索与计算,对数据进行全流程加密,保障数据的极致安全,当前,该能力已经在华为ERP场景中商用落地,实现了绝密数据的全流程安全可信;高智能:业界首创的智能优化器让业务运行状态持续保持计划最优,性能体验越来越好,智能运维平台提供一站式的数据库内核运维管理能力,让运维人工成本从天级下降到分钟级;易部署:通过部署内核多租户能力,对租户间的资源进行隔离,让企业应用成本更低,资源利用率、安全性和灵活性更高;易迁移:有高度的语法兼容性和一站式迁移解决方案,可以通过UGO进行语法转换,通过兼容性能力提供原生的内核接口,通过DRS对数据进行实时迁移和校验,让企业的整个迁移工作更确定、更高效。宋涛还提到,GaussDB将加大和国内及海外高校的联合,进行更多的技术合作,并持续梳理产业难题,形成开放性的课题,进行难题揭榜,通过全球智力解决行业难题,为数据库产业创造更多价值。除了理论教学之外,华为云数据库生态工具研发总监窦德明详细地为老师们介绍了华为云GaussDB的一站式迁移解决方案,并现场演示了如何在云上创建GaussDB数据库,通过实践操作,带老师们亲身体验如何快速便捷地进行数据迁移和同步,更深刻地感受GaussDB一站式迁移解决方案的便捷性和优势。华为高斯数据库专家周兆琦现场进行了优化器案例演示,理论与实战结合,分别从内核Cost Model、Query Rewrite、Plan Hint三个方面演示了GaussDB的优势案例,性能提升效果明显,展示了GaussDB的核心竞争力。培训之余,参培老师们集体参观了华为云贵安数据中心。该数据中心的建设,同样也使用了很多根技术。GaussDB作为华为云服务数据使能中的生产交易系统和业务分析系统,为企业应用提供稳定高效的数据存储与处理能力,以及海量数据处理与分析能力,如今已经深入到金融、政府、电信、能源、交通、医疗、物流等各行各业,持续加速客户数字化转型进程。加深产学融合,推动数据库产业健康发展,是华为云GaussDB一直坚持的方向。如今,GaussDB已经在全国110多所高校开设了170多门数据库课程,持续为数据库产业的发展注入新鲜力量,并汇聚了完善的数据库产业链上下游企业,加厚整体的数据库技术底盘。华为云GaussDB也将继续坚守初心,不断深化产学研用深度融合,助力数据库产业生态人才破局。
-
我有个表t,表结构是自增id,列c1,列c2。一共有10条数据。现在有个问题就是,如果是mysql直接对这个第5条进行update,更新完成后这条数据用select查询这个第五条还是在原来位置,但是高斯不是这样,update更新了第五条后,这条数据查出来就是在第10条的位置上了,原来在第六条的位置依次上移,就比如开始是1,2,3,4,5,6,7,8,9,10这样显示的结果,变成了1,2,3,4,6,7,8,9,10,5这样。目前就是想问,高斯这里update语句能不能像mysql一样,更新后位置不变,还是原来的默认排序?谢谢
-
前言我们先从一个SQL语句说起(以某传统单机数据库为例)。也许这就是我们业务代码中潜藏的一个SQL语句,对于一个普通开发者来说,这个语句编写工整,逻辑清晰,没有什么问题,可以直接推到代码仓中交付上线。但是一个有经验的开发者或数据库管理员可能会发现这个SQL存在诸多的优化点:两张表的id字段是否有索引?like语句不符合最左匹配原则,能否改写?test_1表where条件中的create_time判断不符合单边原则,无法走索引,可以改写;union会对结果集去除,效率较低,能否换成union all?test_2表的id字段被函数引用,也可能用不上索引,可以优化;test_2表是否存在id和name联合索引,能否加hint,指定特定索引提高查询性能?貌似经过上述的分析后,这个SQL可以焕然一新,在该数据库上飞一样地跑起来,但这就完了吗?其实并没有,在单机数据库上也许已经优化到了极致,可当我们的数据库是一个分布式数据库呢?它可能又会带来新的性能问题,我们要考虑where条件中的id是否是分布键,concat函数是否会影响算子的下推…...这一系列的问题都会产生。这实际就是我们所面临的现状,开发者的技术能力良莠不齐,DBA对数据库知识的局限性导致烂SQL无处不在,而且随着数据库的不断变更或演进,一些好的SQL也可能逐步变成需要优化的烂SQL, 我们要时刻不断地找寻它们的踪迹。SQL Audit审核工具介绍华为内部有很多业务部门,对传统单机数据库、MySQL、PostgreSQL等各种数据库都有深度的使用,也一直备受烂SQL的困扰,随着GaussDB在内部业务系统的规模应用,现存SQL在GaussDB中能否高质量运行也面临挑战,于是我们开发了SQL Audit工具,根据公司内部各业务部门多年积累的SQL开发规范和GaussDB数据库的优秀实践,整理出SQL审核规则上百条,对命名规范、表结构/索引设计、SQL性能优化、分布键及算子下推等常见影响SQL质量的问题都可以做深入的分析和审核 ,同时我们又开发了一些插件,直接集成到开发的流水线中,自动从代码仓获取SQL语句,做到一键审核。SQL审核的核心流程可以分为以下三个阶段:SQL获取:即我们能从哪些渠道获取到需要审核的SQL, 获取能力决定了我们能否对开发中的代码做更全面的审核;SQL语法解析:是针对具体的每一条SQL做语法树的生成和分析;SQL规则审核:是拆解SQL语句的每一部分,和相关审核规则项逐一做匹配,找出待优化或风险点,最终形成审核报告。SQL获取客户通过SQL访问数据库的渠道多种多样,客户端工具、命令行、SQL脚本、应用代码…...代码开发又可以采用JDBC、ODBC、底层API调用等各种方式,SQL语句既可以直接在代码中拼接,也可以通过配置文件(如:Mybatis),还可以通过ORM框架(如:Hibernate )访问数据库,所以如果想要获取到客户的全部SQL是一件非常困难的事情。SQL Audit对当前大部分SQL使用场景进行了支持,而且还在持续扩大SQL能获取的范围,力求能够全面地将客户使用的所有SQL全部审核到,下图是当前SQL Audit工具支持的SQL获取范围。手动输入手动输入为客户提供了一个简单、易操作的平台,客户可以随时把自己编写的SQL语句输入到SQL Audit工具中进行审核,根据审核结果直接对语句做调整,同时也可以将一个.sql文件整体上传上来,进行批量的审核。源代码源代码是烂SQL最主要的来源,但因其编程语言多种多样(C/C++/JAVA/GO/PYTHON/SHELL…...),编写方式也千奇百怪,所以很难将每种场景的SQL都获取完整,我们将代码中的SQL分成了三类:1)源码拼接SQL通过拼接的方式生成SQL语句,拼接的过程可能会引入很多变量,这种情况无法获取到完整的SQL,所以通过静态文件提取SQL的方式会有很大缺陷,SQL Audit工具支持对Java代码做语法解析,提取里面的SQL,对于其他语言的代码目前暂不支持。2)无SQL的ORM框架例如Hibernate、SQLAlchemy等这些ORM框架无法从代码中获取到SQL语句,SQL Audit工具提供了基于Java二进制改写技术,在JVM运行时动态监听JDBC API,获取SQL语句。3)配置SQL的ORM很多业务系统基于Mybatis框架搭建访问数据库的能力,Mybatis通过注解或配置文件的方式编写SQL语句,SQL Audit工具能够对Mybatis的注解和配置文件进行深度解析,提取SQL成功率达99%以上。数据库对象数据库表结构、索引、约束的设计以及存储过程、函数等PL/SQL的编写对数据库的性能起决定性作用,SQL Audit工具可以连接到数据库,获取数据库中的全部对象定义, 从设计的规范性(如:命名规范、长度/大小写限制)、合理性(如:索引是否合理)和性能等方面进行考量,给出审核建议。数据库日志为了更全面地获取到发生在数据库的SQL语句,从数据库本身的日志层面着手也是一个比较可行的方案,解析数据库的redo、开启数据库审计日志、查询SQL缓存区等方式都能够有效获取到运行SQL,SQL Audit工具也支持通过数据库日志获取SQL语句的能力。流量抓取为了解决从源代码中无法获取全部SQL的问题,我们开发了基于流量抓取的SQL审核能力,它能极大提升对SQL获取的完整度。IP+端口作为数据库对外的统一入口,基本可以包含客户业务和运维所产生的全部SQL语句,通过对数据库服务器端口的旁路监听,获取到网络协议包,经过对数据库网络协议解析和重复SQL过滤,得到有效的SQL语句,最后将这些SQL传入SQL Audit工具进行审核。 SQL解析SQL解析的过程就是将SQL语句按照语法规则解析成语法树的过程,一般的解析过程分为词法解析和语法解析,然后生成语法树,大部分对SQL语句分析的工具都是直接遍历语法树实现的,SQL Audit工具没有直接解析语法树,而是增加了一个处理过程,将语法树解析成Java描述类,后面所有的审核规则都是基于这个语法描述类进行,这样大大提高对审核规则的开发效率,同时降低了开发难度。SQL审核丰富的审核规则审核的核心是审核规则,而审核规则的核心是对数据库的理解+对客户业务开发理解的实践经验总结,我们结合GaussDB数据库的最佳实践+公司内外部客户的实际使用场景,整理出审核规则数百条,目前产品中已支持规则78条,包含了SQL开发过程中常见的规范和性能问题,后续会有更多的规则持续丰富到产品中。SQL Audit同时提供了模板配置功能,客户可以根据自身业务场景灵活地选择需要审核的规则。深度审核SQL Audit审核流程如下图所示:当一个SQL输入到SQL Audit中后,首先会对SQL进行语法解析,然后根据SQL中所依赖的表、视图等对象,去数据库中获取元数据信息(列信息、索引信息等),如果这个SQL语句的性能可能受执行计划的影响,则会再从数据库中获取该语句的执行计划,综合上述全部信息,逐一匹配每一个相关的规则进行审核,最终输出全部违反规则项。实践案例华为云内部某系统有一部分的业务代码是基于JAVA的Mybatis框架开发,在将数据库替换到GaussDB的过程中有大量的SQL做了兼容性改造,为保证改造后的SQL能够高质量地在GaussDB数据库中运行,该系统通过SQL Audit工具对整个代码仓进行全面审核,同时在流水线中部署了SQL Audit审核插件,持续对增量代码进行看护。SQL Audit发现了大量的不规范和低性能的SQL,提前规避了风险SQL流入到生产环境,开发人员根据SQL Audit的审核报告对代码进行了优化,业务切换到GaussDB后持续稳定运行。以其中一个任务为例,该任务涉及SQL总数有1881个,审核出有问题的SQL有300多个。审核结果统计报告审核问题SQL详情总结GaussDB在打造内核竞争力的同时,希望给客户提供全流程、全链路,面向开发和运维的数据库自动驾驶体验。今年我们发布的SQL自动审核工具,在开发环节帮助客户写好SQL,拒绝烂SQL。未来,我们还将进一步支持对PL/SQL审核的支持,比如存储过程、函数、触发器、包等的审核,以及与AI大模型的结合,大模型在SQL语言的处理上已经做得很好,SQL Audit工具会和华为的盘古大模型进行对接,通过大模型的能力增强它的审核、优化和改写能力。作者:华为云数据库和应用迁移专家 李志学
-
1. 首先我们来看看华为云官方对SMP的定义SMP特性通过算子并行来提升性能,同时会占用更多的系统资源,包括CPU、内存、网络、I/O等等。本质上SMP是一种以资源换取时间的方式,在合适的场景以及资源充足的情况下,能够起到较好的性能提升效果;但是如果在不合适的场景下,或者资源不足的情况下,反而可能引起性能的劣化。同时,生成SMP需要考虑更多的候选计划,会导致生成时间较长,相比串行场景也会引起性能的劣化。文档地址为:https://support.huaweicloud.com/performance-dws/dws_10_0036.html2. 再看一下SMP的使用限制系统的CPU、内存、I/O和网络带宽等资源充足。SMP架构是一种利用富余资源来换取时间的方案,计划并行之后必定会引起资源消耗的增加,当上述资源成为瓶颈的情况下,SMP无法提升性能,反而可能导致性能的劣化。同时,SMP计划的生成时间较串行要长。因此,在短查询为主的TP类业务中,或者出现资源瓶颈的情况下,建议关闭SMP,即设置query_dop=1。文档地址:https://support.huaweicloud.com/performance-dws/dws_10_0040.html总结当服务器性能足够,且查询结果会有大量数据时,推荐开启SMP由于SMP计划的生成时间较串行要长,且会占用较多的资源。因此,当服务器性能不足 或 主要是以短查询为主的TP类业务,则应当关闭SMP
-
问题现象:执行vacuum full 有这个警告,WARNING: TopSQL lfq is full, failed to save queryid: xxx问题原因:内部限制了topsql使用的内存大小,并发过高的时候这部分内存满了导致部分语句不能被记录,打出来warning提示规避措施:可以调大session_history_memory进行观察, 建议最大不要超过300。
-
近日,GaussDB数据库产教融合论坛在华为苏州研究所举行。本次论坛邀请了多位知名高校老师、北京金融科技产业联盟代表和金融行业DBA代表到场参加,共同围绕企业数据库人才需求、高校数据库人才培养模式、以及行业与高校对数据库厂商有何诉求展开深入研讨,为数据库人才的培养出谋划策,进一步推动数据库人才供应链的完善。数字经济发展如火如荼,数据库作为支撑数字化转型的关键信息基础设施,对推进数字经济发展,赋能各行各业关键应用有着重要的作用与价值。近年来,国内数据库百花齐放,数据库技术不断成熟,但要想做大做强,必须加快数据库人才培养,突破技术和人才制约,提升行业的核心竞争力。高校如何基于国内数据库开好数据库课程?高校作为人才培养的主阵地,如何基于国内数据库开好数据库课程,让数据库人才教学模式更好地匹配当前行业的发展需求?对此,高校老师纷纷建言献策。清华大学计算机系李国良教授表示,授人以鱼不如授之以渔,要让学生知道背后的核心技术和演进道理,拥抱变化,具备数据思维,打通软硬件全栈能力,加强系统人才的培养。复旦大学计算机科学技术学院汪卫教授表示,复旦大学已经在本科教学过程中融合了高斯数据库,并建议开发完善基于高斯的实验平台,建设面向高斯的数据库教学体系,进一步推动数据库人才培养。电子科技大学孙明副教授表示,校企联动,高校引入国内优秀数据库,分层次多阶段从应用、原理到实现,逐级挑战,不断优化和完善数据库教学体系和人才培养标准,加速培养企业需要的数据库人才。东北师范大学李雁翎教授表示,国内的数据库应该走入更多普通高校,企业开放更多的应用场景,创造条件让学生端的成果触达企业,同时希望有更多的数据库项目,给学生提供展示舞台,也希望联合企业搭建产教融合生态,双向奔赴,携手共进。北京航空航天大学郎波教授表示,北航计算机学院在数据库系统及原理应用一课中,除了掌握基本理论和开发技术,还加入了数据库新技术和DBMS的实现技术,并基于华为云GaussDB平台开设了实验课程,学生对此收获颇丰。另外,我们希望和内核专家建立交流的渠道,同时开放场景课题和应用需求,让学生切合国家卡脖子的问题深度实践。北京邮电大学邓芳教授表示,我们在数据库系统原理教学中,使用华为数据库进行基本实验和SQL操作,华为在过程中给予了我们很多支持,也希望华为能围绕高校课程提供相应的案例,提供小型的DBMS系统开发的平台和帮助,让学生在一定基础上做系统开发,例行化走进高校,让学生了解国内数据库的发展,也了解GaussDB。华东师范大学赵慧教授表示,华为为我们提供了很多帮助,比如快速提供资源,为学生答疑解惑等,希望华为能更大力度宣传GaussDB和高斯,对于参与竞赛的学生提供脱敏应用和数据,对于马上走进工作岗位的本科生和专业硕士,希望能有内核的剖析和实践。同时完善相关产品文档,提供更多的帮助文档解决方案。华中师范大学喻莹教授表示,从智能基座开始,我们在2021年成立了华为班,开设华为数据库课程,并于2022年获批了虚拟教研室,组建了很多活动,进一步推动了学生的学习积极性。高校人才培养有多种层级,而不是单一化,教材、资料、书籍、网络资源也应该多样化,希望华为能提供更多手把手教程、更专业的认证,以及更多的竞赛项目和平台。行业需要什么样的数据库人才? 数据库人才培养一般是自上而下,即起步于数据库原理,包括内核开发、运维调优、工具开发,再到数据库应用(应用侧人才岗位更多),是当下流行的行业人才需求模式,这些人进入产业后经过磨炼和积累,逐步进入更高精尖的领域。但随着云计算、人工智能、大数据的发展,数据库人才模式出现了些变化。来自北京金融科技产业联盟的魏中宣表示,数据库人才培养因要求高、难度大、周期长等问题,需要联合多方力量,打造产学研用协同攻关育人新模式,加强高校教师学生、从业人员交流培训,建立健全科学的数据库人才能力评价体系,促进国内数据库稳妥高质量发展。来自中电金信的千利稳表示,为了支撑金融及重点行业转型,中电金信对主流国内数据库进行了全面摸底,发现国内数据库在技术、性能、生态、人才等方面面临挑战,尤其是国内数据库开发人才短缺,人才培训和认证体系与国外相比仍存在较大差距,无法完全满足企业数字化转型需求,数据库人才供给问题迫在眉睫。此外,金融行业DBA代表们提出企业可以开放业务逻辑,走进高校和科技单位,为学生和从业者建立渠道,深入交流;同时联合产业力量,推进国内数据库标准建设,推动国内数据库论坛建立,丰富各种数据库实践、落地故障案例内容,让初学者更快掌握数据库要义。华为云GaussDB如何助力数据库人才培养?会上华为GaussDB内核架构师任阳也分享了华为GaussDB内核新员工人才培养路径与经验,人才的培养,要从树立殿堂开始,华为云GaussDB从新员工到技术骨干,再到技术专家和产业领导者,打造了完备的数据库技术人才成长路径。新员工的学习路径,应该是知识与实践并重,华为提供了内部知识共享平台、GaussDB知识社区、公开课、书籍以及博客推荐等材料,方便新员工自主学习,了解业界前沿技术,同时通过人员能力进阶评价牵引内核技术人员不断深化能力,逐步突破技术难关,成长进阶,这也给高校的人才培养提供了一些借鉴思路。数据库是生态型产业,人才生态是重中之重,国内数据库的生态之路漫漫,吾将上下而求索。华为云GaussDB将矢志不渝,坚定走产教融合战略,聚八方力量,育四海人才,攻克技术高峰,繁荣数据库产业,国内数据库,未来大有可为。
-
7月26日,证券基金行业技术创新联盟2023年第二季度工作会议在合肥举办。会议以“双轮一体,自主升级一一证券基金行业数字化转型和技术创新融合发展实践”为主题,邀请了证券行业领导、产业专家学者等230余人到场参加,一起探讨数字化转型、智慧化变革时代浪潮下,金融行业产业厘革的下一征程,并吸引了线上470余人的热情关注。其中,华为云GaussDB研发总监张东出席分享了华为云GaussDB数据库的最新进展和对证券基金数据库应用的思考。关注客户诉求,在场景中锤炼成熟张东说,数据库上连应用,下接基础设施,决定着整个系统的可用性,而交易型数据库是所有系统的核心,对企业更为重要。在企业数字化转型中,数据规模持续增长、专用硬件不可获得、业务负载浪涌、IT人员投入不足、数据安全事件频出等挑战也催生了数据库技术的发展,根据Gartner预测,分布式和云将是未来数据库发展的主要方向。华为在数据库领域砥砺研磨20多年,打造的GaussDB分布式数据库不仅完成了华为内部IT系统600多套数据库的全面替换,在华为终端云也建设起了6000多个分布式数据库节点,资源利用率和运维效率提升了30%。“场景是数据库的磨刀石。”张东说,在外部,中国的银行、保险、证券、能源等行业的核心业务系统向华为云GaussDB开放了很多场景,锤炼了GaussDB的产品能力。今天,华为云GaussDB除了解决好华为自身的业务连续性问题,还将承担起更多行业的需求,不仅要做深做透金融大行,将金融核心系统数据库替换从试点实现批量复制,更要从大行逐步走向中小行、证券基金、保险等更多金融机构,满足证券核心交易业务确定性不抖动的时延等更多需求。五高两易能力全面升级华为云GaussDB基于华为软件工程全栈可信框架,实现了从结果可信到过程可信,真正的自主创新,端到端的工具链保证软件开发工具的安全可信,还构建了多层的测试防护网、20万的测试用例和10多个典型金融客户的场景化的防护网,实现了真正的高质量。张东介绍,为了满足更多场景下的需求,新一代GaussDB形成了高可用、高性能、高弹性、高安全、高智能、易部署、易迁移五高两易的全面能力,对关键能力进行了升级。可用性上,与工行联创推出国内首个基于存算分离的双集群强一致方案,保障任何软硬件故障完全隔离,真正实现了7*24小时服务不间断;针对一些对可靠性要求不高的系统,GaussDB也提供极具性价比的本地盘方案,比如单节点容灾集群。性能上,针对证券行业的低时延业务,联合招行重构了底层存储引擎,保障数据库高性能和极低抖动。经过实测,在大压力的情况下,GaussDB的性能抖动可以控制在3%以内,而存储空间的利用率提升了17%。智能化上,GaussDB希望给客户提供全流程、全链路,面向开发和运维的数据库自动驾驶体验。比如面向开发环节,针对客户经常遇到的一条或一类烂SQL把整个数据库拖慢的问题,GaussDB推出了SQL Audit审核工具,可以针对单条SQL、SQL文件、Mybatis等进行SQL解析和审核,帮助客户写好SQL,拒绝烂SQL。面向运维环节,GaussDB 支持慢SQL一键查杀、一键限流、慢SQL根因分析及改写建议、索引推荐、趋势预测,让DBA从繁琐的后台命令行解脱,极大提升运维效率。部署和迁移上,基于语义感知的数据压缩实现了65%的压缩效率,轻量化、零侵入的压缩方案保证合理压缩率的同时对业务的性能影响降到了5%以内;内核多租户能力让应用使用更灵活、资源利用率更高;一站式迁移解决方案通过UGO提前评估、结构迁移、DRS在线迁移和数据对比、流量回放、灰度并行等,让整个迁移工作变成一个确定性的事。在市场中得到广泛认可“IDC报告显示,华为云GaussDB已经连续六次蝉联本地部署模式市场国产数据库份额第一。”张东说,GaussDB在金融政企市场得到了广泛认可。在证券基金保险行业,GaussDB联手新意科技打造的法人清算系统已经在兴业证券等多家企业上线。兴业证券经过基于GaussDB的法人清算系统运行一周时间与同期现网系统基于相同生产数据的清算时长比对,以沪A深A市场为例,性能获得约10%的提升,同时支持并轨运行,极大提升了系统的可靠性。最后,张东表示,华为云GaussDB期待与更多伙伴一起共建健康繁荣的产业生态。一方面,优化产业环境,让更多客户得到健康的发展和资源,打造更好的产品、工具、服务;另一方面,要联合产、学、研、用深度协同,在核心技术上不断创新突破;最后,还要健全人才体系,培养高质量人才,满足行业需求,这样才能形成产业的合力,推动整个产业发展。华为云GaussDB也将继续在更多场景里持续进行工程化的打磨,为行业注入更领先的技术、更多的创新,做金融数字化转型的坚实数据底座。
-
近日,DBA走进华为培训活动第二期——金融行业DBA“走进华为”GaussDB赋能培训在华为苏州研究所举行。本次培训为期三天,14家金融机构、11家金融行业核心ISV的49名DBA到场参加,并邀请产业代表与八位高校老师围绕企业人才需求和GaussDB在高校的教学实践和思路展开了深入研讨,共同为数据库人才的培养出谋划策,推进国内数据库产业繁荣发展。线下培训——产学融合助力行业DBA对数据库应用的掌握华为云GaussDB研发总监在开班典礼上致辞表示,近些年,国家金融科技创新政策的不断落实,为国内数据库的发展提供了广阔的空间,同时也带来了一些挑战。而要做一款完全自主创新的数据库,需要大量的专家参与和长时间的战略投入。华为云GaussDB有二十多年的数据库研发经验,在苏州集结了超过三百位的研发专家,有长期奋战的决心和信心。今年,华为云GaussDB数据库进一步实现了产品能力的全新升级,推出了Ustore存储引擎、双集群强一致、全密态等新一代技术,具备高性能、高可用、高安全、高弹性、高智能,以及易部署和易迁移五高两易的全面技术能力,满足金融客户对数据库性能、安全、可靠性等方面的高要求。希望大家能通过本次培训有所收获,对GaussDB有更多的了解,共同助力金融行业数字化转型。本次培训的讲师团由八位华为云数据库专家组成。专家们通过现场教学,围绕华为云GaussDB数据库的体系结构、高可用关键技术、安装部署、开发和运维的关键能力和工具进行了详细的解读,分析了GaussDB与传统商业数据库的语法差异性,并结合DBA的日常实际应用场景,通过融入实践案例,来提高培训的实效,深化学员们对产品应用的感知和认识,帮助DBA学好GaussDB、用好GaussDB。课后,专家和学员们展开了积极的互动和交流,耐心为学员们答疑解惑,并组织了结课考试,以考促学巩固学员们的学习效果,检验学习成果。学员们纷纷表示,参加本次培训得到了很多收获,希望以后能有更多这样的培训机会,与行业同仁加深交流,共同助力国内数据库产业的发展。在最后的结班仪式上,华为云数据库服务产品部总经理苏光牛为优秀学员们颁发了证书,并和大家合影留念。苏光牛表示:“做好数据库很难,做好功能稳定的数据库更是极具挑战。华为在做数据库的过程中,一直非常重视客户的反馈,这是GaussDB不断发展和前进的动力。结课后,也希望学员们能继续多多交流,给予我们更多反馈,大家合力,一起推动国内数据库产业繁荣发展。”论坛研讨——产教融合,合力推进数据库人才培养培训之余,为了使高校的人才教学模式能够更好地匹配当前金融行业对数据库人才的需求,华为云GaussDB数据库产教融合论坛邀请了清华大学李国良教授、教育部“数据科学课程群”虚拟教研室负责人东北师范大学李雁翎教授、复旦大学计算机科学技术学院汪卫教授、北京航空航天大学郎波教授、北京邮电大学邓芳教授、电子科技大学孙明副教授、华东师范大学赵慧教授、华中师范大学喻莹教授,北京金融科技产业联盟代表、多家银行客户和ISV伙伴代表,与华为云数据库服务产品部总经理苏光牛,以及多位华为云GaussDB研发专家齐聚一堂,围绕当前金融企业对数据库人才的需求、GaussDB数据库在各高校的教学情况,以及高校的人才培养现状和未来的教学方向进行了深入的开放式研讨,致力于实现人才需求侧与供给侧的互动循环。企业和高校代表们纷纷发表了自己的看法,为了培养出更加全面的数据库人才,企业将为高校开放更多业务场景,通过实质性的科普类教学助力高校人才培养;高校将与企业及华为云GaussDB进行更深度的融合,引入更多实践和案例,帮助学生学以致用,提前适应企业要求;华为云GaussDB也将继续走进高校,开放更多数据库难题和典型应用案例,通过产学研用的全面联动不断完善数据库人才培养体系。数字经济时代下,企业未来的竞争本质上将是人才的竞争。华为云GaussDB希望和客户、伙伴、高校一起通力协作,通过产学研用联动来攻克数据库技术难关,通过产教融合来完善人才供应链,持续为数据库产业的发展注入动能!
-
任务调度里的job_status为f怎么解决?权限问题?:我用的不是默认管理员账号,有些添加可以,有些不可以!!我调度存储过程类没有声明参数的没问题,声明参数就有问题
-
1.1.1 【建议】视图定义中尽量避免排序操作ORDER BY子句在顶层视图上无效,如果必须对输出数据排序,请考虑在调用视图中使用ORDER BY。请问这个怎么理解,或者怎么实现?
上滑加载中
推荐直播
-
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家;李炎-华为云码道产品专家;彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战,从0到1打通消息通道;码道鸿蒙端云一体化实战,快速搭建员工签到系统。
回顾中 -
华为云开发者AI素养直播课·第五期2026/09/04 周五 16:00-18:00
林华鼎-华为云AI开发者运营负责人;蒋春阳-华为云AI开发者案例开发专家
本期直播内容: AI工具体验营 · 第5-8课连讲。Agent-Team 多智能体协作完成毕业设计实践
回顾中 -
华为云开发者AI素养ClassRoom·第六期2026/09/08 周二 19:00-20:00
樊渊-2026华为软件挑战赛冠军
高手来了:看软挑高手解析二维排样问题—从工业难题到算法突破
回顾中
热门标签