-
7月8日,在华为开发者大会2023(Cloud)的“GaussDB数据库,打造轻量化迁移部署方案”专题论坛上,掌数科技解决方案总经理高星作为华为云GaussDB的优秀合作伙伴,分享了掌数科技和华为云GaussDB长期合作的实践和成果。同心合力,一起打造完善的GaussDB生态体系掌数科技是一家聚焦于证券和大资管行业,面向数据库和大数据技术、智能化场景应用以及行业信息技术应用创新领域的金融科技企业,服务于全国80余家大型金融机构客户。作为华为在金融行业数据库技术领域的全面合作伙伴,掌数科技长期与华为云GaussDB合作,提供基于华为云GaussDB数据库的配套生态软件产品及服务支撑体系,在金融大数据服务和应用迁移上云等领域积极投入,帮助行业用户快速转型。高星表示,掌数科技作为为金融细分领域客户提供技术服务和支持的一家厂商,选择和华为云GaussDB战略合作,是因为华为有非常好的研发实力做基础,能够支撑客户应用场景稳定高效运转,也为我们服务能力的构建和服务体系的建设提供了很多支持,并且有长期的研发投入与坚定的发展规划。这些都是我们非常看重的重要因素。面向金融核心场景,基于GaussDB打造迁移灾备整体解决方案过去的两年多,掌数科技和华为云GaussDB面向金融核心业务系统联合打造了GaussDB完整配套软件,形成全面的产品体系,包括容灾备份一体化解决方案(Z-XCP)、数据迁移及持续复制软件( Z-RPS )、GaussDB增值插件包 (Z-DB+);同时也面向客户与合作伙伴打造了GaussDB技术支撑与服务军团,包含售前面向行业客户的金融创新解决方案,售中阶段创新项目的实施落地,共同打造行业标杆,以及售后的专家支持与专业服务。容灾备份一体化解决方案(Z-XCP)以保护企业业务连续性为目标,可以一站式完成企业的“两地三中心”容灾体系建设和重要职能管理体系的部署,帮助客户轻松应对GaussDB集群的容灾、备份、监控以及开发/测试库搭建等管理难题,通过更低成本、更高效的方式,满足不同行业和业务场景下的数据安全性要求。借助该产品,掌数科技不仅可以纳管原厂标准的GaussDB部署方案,自己也研发了一些符合行业应用需求的更灵活、更弹性的部署方案,让客户有更多选择。GaussDB增值插件包(Z-DB+)提供了更多个性化工具,重在解决数据库之间互联互通的难题。慢SQL语句跟踪工具提供业务系统使用过程中慢SQL及执行计划的监控功能,用于分析优化系统性能,解决业务改造过程中业务性能下降等用户关切的问题;DBcopy工具支持GaussDB与原来异构数据库之间超高速率的双向复制,帮助企业快速完成迁移和同步;DBlink工具可以在迁移改造阶段支持GaussDB数据库与其他数据库等异构数据库之间的双向实时访问;高压缩传输工具,具备广域网下GaussDB高压缩传输能力,满足了证券行业客户同城或异地机房在窄带宽(如百兆网络)广域网下的容灾需求。数据迁移及持续复制软件( Z-RPS )支持系统的实时迁移、数据库双活容灾、逃生通道保障(反向迁移),满足了核心系统数据实时迁移、实时汇总与实时分发等需求。在金融核心场景不断落地,满足客户更多需求在这些生态工具的加持下,该产品体系已经全面支撑证券、基金、银行、保险、信托等金融行业科技创新,满足了越来越多客户的需求。法人清算系统是我国证券公司的核心业务系统之一,在证券交易后的结算环节起到至关重要的作用。某中大型证券公司法人清算系统迁移面临着几大考验:数据量大:迁移数据以T为单位,不仅数据时间跨度长,数据质量还要求必须精确;迁移频度高:在数据测试和生产、双轨和单轨运行等阶段,都需要重新进行迁移比对,反复的迁移导致不仅迁移频度高,实施周期也较长;异构数据库迁移技术难度大:不同数据库的存储方式不同,字段的类型、精度和长度不同,表结构也不同,还有空白字符、乱码需特殊处理,都加大了异构迁移的难度。掌数迁移方案对该系统的8000多张表进行了定制适配,内置了法人清算历史库和当前库的数据同步和比对、异构数据特殊转换模型和法人清算特殊处理,并且支持全量、增量、批量、指定表等多种模式的迁移,以及异常数据的校验分析和按计划定时迁移,最终快速完成了原数据库与GaussDB数据库之间的双向迁移,迁移全程透明、可视化管理,并通过工具自动化辅助人工,完成了异构数据的比对校验,实现了两套系统多维度的数据准确性校验,双轨期间一直稳定运行。某超大型保险公司养老核心系统的迁移也面临着重要挑战,需要在短时间内完成17TB数据的全量迁移,还存在乱码数据及字符集问题,并且大量的表使用了clob、blob字段,对增量迁移及后续的数据校验带来极大挑战,特大表还存在不分区、无主键、无索引的问题,这些都提高了迁移的难度。掌数迁移方案用4天时间就完成了17TB的全量数据迁移,迁移速度保持线性趋势,迁移后系统功能稳定无异常,有效兼容了各类数据异常问题,并通过数据校验功确保了所有数据准确一致。整个迁移高效、准确、稳定,比普通同步工具的迁移效率提升了100多倍。某大型基金公司选择了GaussDB的同城1AZ、异地1AZ的容灾建设方案,又通过掌数容灾备份一体化解决方案实现了多种灵活容灾部署架构、高压缩低带宽异地容灾、故障切换/灾难恢复、演练切换/计划停机的容灾管理,全量与增量备份恢复,基于策略的自动化备份恢复,库、模式、表的逻辑备份恢复,开发测试库恢复和基于时间点恢复(PITR)的备份恢复机制,以及集群核心指标、数据库核心指标、数据库节点的监控管理,做到数据容灾备份一体化管理,满足了业务需求。“在持续的演进和发展过程中,华为云GaussDB的生态越来越成熟。掌数科技把自己定位为华为云GaussDB生态中的一员,并致力于成为华为云GaussDB生态中最优秀的服务商之一,未来将继续展开深入合作,不断完善华为云GaussDB技术支撑与服务体系,站在金融角度打造行业实施的标杆案例,让行业客户更信任华为云GaussDB,用好华为云GaussDB。”高星说。
-
【背景介绍】数据压缩与关系数据库的结合,早已不是一个新鲜的话题,当前我们已经看到了各种各样数据库压缩的产品和解决方案。对于GaussDB来说,在今天引入数据压缩,究竟能够给客户带来什么不一样的价值,是过去一段时间我们一直在思考的问题。为了回答这个问题,我们首先对各种通用压缩算法进行了广泛的测试,从性能最好的LZ4/Snappy,到性能与压缩率均衡的Zstd/Zlib,再到强调压缩率的LZMA/BZip。我们发现:即使是性能最好的压缩算法,仍然无法做到对一个在线数据库的性能不产生显著影响。我们也调研了数据库领域的各种编码方法,包括近几年学术界发布的一些基于预测和线性拟合的编码方法,从研究发布的测试结果及实测来看,数据库编码用于解决特定数值分布的可压缩性问题,与压缩算法的成熟度相比,当前并没有一种通用的数据库编码方法,能够在大多数真实数据集中的场景下提供稳定的压缩率。这是我们对于数据库压缩这个领域的一个基本技术判断。过去的产品实践也验证了这一点,我们看到很多商业数据库和开源数据库都提供了对于压缩的支持,绝大多数时候,留给客户的选择就是决定要不要在特定的表上开启压缩。开启压缩意味着空间节省,但同时意味着性能下降,这个看似简单的选择恰恰是客户最难做的。这也是为什么有了这么多数据库压缩的产品,我们却很少能看到数据压缩真正广泛应用在数据库在线业务中的根本原因。这给了我们更多的启示。我们相信,真正可被应用的数据库压缩技术,能够去兼顾压缩率与业务影响的平衡,应该是选择性的。即我们能够基于技术去判定数据的温度,并基于这样的判定,去选择性地压缩业务中相对较冷的数据,而不去碰那些相对较热的数据。这样的技术选择意味着我们无法去满足所有业务场景,我们要求业务的数据温度分布,必须满足80-20分布规则。即我们去压缩那些占用80%存储需求、但只占用20%计算需求的冷数据,而不去碰那些只占用20%存储需求、但却占用80%计算需求的热数据。幸运的是,我们发现绝大多数对于容量控制有需求的业务,都具备这样的特征。【场景及目标选择】通过对大量业务场景的分析,我们发现业务对于数据库压缩技术的需求是多元化的,有在线交易业务(OLTP)存储压缩的场景,有分析业务(OLAP)存储压缩的场景,有历史业务存储压缩的场景,也有容灾业务传输压缩的场景。不同的场景,对于压缩技术的诉求,如果从压缩性能、压缩率、解压性能的三维指标去看,从对业务侵入的容忍度去看,是完全不同的。这意味着如果我们想要打造一个全场景的GaussDB高级压缩特性,它应该是多个技术的组合,包括不同的压缩算法、不同的冷热判定模型及方法、不同的数据存储组织等,通过不同的技术组合及应用去满足不同的场景需求。这同时意味着我们在不同压缩适用场景的支持上需要有个优先级的取舍。我们的答案是选择去优先支持OLTP存储压缩场景,这是我们认为数据库压缩技术最有价值的业务领域,当然也是技术挑战最大的领域。确定场景之后,接下来是确定技术目标,我们面向这个场景,究竟要打造什么样的核心竞争力,这取决于我们对于典型客户场景的分析。我们识别了两类典型客户场景:场景A:客户业务来自于IBM小机,单库容量50TB,迁移到开放平台后,面临容量过大和运维窗口过长问题。选择拆库意味着分布式改造,对于一个已经稳定运行许多年的存量关键业务来说,这种技术选择风险过高。选择压缩可以显著降低容量风险,但业务最初的设计并没有考虑冷热分离(比如基于时间维度建立分区),需要一种零侵入的压缩技术支持,同时对业务性能影响足够低。场景B:客户业务基于分布式集群部署,单集群容量已经超过1PB,并且仍在快速增长,需要定期扩容。选择压缩可以降低扩容频率,显著降低业务的软硬件成本,并减少变更风险。但业务的数据分布设计是面向扩展性的(比如基于用户维度建立分区),没有考虑冷热分离,因此同样的,业务需要一种零侵入的压缩技术支持,同时对性能影响足够低。通过对客户典型场景的需求梳理,我们确定了GaussDB OLTP存储压缩的基本设计目标:1)冷热判定对业务应该是零侵入的,不应对业务的已有数据分布、逻辑模型有任何依赖;2)对业务影响必须足够低,我们定义目标低于10%,并挑战5%;3)提供合理的压缩率,我们定义目标不低于2:1。基本设计目标的定义,使得我们能够将后续每个具体场景中的技术选择都变成一个确定性问题。【冷热判定】确定设计目标后,我们开始进行工程落地。有三个问题需要解决:1)如何实现对数据的冷热判定;2)如何实现压缩后数据的存储组织;3)如何实现有竞争力的压缩算法。对于冷热判定,首先要确定判定的粒度。数据的冷热判定可以基于不同粒度实现,行级、块级或表/分区级,粒度越粗,实现的复杂度越低,但对业务的侵入也越大。基于设计目标,很自然的,我们选择行级的冷热判定,这是对业务数据分布依赖最小的方案,我们需要解决的,是如何控制引入冷热判定的代价。我们利用GaussDB存储引擎已有的机制巧妙地解决了这一问题。具体来说,GaussDB存储引擎在每行数据的元数据Meta中记录了最近一次修改该行的事务ID(XID),该信息被用来支持事务的可见性判定,从而实现多版本并发控制(MVCC)。对于特定行来说,如果其XID足够“老”,老到它对所有当前已经活跃的事务都可见,那么这时候我们实际上已经不关注XID的具体值,我们可以通过引入一个特定的标志位(FLG)来记录这一点,而原来XID中填充的值可以被一个物理时间来代替,这个物理时间就表征了其所属行最后一次修改时间的上限(LMT,Last Modified Time)。很显然,LMT可以用来支持冷热判定(具体见图1):图1:行级冷热判定上述方案的好处是引入LMT并没有增加额外开销,对业务的逻辑模型也没有任何依赖,在大多数时候,如果不是特别严格要求,业务可以定义一个简单的规则来实现冷热判定,比如:AFTER 3 MONTHS OF NO MODIFICATION此时系统会扫描目标表,对于所有满足当前时间减去LMT超过3个月的行进行压缩。注意在上述方案中,我们实际上只识别了行的写热点,但并没有识别行的读热点,我们只知道满足条件的行3个月内未发生任何更新,但我们无法确认这些行在3个月内是否被频繁读取。维护行的读热点,目前从技术上没有低成本的解决方案。对于像订单明细这样的流水类业务,这个方案可以很好地工作,因为数据的读和写呈现出相同的温度特征,其访问频率随着未修改时间的增加不断衰减。但对于像手机相册这样的收藏类业务,仅识别写可能是不够的,因为一个很早建立的收藏关系仍然可能被频繁访问。这意味着,即使系统进行了冷热判定,我们仍然需要去优化业务可能访问压缩数据的场景,我们把这个问题留给了存储组织和压缩算法,对于压缩算法来说,我们更关注其解压性能。另一个问题是在某些场景下,使用默认的冷热判定可能是不够的,比如对于某些类型的交易而言,其产生的订单明细可能在3个月内确实不会被修改,但会在达到一个特定的触发条件后被更新(比如解冻担保交易)。这种场景在实际业务中并不常见,但如果业务确实关注性能,那么我们支持在默认的冷热判定规则以外,允许业务自定义规则,比如:AFTER 3 MONTHS OF NO MODIFICATION ON (order_status = "finished")此时系统会仅压缩3个月未修改、且订单状态已经完结的数据。当前我们支持的自定义规则,是任意合法的行表达式,业务可以写任意复杂的表达式来表征数据的冷热判定规则,但表达式中所引用的任何字段,只能是目标表上的合法字段。通过这种默认和自定义规则的组合使用,我们提供了业务足够低的使用门槛和更好的灵活性。【存储组织】当满足冷热判定条件的行被压缩时,我们需要决定如何存储这些压缩后的数据,基于设计目标,我们选择了对业务侵入最小的存储组织实现——块内压缩。我们知道关系数据库的存储组织都是基于固定长度的分块的,在GaussDB数据库中,典型的数据块大小为8KB,选择更大的数据块显然有利于压缩,但对业务性能会造成更大的影响。所谓块内压缩,是指:1)单个块内所有满足冷热判定条件的行,会作为一个整体进行压缩;2)压缩后形成的数据就存放在当前的数据块中,存放区域称为BCA(Block Compressed Area),它通常位于块的尾部。块内压缩的设计意味着解压任何数据只依赖于当前块,而不需要访问其它的数据块,从压缩率的视角看,这样的设计并不是最友好的,但它非常有利于控制业务影响。注意在我们前面的讨论中,即使业务定义了冷热判定条件,仍然存在一定的概率会访问压缩数据,我们希望这个访问代价能够有一个确定性的上限。图2给出了块内压缩的详细流程:首先,当压缩被触发时,系统扫描数据块中的所有行,根据指定的冷热判定条件,识别出R1和R3是冷数据(图2(a));接着,系统将R1和R3作为一个整体进行压缩,将压缩后的数据就存放在该数据块的BCA中(图2(b));如果业务后续需要更新R1,那么系统会为更新后的数据生成一个新的拷贝R4,并标识BCA中的R1已经被删除(如图2(c));最后,当系统在该数据块上需要更多空间时,可以回收BCA中属于R1的空间(图2(d))。图2:块内压缩在整个设计中有两点需要注意:1)我们实际上只压缩了用户数据Data,并没有压缩相应的元数据Meta,后者通常用来支持事务的可见性;2)我们支持将冷数据重新变为热数据,以消除因为冷热误判而带来的影响。同样地,从压缩率的视角,这样的设计并不是最友好的,但它极大地减少了对业务的侵入。简单来说,业务对于压缩数据的访问,与正常数据完全相同,在功能上没有任何限制,在事务语义上也没有任何差别。这是非常重要的原则:我们的OLTP存储压缩对于业务是完全透明的,这是当前这个特性,以及后续GaussDB高级压缩系列所有特性都将遵循的基本原则。【压缩算法】基于设计目标,如果从压缩率、压缩性能、解压性能的三维指标来看,我们实际上需要的是一个能够提供合理的压缩率、合理的压缩性能、但是极致的解压性能的压缩算法,这是我们压缩算法设计的基础。我们首先测试了直接使用LZ4进行压缩,LZ4是目前已知的压缩性能和解压性能最好的开源三方库,从实测结果看,LZ4的压缩率是偏低的。我们仔细分析了其算法原理,LZ4是基于LZ77算法的一种实现,LZ77算法的思想非常简单,就是把要压缩的数据看成一个字节流,算法从字节流的当前位置开始,前向寻找和当前位置相同的匹配字符串,然后用匹配到的字符串的长度以及与当前位置的偏移,用来表示被匹配的字符串,从而达到压缩的效果。从算法原理上看,LZ77算法对于长文本会有比较好的压缩效果,但是对于结构化数据中大量的短文本以及数值类型,效果就有限,我们实际的测试也验证了这一点。接下来,我们将压缩算法分为了两层:第一层,我们按列对一些数值类型进行了编码,我们选择了简单的差值编码,这种编码足够轻量级,解压特定字段不需要依赖其它字段的值;第二层,我们将编码后的数据再调用LZ4进行压缩。注意在第一层中,我们实际上是按列编码、按行存储,这和业界的一般实现(按列编码并存储)有很大不同,按列存储对压缩率会更加友好,但是按列存储意味着同一行的数据会被分散到BCA的不同区域,这种传统的设计无法支持我们后续希望实现的部分解压,我们将在结束语中更详细地说明这一问题。通过实测,我们发现这种列编码+通用压缩的实现方式有效地提升了压缩率,同时控制了业务影响的明显增加,但两层实现之间是松耦合的,这引入了许多额外的开销。因此我们在仔细权衡之后,决定放弃LZ4,而是完全基于LZ77算法,重新实现一个紧耦合的压缩算法。这在当时看来是一个非常冒险的尝试,事实上,在我们之前,还没有任何数据库内核团队,会选择自己去实现一个通用压缩算法。但从最后取得的收益来看,我们实际上是打开了一扇全新的大门。当列编码与LZ77算法之间的边界被打破时,我们引入了一系列的优化创新,考虑篇幅原因,我们无法展现全部技术细节,在这里,我们只介绍两个小的优化:第一个优化是内置行边界。我们发现,当系统采用两层压缩算法后,我们需要额外地保存每一行数据在编码后的长度,因为我们需要在LZ77算法解压后找到每一行的边界,这是一个不小的开销。为了消除这个开销,我们选择在LZ77的编码格式中嵌入一个行边界的标记,这个标记只占用了1个位,其开销较现有方案大幅降低。当然,这个标记位被占用后,LZ77前向搜索的最大窗口长度减少了一半,但在我们这个场景中,这并不是什么问题,因为我们的典型页面长度只有8KB。第二个优化是2字节短编码。原有LZ4的实现中,为了提高压缩性能,系统使用3字节编码来描述一个匹配,这意味着系统能够识别的最短匹配为4字节。但是在结构化数据中,3字节的匹配是非常普遍的,参考下面一个例子:A = 1 … B = 2其中,A和B是同一行数据中的两个整数型字段,它们的值分别为1和2,基于当前的字节序,该行数据实际在内存中存放的形式如下所示:01 00 00 00 … 02 00 00 00注意上面标红的部分,很明显,这里面有一个3字节的匹配,但是它无法被LZ4识别。我们通过在LZ77算法中额外引入2字节短编码来解决这一问题,2字节短编码可以识别最小3字节的匹配,从而相对LZ4能够提升压缩率。当然,引入短编码会有额外的开销:1)压缩性能会有一定程度的下降,因为我们需要建立两个独立的HASH表,幸运的是,在我们这个场景中,极致压缩性能并不是我们追求的目标;2)2字节编码减少了表达匹配串与被匹配串之间距离的位宽,这意味着3字节的匹配必须离得更近才能被识别,在我们这个场景中,这并不是什么问题,因为相对于这个限制,一个典型数据行的长度已经是足够小的。【效果评估】我们使用标准的TPCC测试来评估启用OLTP存储压缩特性对业务的影响。TPCC模型共包含9张表,其中空间会动态增长的流水表共有3张,在这3张表中,订单明细表(Orderline表)的空间增长比其它表多一个数量级,因此我们选择在这张表上开启压缩。基于TPCC的业务语义,每笔订单一旦完成配送,其订单状态就进入完结状态,完结的订单不会再被修改,但仍有一定的概率被查询。基于这个语义,我们选择冷热判定原则为只压缩已经完结的订单。我们分别测试了在不开启压缩和开启压缩状态下系统的性能值,结果如图3所示:图3:业务影响评估测试结果表明:在TPCC测试场景下,开启压缩与不开启压缩相比,系统性能大概降低了1.5%。这是一个非常不错的结果,这意味着即使在超过百万tpmC的业务峰值场景中,系统也可以开启压缩。我们不知道在此之前,业内是否有其它数据库产品也能够达到这一水平。我们测试了Orderline表的压缩率,作为更丰富的数据集,我们同时选择了TPCH模型中的4张表(Lineitem、Orders、Customer、Part表)进行测试。为了便于比较,对于每个数据集,我们同时测试了LZ4、ZLIB和我们的压缩算法的压缩率表现,其中ZLIB是强调压缩解压性能和压缩率均衡的算法,其压缩解压性能较LZ4低了5-10倍。最终结果如图4所示:图4:压缩率评估测试结果与我们预期的相符,在数值型字段较多时,我们的压缩算法的压缩率要高于所有通用压缩算法,但在文本型字段较多时,我们的压缩算法的压缩率会介于LZ类和LZ + Huffman组合类的压缩算法之间。【运维TIPS】注意我们的压缩方案实际上是离线的,也就是数据刚生成时必然是热数据,它们不会触发压缩,业务访问这些数据的性能也不会受任何影响;随着时间的推移,这些数据的温度会逐渐降低,最终被独立的压缩任务识别为冷数据并进行压缩。选择在业务低峰期运行这些压缩任务、并控制其资源消耗是运维端需要关注的问题。在这块我们提供了丰富的运维手段,包括指定运维窗口、压缩任务的并行度、每个压缩任务的压缩数据量等。对于绝大多数业务来说,单位时间内新增的数据量实际是比较有限的,因此业务也可以选择一个特定的时间段集中完成压缩任务,比如每个月第一天的凌晨两点到四点,完成3个月前新增冷数据的压缩。业务在决定开启压缩之前,可能希望先了解开启压缩后的收益,并根据收益大小做出决策。为此我们提供了一个压缩率评估工具,能够对目标表的数据进行采样,并使用和实际压缩过程完全相同的算法对采样数据进行压缩,计算压缩率,但不会实际生成BCA,不会修改任何数据。如果业务将压缩数据迁移到另一个表,可能会导致所有数据从压缩状态变为非压缩状态,从而导致空间膨胀,这并非我们的方案引入的,而是所有压缩方案都需要解决的问题。如果冷热判定规则非常确定,那么业务可以手动执行压缩任务使压缩立即生效;对于耗时较长的大容量压缩表的迁移,业务仍然可以选择定期地开启自动压缩任务来完成。最后,对于压缩的开启和关闭,我们提供最细粒度的控制,无论是普通表、普通分区表中的单个分区,还是二级分区中的任意单个分区、子分区,业务都可以单独开启或关闭压缩。这使得对于业务本身已经对数据区分了冷热(比如基于时间分区)的场景,仍然可以和我们的压缩特性很好地配合。【结束语】在OLTP表压缩这个特性中,我们引入了一系列的技术创新,包括全新的压缩算法、细粒度的自动冷热判定和块内压缩支持等,可以在提供合理压缩率的同时,大幅度降低对业务的影响,我们希望这个特性能够在支持关键在线业务的容量控制中发挥重要价值。接下来我们还将在降低引入压缩对业务的影响、部分解压特性、OLTP索引压缩等方面持续创新迭代,我们希望能够有开创性的技术突破来解决相关的问题,为业务创造更大价值。本文作者 华为云数据库GaussDB首席架构师 冯柯
-
查询表时候报:查看表数据时出错。 单击“详细信息”了解详情。 [SQLErrorCode : 6636]ERROR: pooler: failed to create 2 connections, Error Message: remote node dn_6003_6004, detail: GSSAPI continuation error, more than 10 times, remote datanode dn_6003_6004, errno: Success各位大佬,求助!!!感谢!!!!
-
前言本文主要内容分三块内容,1. CM的主要运行流程 2. CM告警机制 3. 故障排查与解决GaussDB for DWS 的内核侧组件为DN, CN, GTM,内核侧组件是通过集群管理组件CM server、CM agent 来进行管理的。内核组件和集群管理组件共同组成了GaussDB for DWS 集群。一、CM的主要运行流程参考链接:GaussDB (DWS) 集群管理系列:CM组件介绍(架构和部署形态)GaussDB (DWS) 集群管理系列:CM组件介绍(核心功能)1.1 cm_server功能cm_server是集群 管理的大 脑,整个管理系统的仲裁者,系统中只有一个,主备架构,系统中常驻的服务进程,多线程架构。主要收集cm_agent返回的各个实例(GTM主备、CN、DN主备从)状态信息,从而通过分析给出谁是主谁是备,什么时候需要failover切换,什么时候需要重建DN。cm_server的另一个作用就是接收客户端cm_ctl发送的命令,使得cm_ctl可以管理整个集群。1.2 cm_agent功能cm_agent负责收集本地物理机中内核端各个组件的状态信息,并上报给CMserver,由于CMagent只管理本地物理机,如果单节点故障(如断电,机器故障)后,该物理机上实例均故障,无法管理,因此也不需要备机。且CMagent本地并不存储任何信息,是一个无状态的组件,进程故障后,可以立刻拉起。1.3 om_monitor功能om_monitor进程负责拉起cm_agent 以及杀掉非自己启动的cm_agent。om_monitor为了保活,每分钟都会被系统定时任务crontab拉起,后拉起的进程在发现已经有om_monitor进程时,会自己退出。下图为CM模块的主要运行流程:二、CM告警机制cm_agent会实时检测cn、dn、gtm、cm_server状态,固定间隔1秒上报实例状态给cm_server。心跳是在cm_server上累计的。没有上报消息,心跳就会+1,超时就会仲裁。只有cm_agent成功连接并上报节点信息,才会刷新心跳状态。当启动集群、节点、实例时,会删除启停文件,当停止集群、节点、实例时,会生成启停文件。集群启停文件 cluster_manual_start实例启停文件 instance_manual_start_X(X是实例编号,例如instance_manual_start_6001)启停文件存在与否标志着实例或集群的启停状态。2.1 根据启停文件判断正常情况下,根据启停标志文件是否存在做进一步判断,如果启停文件不存在且磁盘、网卡正常 ->cm_agent检查实例进程是否存在 如果存在则正常,如果不存在则拉起实例如果启停文件存在且磁盘、网卡正常 ->cm_agent检查实例进程是否存在 如果存在则杀死所有实例,如果不存在则则正常2.2 根据心跳判断当cm_agent检测到dn\gtm实例状态异常并上报给cm_server之后,会做一些检查以及启动实例,会根据实例心跳超时时间(instance_heartbeat_timeout)进行判定,当超过实例心跳时间之后实例无法恢复,cm_server会给cm_agent下发仲裁命令,将相应实例的状态置为 Unknown。当cm_agent检测到cn实例状态异常之后,会做一些检查以及启动实例,会根据cm_server在CN故障后仲裁自动剔除的触发时间(coordinator_heartbeat_timeout),当超过该时间实例无法恢复,自动剔除cn。当cm_server未收到cm_agent的上报,会根据实例心跳超时时间(instance_heartbeat_timeout)进行判定,当超过实例心跳时间之后依旧无法恢复cm_server与cm_agent的连接,cm_server会给当前安全环其他cm_agent下发主备切换,将相应实例的状态置为 Unknown。单节点故障RTO机制分析:cid:link_152.3 cm_server进程故障cm_agent会检测cm_server进程是否正常(进程存在或者正常停止),如果不正常则会停止或者拉起cm_server只有检测到启停文件存在时才会杀死cm_server进程,而磁盘、网卡有故障时并不会杀死cm_server进程如果cm_server因故障无法被拉起cm_agent会一直执行拉起cm_server的命令并输出日志cm_server主备是自仲裁。cm_server主备会相互连接进行通讯,当对端连接异常且超过超时时间后会触发自仲裁选主三、故障判断及解决方案3.1 故障类型3.2 实例重启[1]故障类型:长连接断开无法接入导致的超时查杀关键日志: ${GAUSSLOG}/cm/cm_server/cm_server_创建时间.log关键词:heartbeat timeout这种情况属于长连接断开直到超出心跳时间,cms将发送failover命令到备节点,导致主备切换。[2]故障类型:cma和cms断连导致的超时查杀关键日志: ${GAUSSLOG}/cm/cm_server/cm_agent_创建时间.log关键词:agent disconnect cm_server xx sec timeoutcms和cma之间的连接断开超时,导致cms无法接收到cma上报的消息,因此下发kill。解决方案:需要排查网络以及负载情况,可能为网络连接超时或者业务量过大导致的负载过大,系统函数运行缓慢。[3]故障类型:Hang检测查杀关键日志:${GAUSSLOG}/cm/cm_agent/cm_agent_创建时间.log关键词:phony dead关键日志: ${GAUSSLOG}/cm/cm_server/cm_server_创建时间.log关键词:phony dead长连接依旧存在,但是短链接无法连接,被判定为操作系统hang死,将通过长连接对故障节点下发重启节点命令。解决方案:联系华为工程师,给当前节点部署hang检测堆栈脚本,需要抓取hang时堆栈进行分析。[4]故障类型:内存超过70%阈值导致重启关键日志: ${GAUSSLOG}/cm/cm_server/cm_server_创建时间.log关键词:bigger than 70%内存使用率超过70%导致cms查杀,此阈值可以通过usage_threshold参数调整解决方案:可依照以下链接的方式初步排查,联系华为工程师内存定位三板斧:cid:link_0[5]故障类型:内存不足导致系统的oom查杀关键日志: /var/log/message关键词:oom-killeroom_killer(out of memory killer)是Linux内核的一种内存管理机制,在系统可用内存较少的情况下,内核为保证系统还能够继续运行下去,会选择杀掉一些进程释放掉一些内存。通常oom_killer的触发流程是:进程A想要分配物理内存(通常是当进程真正去读写一块内核已经“分配”给它的内存)→触发缺页异常→内核去分配物理内存→物理内存不够了,触发OOM。解决方案:可依照以下链接的方式初步排查后,联系华为工程师内存定位三板斧:cid:link_0[6]故障类型:主线程postmaster收到fast shutdown关键日志:DN:${GAUSSLOG}/pg_log/dn_xxxx /postgresql-创建时间.logCN:${GAUSSLOG}/pg_log/cn_xxxx /postgresql-创建时间.log关键词:fast shutdown主进程下发cancel信号导致实例退出。解决方案:检查${GAUSSLOG}/bin/gs_ctl/gs_ctl-创建时间.log若存在stop操作,说明存在手动关闭实例的情况。若不存在stop操作,请联系华为工程师。[7]故障类型:core首先需要确认是否配置core:没有配置的话需要先行配置。OS core配置教程如下:DWS-纯软core配置方案:cid:link_1DWS-HC/HCS/HCSO配core方案:cid:link_2请注意:core配置完成需要重启om_monitor生效,请预留时间窗口,防止影响业务。如果配置完成,但是异常的实例目录下不存在core文件检查bbox_core的开启情况以及生成目录:show enable_bbox_dump;show bbox_dump_path;如果bbox_core开启且目录与实例目录不一致,到此目录下查看core文件是否存在。确认core文件存在后联系华为工程师。3.3集群状态异常[1]主备不均衡DWS-纯软主备均衡:cid:link_3DWS-HC/HCS/HCSO主备均衡:cid:link_4集群均衡失败:cid:link_16若执行以上步骤未成功,请联系华为工程师[2]集群降级DWS-纯软gs_replace修复实例:cid:link_5DWS- HC/HCS/HCSO gs_replace修复实例:cid:link_6若执行以上步骤未成功,请联系华为工程师[3]集群不可用互信丢失导致集群不可用:cid:link_7磁盘使用率达100%导致集群不可用:cid:link_11集群不可用,实例状态处于Promoting状态:cid:link_8不符合以上场景,请联系华为工程师。可选应急操作:DWS-纯软重启集群:cid:link_9DWS- HC/HCS/HCSO重启集群:cid:link_10[4]集群只读磁盘使用率相关问题定位:cid:link_12不符合以上场景,请联系华为工程师。
-
7月7日,HDC.Cloud华为开发者大会2023在中国•东莞拉开了帷幕,大会邀请了众多行业专家、客户、合作伙伴和开发者,一起探讨AI、大数据、数据库、云原生、安全等技术话题,进行了全面深入的交流。在8日的“GaussDB数据库,打造轻量化迁移部署方案”专场,华为云数据库服务产品部副总经理庄乾锋分享了GaussDB的战略投入与开发者动态,国家管网集团油气调控中心资深信息技术工程师颜辉、掌数科技解决方案总经理高星和长亮科技数金总部研发副总裁张杰分享了他们和华为云GaussDB合作背后的故事。做强坚实数据底座,GaussDB与企业及开发者携手共进庄乾锋表示,数据库已经成为当今社会经济运行的关键根技术,它上连应用,下接基础设施,重要性不言而喻。可以说,数据库的可用性决定了整个应用的可用性,而分布式云数据库将是数据库发展的主要趋势。华为坚持自主创新,在数据库领域战略投入20多年,围绕客户全场景诉求打造了GaussDB分布式数据库,构建起了高可用、高安全、高性能、高弹性、高智能、易部署、易迁移“五高两易”的核心技术竞争力,目标是给世界一个更优选择。如今已经完成了华为内部核心系统的全面替换。华为的MetaERP系统,是使用传统商业数据库的典型代表。原ERP系统面临近7亿行的SQL脚本改造量、业务高峰期5-10倍的业务流量、最大160亿行大表的迁移。GaussDB通过UGO工具实现了近100%的自动化结构迁移,用4个小时就完成了708亿行数据的搬迁,并且通过了业务历史最大峰值20倍流量的压测。 华为终端云是新兴的生于云、长于云的云原生企业的典型代表。在成本、大规模集群以及数据模型多样化等挑战下,GaussDB原生的分布式架构使负载更加均衡,已经上线的最大单集群节点数超过了200个,支持多种生态,大大提升了资源利用率和运营效率。金融行业在自主创新的同时还需要完成应用和架构的创新,但大量的应用都重度依赖传统数据库的接口,存在很大的不确定性。GaussDB是当前国内唯一做到全栈软硬协同自主创新的数据库产品,有高度的语法兼容性和一站式的整体迁移解决方案,原生分布式架构大幅提升了系统的可用性。“面向开发者,我们也在思考如何让数据库更好用、更智能。”庄乾锋说, GaussDB的SQL全量全链路感知、分析及优化能力提供了易用、高效的应用开发体验,基于覆盖全流程的监控、智能化诊断能力又为客户提供了快速精准感知恢复的智能运维体验,高度的语法兼容性和一站式的迁移解决方案让迁移的过程、工作量、性能和上线过程从不确定变得确定,可以帮助开发者更快速、更稳妥地完成迁移工作。未来,GaussDB将进一步深化产学研用深度融合,联合企业、高校开发者等各方力量共同研究更多数据库根技术,共攀数据库产业高峰,共赢数字化未来。国家管网携手华为云GaussDB构筑新一代稳定数据底座国家管网集团油气调控中心资深信息技术工程师颜辉表示,GaussDB的稳定性与高效性足以满足国内企业核心系统建设的需求,同时,华为云GaussDB的应用实践证明了国内自主创新数据库承载企业核心数字化业务的能力。国家管网集团一直以来坚持通过业界先进技术,使能应用创新,沉淀管网资产,希望通过数字化创新打通数据孤岛,让数据涓滴成河,以现代信息技术助力“全国一张网”运营。借助华为云GaussDB,国家管网的生产运行管理系统(PPS系统)实现了数字生产力的大幅跃升。PPS系统是国家管网生产运行管理业务领域的核心关键信息系统,系统涵盖集团生产运行管理业务域多项主要流程,采用GaussDB构建其主数据库后,不仅有效保证了系统运行稳定性,存取数据的性能也得到大幅提升,满足了全管网一千余座场站在每日早八点的数据填报处理、报表分析计算以及管输计量结算等数万个并发业务操作对数据库的高性能要求,确保了用户操作低延迟的良好体验。针对系统年数据增长幅度较大、业务高峰时段数据库并发访问高的场景需求,通过选用GaussDB分布式部署形态,实现计算与存储资源的在线扩容与弹性扩展,突破了性能和存储容量的瓶颈;通过UGO+DRS工具链以最小的影响完成了业务的平稳迁移;通过DRS的异地实时数据同步保障了生产和灾备环境两端的数据一致性,此外GaussDB的全面运维手段和平台工具为开发人员提供了很多便利。PPS系统11个应用微服务模块以共享模式部署了一套GaussDB数据库集群,并采用GaussDB三节点三副本的典型部署架构,对业务的读写请求进行了负载均衡、多活冗余,实现整个系统无单点故障。颜辉还表示:“对GaussDB数据库的应用体验,改变了我们对国内自主创新数据库的应用感受和看法,希望在座的开发者们都有机会尝试应用华为云的GaussDB数据库产品,感受华为云数据库运维团队对开发者们的支持”。掌数科技与华为云GaussDB同心合力,赋能金融行业科技创新掌数科技解决方案总经理高星表示,“我们致力于成为GaussDB生态中最优秀的服务商之一,并协同GaussDB成为数据库产业生态中领先的数据库产品。”掌数科技是一家聚焦于证券和大资管行业,面向数据库和大数据技术、智能化场景应用以及行业信息技术应用创新领域的金融科技企业。作为华为在金融证券行业数据库技术领域的全面合作伙伴,掌数科技长期与华为云GaussDB合作,提供行业客户需要的GaussDB完整配套的软件产品和服务,打造面向客户与合作伙伴的GaussDB技术支撑与服务军团,并在证券、基金、银行、保险、信托等领域都形成了一系列的解决方案。双方联创打造的掌数产品体系已全面支撑金融行业科技创新,这里面涉及三个产品的联创:容灾备份一体化解决方案以保护企业业务连续性为目标,通过更低成本、更高效的方式,满足了不同行业业务场景下的数据安全性要求;GaussDB增值插件包提供 DBcopy、DBlink 等工具,重在解决数据库之间互联互通的难题;数据迁移及持续复制软件满足了系统数据实时迁移、实时汇总与实时分发需求,确保企业放心迁移。目前,该产品体系已经对某中大型证券公司法人清算系统的8000多张表进行了快速适配,通过工具自动化实现两套系统多维度的数据准确性校验,保障双轨期间的稳定运行;还支撑某超大型保险公司养老核心系统4天就完成了17TB的全量数据迁移,确保所有数据准确一致,有效兼容了各类数据异常问题;还基于同城1AZ、异地1AZ容灾建设方案、掌数容灾备份一体化解决方案为某大型基金公司带来数据容灾备份一体化管理。“未来,掌数科技将与华为云GaussDB继续联创,建设GaussDB数据库配套的应用生态体系,打造更多易用、有价值的数据库生态软件和工具,并持续完善GaussDB技术支撑与服务体系,推进更多项目实施落地,打造国内数据库生态服务标杆。” 高星说。长亮科技携手华为云GaussDB,助力银行分布式核心业务系统转型升级“长亮科技非常注重与华为的合作,我们持续投入资源,坚持与华为多款产品进行对接、积极推广,并且在客户现场持续进行测试验证。”长亮科技数金总部研发副总裁张杰表示。长亮科技是全球领先的金融科技解决方案服务商,为金融机构提供全栈、全域的金融IT解决方案,服务了银行、证券、基金、泛金融等领域800+客户。从2019年开始,长亮科技就与华为在数据库方面开始合作,不断进行产品的测试认证,致力于为银行客户提供更全面的整体解决方案。如今,长亮科技与华为云GaussDB已经在实验室做了深度对接认证,认证以表类型定义规范化、业务代码层优化、数据定义规范化、数据源定制化、数据拆分聚合处理、语法遵循规范为要点,选取了有关键代表意义的金融场景、亿级别的账户数和客户数,过程中重点关注读写分离、数据库备份与恢复、数据迁移等关键场景来进行测试。除了应用层面的测试,长亮科技也和GaussDB进行实际金融场景功能、双活、容灾等方面整体的自主创新验证,测试聚焦现金存取、账户转账等业务量最大的典型场景,验证结果均符合预期。“长亮科技与华为云GaussDB的联合方案具备高可靠、高兼容、灵活性、易运维、高弹性、高扩展等多重优势,通过业务龙头+技术龙头的强强联合,金融+互联网的业技融合,树立了典型案例和标杆,让金融创新再上新高。” 张杰说。在发展的路上,华为云GaussDB一直非常重视客户真实业务场景的诉求,也十分重视和伙伴们的合作共创。未来,华为云GaussDB也将坚持初心,以客户需求为导向,不断研磨数据库根技术,赋能千行百业数字化转型,并联手更多合作伙伴,共创欣欣向荣的数据库产业生态!Ps:点击链接观看精彩回播cid:link_0
-
7月4日-5日,以“自主 创新 引领”为主题的2023可信数据库发展大会在北京隆重召开。大会邀请了百余位行业协会领导、数据库学术大咖、产业链各环节数据库负责人、资深技术专家亲临现场,共同论道我国数据库自立自强之路,探索新形势下我国数据库产业可持续、高质量发展的方法。华为云数据库服务产品部总经理苏光牛及三位华为云数据库技术专家受邀参会,并分享了华为云GaussDB数据库核心技术、华为集团MetaERP改造实践、汽车领域优秀解决方案及一站式迁移解决方案等内容,为企业数字化转型提供了参考路径。打造最可信的数据库,做企业数字化的坚实数据底座苏光牛表示,交易型数据库是所有系统的核心,决定了系统的可用性,是企业数字化转型的关键所在。华为云坚定不移地战略投入GaussDB,围绕客户全场景诉求持续创新,始终以安全可信、高质量为首要目标,打造最可信的数据库。华为云GaussDB通过自主创新,在性能、可用性、安全性、弹性伸缩、迁移等方面实现了质的飞跃。高性能:全新打造了Ustore存储引擎,从数据库内核架构实现自研创新,确保了数据库高性能,极低抖动。高可用:在满足金融大机业务的可靠性上,GaussDB和工行联创推出的国内首个双集群强一致方案,在工行信贷5A级核心系统中,真正实现核心业务的数据零丢失,RTO(故障倒换时间)10倍缩短。高安全:提供了业界首个纯软件形态的全密态数据库,并且是国内唯一一个通过CC EAL4+的认证的数据库,标志着其设计和源代码达到了国际最高安全水平。高弹性:采用原生分布式架构,支持云化弹性伸缩、秒级扩容,业务扩展时不断服;最大支持256分片,数据量高达PB级,扩容周期从天缩短至小时级。易迁移:提供一站式迁移工具链,通过自动语法转换工具UGO、数据迁移工具DRS、流量回放建模工具等,让传统数据库搬迁GaussDB更可靠、更低成本、更优体验,相比传统作业模式,应用改造成本降低90%以上。助力千行百业数字化转型,给世界一个更优选择华为云GaussDB研发总监张东表示,企业在数字化转型过程中,通常会面临数据丢失和错乱、流量洪峰考验、数据库实例管理压力过大、数据库性能不稳定等问题,亟需一款高效、稳定、安全的数据库来支撑。在今年6月的华为全球智慧金融峰会2023上,华为云发布了新一代分布式数据库GaussDB,集高可用、高安全、高性能、高扩展、高智能、易部署、易迁移等为一体,充分满足各行业对数据库的诉求,给世界提供一个更优选择。作为国内首家软硬协同、全栈自主的分布式数据库,华为云GaussDB已经完成了华为公司内部MetaERP系统和华为终端云等核心系统的替代。在支撑华为集团MetaERP搬迁改造中,华为云GaussDB积累了大量的经验。围绕MetaERP搬迁中面临的四大挑战:机密数据上云如何保障数据安全可用;多种应用如何确保数据和业务的连续性;数据库切换工作量大,代码和数据如何迁移;业务高峰期如何保障数据库系统的稳定性。华为云GaussDB数据库通过纯软全密态的能力,让MetaERP既可以复用云的便利,又能实现数据存储、流转的保密性和安全性,确保数据安全可靠。切换路径由业务驱动,通过领域数据对象识别和设计、服务化拆分、应用数据库改造搬迁三步,轻松实现EBS应用和数据库切换,保障业务连续性。基于GaussDB分布式部署模式,可以在线扩容和自动转换迁移,分布式数据库相比传统的大单体数据库,能够避免单点问题导致的大面积故障,系统的整体可用性大幅度提升。配套迁移评估、对象迁移、代码迁移、数据迁移工具,实现数据在线迁移,业务零中断。GaussDB内核抗过载技术,实现5倍性能不下降,10倍系统不崩溃。如今,华为MetaERP 9大核心模块(库存服务、采购履行中心、库存分析、存货成本中心、销售订单等)全面上线,稳定运行无问题,端到端业务效率10倍提升。全球化布局,华为云时序数据库助力车企出海华为云GaussDB(for Influx)数据库研发负责人曹小坤表示,随着企业业务的迅猛发展,时序数据的体量开始以前所未有的方式呈指数级增长,时序数据处理难度加大,迫切需要一款大容量、分布式高扩展、高并发性能的时序数据库。华为云GaussDB(for Influx)采用业界领先的计算存储分离架构,适用于海量数据场景下对系统有极致高可用、高扩展要求的业务。由于计算扩容时无需搬迁数据,可以实现分钟级扩展,大规模并行处理架构,扩展更灵活;支持多主节点,提升资源利用率;同时最大可容忍N-1节点异常,全面保障数据库稳定运行;支持不同存储介质,数据可分级存储,也可以按照冷热进行分离存储,大幅度降低数据存储成本,如冷数据存储于OBS中,综合存储成本降低约80%;通过按集群节点并发、向量化查询模型、增量聚合引擎等技术,大幅提升读写性能。时序数据库在车联网、物联网、工业互联网等领域应用广泛,以车联网为例,车联网中的时序数据指标数量大,采集频率高,对时序数据库的容量、读写性能、查询性能提出了巨大挑战。对此,华为云提供汽车行业数据库解决方案,只需维护一套 GaussDB(for Influx) ,满足实时和历史车况查询能力;相比传统大数据方案,吞吐量可提升10倍以上,满足车联网大规模数据快速写入场景,计算资源节省70%,存储资源节省10倍;单车时间范围查询秒级返回,单车最新值查询毫秒级返回,查询性能满足业务实时要求;同时一套系统减少了组件依赖,业务更见简洁,数据一致性更有保障。华为云已在全球布局,打造全球一张网的汽车领域解决方案,GaussDB(for Influx)也将助力车企出海,支撑全球车企海量数据高效处理。一站式迁移解决方案,让企业上云、用云无忧华为云计算技术有限公司架构师徐华华表示,为了解决传统数据库在扩展性、性能等方面的挑战,金融行业正在全面进行分布式核心应用改造。在实际改造过程中,金融领域面临语法兼容性、数据一致性、对象迁移、全量+增量迁移、上层应用改造等挑战。为了让客户上云更轻松,华为云数据库全力打造了“GaussDB+UGO+DRS”一站式迁移解决方案,为客户数据库迁移提供了高效、低成本的上云方案。GaussDB聚焦金融政企,架构上着重构筑传统数据库的企业级能力和互联网分布式数据库的高扩展和高可用能力,全方位满足金融客户的业务诉求。UGO负责对源库进行风险和工作量评估,自动转换异构数据库语法,可节省80%的工作量;DRS负责进行源库增量日志解析,全量+增量实时迁移和同步,业务低峰期对数据进行一致性比对,确保数据零丢失,模拟业务流量进行仿真验证,全方位保障客户应用和数据迁移。华为云数据库提供的一站式上云迁移解决方案,既大幅度提升了迁移速度,又对业务无感,还节省了大量迁移成本,将数据库迁移由不确定的担忧变为可执行的计划,是企业核心业务上云的信赖之选。数据库产业欣欣向荣,正在进入高质量发展期,华为云数据库将秉持初心,深耕数据库根技术,深入千行百业,与更多元复杂化的业务场景需求相结合,持续打磨产品和服务能力,为世界提供一个更优选择。
-
迁移是数据库选型过程中客户最为关心的话题之一,经过大量的沟通调研,我们总结客户在数据库迁移方面的主要期望:迁移不影响业务运行(安心)、迁移不能丢数据(放心)、迁移实施起来简单(省心)。本文从客户视角的三个疑问出发,一起了解华为云GaussDB数据库的迁移解决方案具有哪些核心技术,如何做到让客户迁移过程安心、放心、省心。问题1:能不能搬?每种数据库都有自己的一些特定的“脾气”,比如Oracle的语言直接在GaussDB上运行不一定能工作,这个就是所谓的“语言不通”,这种场景称之为“异构数据库的迁移”,“语言不通”是长期以来异构数据库迁移替换的最大技术障碍。下面我们从技术和效果两方面来看。技术方面,华为是怎么解决的?华为的迁移套件中有一款叫UGO的工具,它像“翻译大师一样”,把这个难题分成两部分来看:第一部分 读懂Oracle语言:Oracle的语法对应一个个巨大的树形结构,并由一些关键元素构成,比如一条Oracle建表语句,表名是什么,有几列,每列的名字是什么等等。UGO具有专属的语法分析器,能够顺着语法树和枚举探测出每条Oracle的语句元素构成,这样最终理解了语义,读懂了Oracle语言。第二部分 根据知识库“翻译”成GaussDB的写法:根据刚才的描述,这个技术很像是做“翻译”工作,生活经验告诉我们,翻译的水平高低取决于接触的训练场景和词汇样本是否足够大,华为UGO依靠流程IT和工商银行这两个世界上最复杂的Oracle业务环境训练,截止到现在,已经向UGO注入了几千万行级的代码训练量,这个是业界公布的最高纪录,同类产品没有这方面的相关介绍。那效果究竟如何? “翻译大师”UGO依托华为独有的训练场景,接入Oracle后,通常几分钟可以生成一份详细的评估报告,让迁移至GaussDB的可行性一目了然。在工行迁移攻坚战的最高挑战场景,千万级的存储过程迁移中,经过UGO的处理,Oracle 95%代码转化后可以在GaussDB直接运行,去O已经非常接近自动化。问题2:怎么迁移让业务无感知?数据库一个非常繁忙的软件,每一秒过去可能成千上万的数据发生了变化,如何在数据高度变化的动态过程中将数据库迁走,比较容易想到的做法是将业务停机来确保数据迁移不丢失,但这对于一个核心业务来说是无法接受的,这样就提出了一个技术问题,有没有一种办法可以在业务运行过程中将数据库迁移到GaussDB,也就是业界常说的热迁移,或者说在线迁移。技术方面,华为的迁移套件中有一款叫DRS的工具,它像“数据的复制机”一样,能够做到Oracle运行过程中迁移到GaussDB。DRS工具从技术上将这个问题分为了三部分:第一部分 存量数据搬迁,DRS采用行级并行方式抽取数据,抽取性能最大可达100+MB/s,同时客户可以在源端资源允许情况下设置迁移速度,做到按照想要的速度迁移,想快就快,想慢就慢;第二部分 增量数据搬迁,数据库有一个组件叫日志,它用快速而有序的方式记录了数据库中每一个数据的变化,是数据库停电不丢数据的关键技术,DRS采用技术手段可以将日志记录的事情重演一遍,这个过程就好像将Oracle数据变化录制下来,将同样的操作再在GaussDB上操作一遍,这个技术业界一般称为CDC技术(change data capture),不仅如此,DRS还采用了技术手段将一条条数据的操作优化为并行运行,让两边数据既能确保不丢失,又能大大提升同步速度,通常Oracle数据库新产生的数据在1s内就可以在GaussDB看到,即使是一个非常庞大繁忙的Oracle系统(比如一天日志量达到TB级别)也能做到秒级同步。第三部分 动态数据对比,DRS内置了一套专利算法,每隔x分钟(可配置)识别增量日志中变化的数据行,并根据数据行的主键值,查询和对比源库和目标库的数据,从而阶段性验证Oracle和GaussDB的数据一致性,如此循环操作,持续刷新一致性比对结果,得到最终一致性结论。而不用停止Oracle数据库的业务接入,进行长时间的数据校对。效果如何?“数据的复制机”DRS通过CDC技术实现在线迁移,做到Oracle在运行过程中将数据迁移至GaussDB,数据可对比零丢失,业务可自由选择割接时间,并且搬迁过程中业务无感。总结下来就是,业务无感->安心,数据不丢失->放心,自动化数据同步->省心;问题3:怎么确保迁移后业务稳定运行?上面解答了能不能迁移,怎么迁移的问题,那么迁移至GaussDB后能否平稳度过业务峰值的考验,技术上有了上面UGO和DRS的基础,我们能够在Oracle数据库上自动采集数据了。业务上的一个个请求是从应用程序发送至Oracle数据库的,里面有查询请求,也有数据修改请求,这些请求的总和就是业务流量了,业务高峰期采集到业务流量后通过UGO进行语法转化,结合通过DRS构建的真实生产环境数据,这样可以形成了基于GaussDB数据库的业务仿真压测环境。通过仿真压测,客户可以直接预测GaussDB能否稳定度过业务洪峰,并提前识别是否需要做规格的调整,对于业务本身,也支持细粒度切换的迁移,DRS可以让数据进行双向传输,可并线逐步切流,观察GaussDB的业务承载能力,具备随时可回退能力。最后,再总结一下华为GaussDB的全套迁移方案, “翻译大师”UGO解决语言不通语法转化的问题,“数据的复制机”DRS解决业务不停机数据迁移的问题,同时DRS工具还提供仿真压测、数据一致性对比等配套能力。通过这些能力华为在金融各大行项目中已经大量落地,同时华为云数据库迁移解决方案是信通院数据库迁移评测中首个获得最高级迁移能力的厂商,华为云GaussDB数据库致力于通过技术,给客户提供一套安心、放心、省心的迁移解决方案。作者:华为云数据库 胡彦军
-
数据库所在的域名,找不到啊啊
-
在创建存储过程时,以下写法报错:mismatched parentheses at or mear ")"; 数据库是分布式数据库,麻烦哪位大神帮帮孩子 CREATE OR REPLACE PROCEDURE test_varray AS TYPE varray_type IS VARRAY(20) OF INT; v_varray varray_type; BEGIN v_varray := varray_type(1, 2, 3); v_varray.trim(3); DBMS_OUTPUT.PUT_LINE('v_varray.count=' || v_varray.count); END;
-
【问题来源】HK银行【问题摘要】AICC平台业务数据库入网,客户需要提供各个业务数据库作用说明,请华为侧提供下sumapp数据库说明和cmsapp数据库说明资料另外cmsapp数据库中的16个函数/存储过程也要提供说明及每天数据日结的时间说明 (客户这边会常在凌晨时间做容灾演练对服务器关机,因此需要提供数据库自动跑批的任务和时间点)【问题类别】AICC 22.200 组网业务数据库咨询【AICC解决方案版本】AICC 22.200【期望解决时间】今天
-
7月4日-5日,由中国信息通信研究院、中国通信标准化协会指导,中国通信标准化协会大数据技术标准推进委员会、InfoQ极客传媒联合主办的“2023可信数据库发展大会”在北京隆重召开。大会以“自主 创新 引领”为主题,邀请了近百位行业协会领导、数据库学术大咖、产业链各环节数据库负责人、资深技术专家,共同论道我国数据库自立自强之路。在4日上午的主论坛,华为云数据库服务产品部总经理苏光牛围绕华为云GaussDB的产品能力和实践进行了分享。如今各行各业都在加速数字化转型,其中,金融一直处于数字化转型的第一梯队,持续引领着产业数字化的进程。而金融行业数字化转型最大的挑战来自于业务核心系统的升级。作为软件产业的关键根技术之一,数据库是否安全可靠、是否具有良好的性能,直接关系到企业业务的安全高效运转。可以看到,金融行业里有60%的投资都用于交易型数据库的建设,交易型数据库决定了系统的可用性。交易型分布式数据库是所有系统的核心。 围绕客户全场景诉求,坚定不移地战略投入GaussDB苏光牛表示,华为早在2001年就开始研发数据库,广泛应用于华为通信各个领域,并且经过了通信领域的高可靠性验证。2011年华为公司成立了2012实验室,为了致敬伟大的科学家高斯,将数据库预研部门命名为高斯部,目标是按照华为在通信领域的产品严格要求,和少量对数据库有严苛要求的金融客户结对,以客户需求作为牵引,全面研发数据库最前沿的创新技术。2019年,我们承担起了新的任务,即如何用自己研发的GaussDB来替代华为内部原来的传统商业数据库。另一个诉求,是随着业务的快速拓展,华为终端业务在全球的用户数量最高峰高达9亿用户,GaussDB该如何承载这些数据。现在,华为已经完成了ERP系统的全面替换,上线了600多套GaussDB数据库,经历了十倍流量的突发流量考验,业务效率得到了10倍的提升,实现了零故障、零时延和零调账。华为终端云也使用GaussDB实现了6PB数据的全面替代和上线,分布式节点有6千个节点的规模,资源利用率提升了30%。此外,运营商设备累计发货也有30多万套。现在,GaussDB除了要承担起华为自己的业务连续性问题和技术创新的使命,还要承担起其它行业对数据库全面创新的诉求。GaussDB未来的发展战略,除了要深耕金融场景,一次性解决金融客户数字化转型和可持续发展的双重诉求;更要从金融行业走向政务、能源、交通等其他对数据库有高要求的行业,从中国的创新场景走向全球的客户,给世界一个更优选择。“所以,在这里我宣布,华为新一代的分布式数据库面向所有行业,所有对数据库创新有更高要求、更深刻要求的行业,全面开放,正式发布!”苏光牛说。打造最可信的数据库,构建“五高两易”核心技术竞争力GaussDB的首要目标,是坚持安全可信、高质量。所以,GaussDB基于华为软件工程全栈可信框架,建立起了包括开发GaussDB软件整个工具链在内的设计、开发、测试、管理工具端到端的可信链,实现了从来源可信到过程可信,再到结果可信,还建立了20万测试用例和10多个典型客户场景化的防护网,真正消减了金融场景化的问题,实现真正的高质量。“GaussDB有高可用、高安全、高性能、高弹性、高智能的技术优势,又有易部署、易迁移的特性。”苏光牛说。在性能上,GaussDB基于Ustore存储引擎,在业务长时间频繁更新状态下依然保持高性能,并且不发生抖动,在招商银行的现场实际业务测试中,GaussDB在性能遥遥领先的前提下,相比国内其他厂商抖动率减少85.6%,同时存储空间的利用率提升了17%。在可用性上,GaussDB与工商银行联创推出了国内首个基于存算分离的双集群强一致方案,实现了集群级故障完全隔离RPO=0,双AZ双活。在安全上,GaussDB的全密态技术让数据全程都以密文形式存储和计算,是国内唯一通过国际CC EAL4+认证的数据库。在华为内部MetaERP系统中,GaussDB对ERP系统中的成本核算等绝密数据进行了加密保护,从而保障了数据的安全,且SQL改造工作量为0。在扩展性上,GaussDB支持大规模的分布式集群,计算与存储自由水平扩展,支持256+分片,数据量可达PB级,解决了数据库扩容难题。华为终端云云空间业务使用GaussDB分布式集群方案,最大集群有70+分片,扩容周期由天级提升到小时级,完成了维护成本高的挑战。在迁移上,GaussDB有一站式的迁移解决方案,UGO帮助客户评估出相对精确的工作量,做好迁移计划;DRS让数据迁移在线,0中断,校验对比的功能让数据0流失;流量回放,可以抓取真实的生产流量,解决了普通POC等常规测试无法准确反馈业务性能的问题,让整个迁移从不确定的担忧变成确定性的计划。在华为MetaERP业务切换当天,GaussDB用35小时完成了3200亿行异构数据的迁移,并且做到了零丢失、零重复、零出错。三大评测证书收入囊中,获广泛认可大会上,还对通过中国信通院2023年上半年“可信数据库”评测的数据库产品,现场颁发了测评证书。其中,华为云GaussDB同时通过了分布式事务型数据库稳定性测试、分布式事务型数据库性能测试、全密态数据库基础能力测试等三项测试,得到行业的广泛认可。分布式事务型数据库稳定性测试测试通过模拟金融业务负载的真实场景,设置了对CPU、存储、网络注入故障,以及模拟单节点故障、恢复性验证等11项测试项目,来验证数据库在故障情况下的稳定运行能力和故障快速恢复能力。测试结果显示,华为云GaussDB数据库在CPU高负载、硬盘高负载、内存高负载、读写高负载、网络抖动、网络丢包、网络包损坏等故障扰动情况下,在功能连续性和性能方面均表现优异,在故障扰动移除后,能快速自动恢复,满足了评测的各项要求,充分验证了GaussDB在故障类严苛场景下的稳定性能力。 分布式事务型数据库性能测试在该测试中,华为云GaussDB在金融场景下核心业务的分布式事务性能、ACID能力、高可用能力等方面,均满足测试要求,通过了全部的12项检测项目。本次评测充分证明了GaussDB数据库具有非常突出的性能表现,满足企业对数据库的高性能需求,得到了行业的高度认可。全密态数据库基础能力测试在该测试中,华为云GaussDB数据库100%通过了《大数据 全密态数据库技术要求》测评标准中所有的四个能力域共计三十个能力项,涵盖全周期数据密态、密态数据处理、加密算法与密钥管理、以及数据库基本能力。这说明GaussDB通过自主创新,突破了数据库密态计算领域挑战,可以为用户数据提供全生命周期的安全能力。 近年来,我国数据库产业进入高质量发展期,对企业来说,如何高效地选择一款合适、放心的数据库产品,是一项重要的课题。华为云GaussDB围绕客户场景诉求持续创新,打造了全场景、全开放的数据库服务,未来将一如既往坚持投入、做好数据库,为千行百业科技创新提供坚实数据底座。
-
更新表全列数据后表占用空间翻倍;多次insert单条数据后用pg_table_size函数查看表占用空间大小没有变化,这是为什么?怎么避免数据膨胀?
-
如若在客户现场进行POC,当数据库部署完成后,应该相应规划调整哪些参数,更好的给客户呈现数据库的最佳性能?有没有案例,或相关的介绍?请给出一个参数调整配置的文档,谢谢。
-
6月29日,华为云GaussDB圈层活动在中国·香港如期举办,活动聚集了22家香港金融政企客户和合作伙伴。华为香港云业务部总经理张泽和华为云数据库服务产品部专家在现场与嘉宾一起探讨香港金融政企的数字化发展与创新。强强联合,加速政企数字化转型华为香港云业务部总经理张泽发表了欢迎致辞,并表示,数字化是当今世界经济发展的重要驱动力,香港作为国际金融、贸易中心,也必须抓住数字化转型的机遇,加速提升政企的业务效率和竞争力,特区政府高度重视推动香港数字化经济的发展,已在多个方面投入资源和推出措施,香港也正在与内地加强合作,期望共同推动粤港澳大湾区的数字经济和智慧城市发展。华为香港云业务部总经理张泽发表欢迎致辞数字化发展,数据是最重要的资产,而数据库是数据的核心控制点。数据库不仅关系到政企的业务创新和服务质量,也关系着信息安全。因此,选择一款可靠、安全的数据库产品,是政企数字化转型和智能升级的关键。华为云数据库产品管理总监曾庆聪、华为云数据库高级解决方案架构师高健和江文韬分享了数据库的发展趋势和华为云GaussDB数据库的创新技术和最新实践,并和在场嘉宾们进行了热烈的讨论。华为云数据库高级解决方案架构师高健分享现场过去的三十多年,大多企业已经构建起以集中式架构为代表的技术体系。然而随着数字化转型的深入,企业开始面临相对于过去数十倍甚至百倍的数据量,还有随时可能发生的供应链断供、信息安全等风险。因此,企业纷纷开始通过各种新兴技术来重构IT系统,数据库也开始由集中式走向分布式。分布式数据库正引领着数据库发展的主要趋势。华为在数据库领域持续投入超过20年,打造了GaussDB企业级分布式数据库,以极致可用、极致性能、极致安全、极致易用的数据服务,支撑国家关键信息基础设施行业的核心系统升级,并且已经在金融、政企、能源、制造等行业得到广泛应用。GaussDB聚焦金融政企,自主创新打造核心竞争力GaussDB以应用为核心,基于全栈视角不断提升竞争力,新版本对关键能力进行了全面升级,打造了高可用、高安全、高性能、高弹性、高智能、易部署、易迁移“五高两易”的全面能力。GaussDB推出了国内首个双集群强一致方案,实现了集群级故障完全隔离RPO=0,双AZ双活;基于Ustore存储引擎,在业务长时间频繁更新状态下依然保持高性能,并且不发生抖动;作为国内首个AI-Native数据库,GaussDB还提供从应用开发到运维阶段全流程的智能化体验。新版本还具备轻量化的部署能力,将管理面资源降低80%,通过多层级多租户及无感数据压缩,让存储成本下降50%,整体资源利用率提升4倍以上。针对改造过程中面临的语法兼容性、数据一致性、上层应用改造等问题,华为云数据库提供“GaussDB+UGO+DRS”一站式迁移上云解决方案,不仅大幅提升了迁移速度,应用改造成本可降低90%以上,同时对业务无感,让客户更好地迁移上云。其中,UGO负责对源库进行风险和工作量评估,自动转换异构数据库语法,目前已经做到了95%的自动化;DRS负责全量和增量数据的实时在线迁移和同步,通过数据一致性比对确保数据零丢失,模拟业务流量进行仿真验证,让客户迁移更放心。交流现场 历经真实场景的严苛打磨,共创政企上云新价值华为云GaussDB的技术能力已经历经千行百业真实场景的考验,在工商银行、建设银行、邮政储蓄银行、农业银行等国有大行、多家股份制银行和保险证券公司中都积累了非常成功的实践经验,也服务了国家管网、陕西省财政厅、国网陕西电力等关键企业。在华为公司内部MetaERP自主创新的世界级攻坚任务中,GaussDB支撑轻松支撑起ERP系统5倍业务压力性能保持线性,10倍压力下系统不崩溃,新的ERP系统端到端业务效率得到了10倍提升。工商银行依托华为云GaussDB进行核心交易系统分布式转型,卓越的性能和同城双集群RPO=0技术支撑起全球信贷系统7*24小时服务连续性要求,还构建起整套自动化工具链,实现大规模数据的双向实时同步和异构数据库自动迁移,节省了90%的人工工作量。数据库产业的发展还需要一个良好的生态。华为云GaussDB一直在扩大伙伴生态圈,与伙伴建立合作关系,为客户提供运维、迁移、咨询等服务,以及有竞争力的创新解决方案,未来,也希望能和更多的香港金融政企客户和伙伴加强合作,将华为云GaussDB继续深入到更多业务场景中,加速推进香港地区数字化转型和社会经济高质量发展。
-
各项参数均已开启,但是执行元组删除后,闪回特性查询不到数据。当前数据库版本信息烦请安排技术人员协助一下
上滑加载中
推荐直播
-
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家;李炎-华为云码道产品专家;彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战,从0到1打通消息通道;码道鸿蒙端云一体化实战,快速搭建员工签到系统。
回顾中 -
华为云开发者AI素养直播课·第五期2026/09/04 周五 16:00-18:00
林华鼎-华为云AI开发者运营负责人;蒋春阳-华为云AI开发者案例开发专家
本期直播内容: AI工具体验营 · 第5-8课连讲。Agent-Team 多智能体协作完成毕业设计实践
回顾中 -
华为云开发者AI素养ClassRoom·第六期2026/09/08 周二 19:00-20:00
樊渊-2026华为软件挑战赛冠军
高手来了:看软挑高手解析二维排样问题—从工业难题到算法突破
回顾中
热门标签