-
新基建大潮下,政企智能升级加速进行,数据成为政企智能升级的重要生产要素。相应地,数据服务作为新基建的核心之一,也处在升级进化的加速周期之中。8月12日,华为云TechWave数据库专题日活动中,华为云数据库业务总裁苏光牛、华东师范大学副校长周傲英教授及多位数据库专家畅谈华为云数据库创新升级、融合开放,为政企助力的经验和案例。此次,华为云GaussDB以统一的架构,支持关系型与非关系型的数据库引擎。华为云GaussDB 全新出发云、AI、5G等技术驱动,数据库行业迎来新的需求。依托华为云与华为云Stack,通过全栈软硬件优化,华为云GaussDB以统一的架构,支持关系型与非关系型的数据库引擎,为客户提供了高效稳定的使用体验,并衍生出了包括关系型和非关系型数据库、数据库工具类服务等众多数据库产品。在关系型的数据库领域,华为云GaussDB(openGauss)基于openGauss生态持续发展。而GaussDB(for MySQL)则100%兼容MySQL等开放生态,便于应用迁移和开发,保护客户投资。针对非关系型数据库领域,华为云推出GaussDB NoSQL多模融合技术,支持MongoDB、Cassandra、Redis、InfluxDB等主流NoSQL协议接口,具备多模数据管理能力。华为云数据库业务总裁苏光牛华为云数据库业务总裁苏光牛表示:“客户可以通过华为云数据库在线迁移数据,任意选择业务的切换时间点,让上云、多云更加容易。华为将通过持续的技术创新和生态开放的理念,让华为云GaussDB成为企业智能升级的数据库首选。”服务500+政企客户,助力千行百业目前,华为云数据库产品已经服务了超过500家大型政企客户,遍布金融、政府、电信、能源、交通、物流、电商等行业。针对政企客户大规模、高并发的应用场景,华为云GaussDB(for MySQL)产品定义围绕高可用、高可靠、高性能、高扩展和便于运维五大方向展开。华为云数据库产品总监张昆以华为消费者云业务为例:“GaussDB(for MySQL)支撑华为手机全国超过上亿客户同时访问的业务,凭借超强的技术沉淀和对业务的特别对应功能,保障世界级迁移云任务的安全与可靠。”由此可见,GaussDB(forMySQL)足以满足各种严酷的企业级场景。非关系型数据库GaussDB NoSQL基于GaussDB的计算存储分离的架构创新,对于性能、成本、HA、扩容性、备份恢复等多种指标都有质的飞越。在制造业上云的过程中,需要满足大规模高频词的数据录入和调取。以汽车制造商江淮为例,面对每秒百万级别的高并发真实车联网业务场景,在成本不变的基础上,GaussDB NoSQL可以实现三倍以上的性能提升,助推制造业云化转型。而在互联网行业中,日常巨量访问成为刚需。国家测绘地理信息局建设的地理信息综合服务网站“天地图”为多种主流地图App和政企地图提供实时地图信息,使用了华为云基于新架构的GaussDB NoSQL产品成功上云后,备份性能20+倍提升,数据恢复7+倍提升,为每天查询地图、导航保驾护航。同样,对于游戏、互联网服务、电商、运营商等数据库服务典型行业,华为云GaussDB也能够根据具体场景,给出符合实际需求的产品组合,提供安全的云上业务转型体验。数据库管理服务定制优化针对政府和企业在数据库产品应用中的需求,华为云数据库管理服务DAS有针对性地开发了标准版、云DBA、企业版三款产品。华为云数据库管理服务DAS首席架构师郭寿敏介绍,标准版是面向开发人员设计的数据库管理服务产品,具有操作界面可视化、功能特性丰富的特点,能满足每一个开发者的数据库使用需求。而云DBA工具是专属的数据库运维平台,能够快速发现问题,并自动给出诊断及优化建议,帮助用户快速根除隐患。企业版数据库DevOps平台专注企业的数据信息安全保护,提升与DBA的协作效率,节约大规模数据库的管理成本,适合企业级用户使用。总的来说,标准版具有快速、高效、简单、易上手的特点。而企业版在此基础上拥有更强大的安全性和稳定性,有很强的抗风险能力。正如郭寿敏所说,华为云数据管理服务DAS的升级和推出,开启了云上便捷数据库管理新篇章。此外,华为在会上还介绍了GaussDB数据库的认证体系。华为认证架构师陈睿提到,发展鲲鹏计算产业,当前存在着缺少赋能和职业成长体系,开发人才稀缺的困境。GaussDB推出的面向数据库工程师的HCIA-GaussDB认证,以及面向关系型数据库的OLTP方向和OLAP方向认证,旨在帮助孵化生态开发者。华为云GaussDB数据库的全新升级是数据库行业自身快速发展的又一个里程碑。在整个科技领域快速向前的加速周期中,华为云GaussDB再次指引了数据库行业的发展方向。在新基建大潮中,华为云乘风破浪,以全新的GaussDB数据库赋能千行百业智能升级。
-
关于并行导入GDS是GaussDB(DWS)内部自研的数据导入工具,大数据量导入时,DWS支持使用GDS工具通过外表并行导入数据到集群。并行导入功能通过外表设置的导入策略、导入数据格式等信息来识别数据源文件,利用多DN并行的方式,将数据从数据源文件导入到数据库中,从而提高整体导入性能。数据量大,数据存储在多个服务器上时,在每个数据服务器上安装配置、启动GDS后,各服务器上的数据可以并行入库。GDS导入流程图准备工作在使用GDS导入数据前,请先完成准备弹性云服务器作为GDS服务器、下载GDS工具包和SSL证书。使用GDS导入数据数据存储在多个服务器上时,需要在每个数据服务器上安装配置、启动GDS后,各服务器上的数据可以并行入库。GDS在各台数据服务器上的安装配置和启动方法相同,这里以一台服务器为例进行说明。步骤1:准备源数据 1.以root用户登录用于存放数据源文件的服务器(又称数据服务器或GDS服务器),创建数据文件存放目录“/input_data”。以IP为192.168.0.90的数据服务器为例。 mkdir -p /input_data 2.使用MobaXterm将数据源文件上传至“/input_data”中。步骤2:安装配置和启动GDS以root用户登录数据服务器192.168.0.90,创建存放GDS工具包的目录/opt/bin/dws。mkdir -p /opt/bin/dws将GDS工具包上传至上一步所创建的目录中。以上传SUSE Linux版本的工具包为例 ,将GDS工具包“dws_client_redhat_x64.tar.gz”上传至“/opt/bin/dws”中。在工具包所在目录下,解压工具包。cd /opt/bin/dws/gdstar -zxvf dws_client_redhat_x64.tar.gz(可选)如果使用SSL加密传输数据,请一并将SSL证书上传/opt/bin/dws目录中。创建用户gds_user及其所属的用户组gdsgrp。此用户用于启动GDS,且需要拥有读取数据源文件目录的权限。groupadd gdsgrp useradd -g gdsgrp gds_user修改工具包以及数据源文件目录属主为创建的用户gds_user及其所属的用户组gdsgrp。CHOWN -R gds_user:gdsgrp /opt/bin/CHOWN -R gds_user:gdsgrp /input_data切换到用户gds_user。su - gds_user启动GDS。非SSL模式传输数据的情况下,使用如下命令启动GDS。/opt/bin/dws/gds/gds -d /input_data/ -p 192.168.0.90:5000 -H 10.10.0.1/24 -l /opt/bin/dws/gds/gds_log.txt -D使用SSL加密方式传输数据时,在确保执行了步骤5后,使用如下命令启动GDS。/opt/bin/dws/gds/gds -d /input_data/ -p 192.168.0.90:5000 -H 10.10.0.1/24 -l /opt/bin/dws/gds/gds_log.txt -D --enable-ssl --ssl-dir /opt/bin/dws/gds命令中的斜体部分请根据实际填写。-d dir:保存有待导入数据的数据文件所在目录。本示例中为“/input_data/”。-p ip:port:GDS listen IP和listen端口。默认值为:127.0.0.1,需要替换为能跟DWS通信的万兆网IP。listen端口的取值范围:1024~65535。默认值为:8098。本示例中配置为:192.168.0.90:5000。-H address_string:允许哪些主机连接和使用GDS服务。参数需为CIDR格式。此参数配置的目的是允许DWS集群可以访问GDS服务进行数据导入。所以请保证所配置的网段包含DWS集群各主机。-l log_file:存放GDS的日志文件路径及文件名。本示例中为“/opt/bin/dws/gds/gds_log.txt”。-D:后台运行GDS。仅支持Linux操作系统下使用。--enable-ssl:启用SSL加密方式传输数据。--ssl-dir:SSL证书所在目录。需与步骤6中的证书保存目录保持一致。步骤3:创建GDS外表创建外表product_info_ext用于接收数据服务器上的数据,使用SQL客户端工具连接DWS数据库。DROP FOREIGN TABLE IF EXISTS product_info_ext; CREATE FOREIGN TABLE product_info_ext ( product_price integer not null, product_id char(30) not null, product_time date , product_level char(10) , product_name varchar(200) , product_type1 varchar(20) , product_type2 char(10) , product_monthly_sales_cnt integer , product_comment_time date , product_comment_num integer , product_comment_content varchar(200) ) SERVER gsmpp_server OPTIONS( LOCATION 'gsfs://192.168.0.90:5000/*', FORMAT 'CSV' , DELIMITER ',', ENCODING 'utf8', HEADER 'false', FILL_MISSING_FIELDS 'true', IGNORE_EXTRA_DATA 'true' ) READ ONLY LOG INTO product_info_err PER NODE REJECT LIMIT 'unlimited';设置数据格式信息是根据导出时设置的详细数据格式参数信息指定的,参数设置如下所示:数据源文件格式(format)为CSV。字段分隔符(delimiter)为英文逗号。编码格式(encoding)为UTF-8。数据文件是否包含标题行(header)为默认值false,即导入时数据文件第一行被识别为数据。设置导入容错性如下所示:FILL_MISSING_FIELDS 'true',表示最后一个字段缺失时,把最后一个字段的值设置为NULL,不报错。IGNORE_EXTRA_DATA 'true',数据源文件中字段比外表定义列数多,则忽略行尾多出来的列,不报错。将数据导入过程中出现的数据格式错误信息(LOG INTO error_table_name)写入表err_tpcds_reasons。允许出现的数据格式错误个数(PER NODE REJECT LIMIT 'value')为unlimited,即接受导入过程中所有数据格式错误。步骤4:将数据导入到DWS1.在DWS中创建目标表product_info,用于存储导入的数据。DROP TABLE IF EXISTS product_info; CREATE TABLE product_info ( product_price integer not null, product_id char(30) not null, product_time date , product_level char(10) , product_name varchar(200) , product_type1 varchar(20) , product_type2 char(10) , product_monthly_sales_cnt integer , product_comment_time date , product_comment_num integer , product_comment_content varchar(200) ) WITH ( orientation = column, compression=middle ) DISTRIBUTE BY hash (product_id);2.将数据源文件中的数据通过外表“product_info_ext”导入到表“product_info”中。 INSERT INTO product_info SELECT * FROM product_info_ext;步骤5:处理错误表 1.查询错误信息。 SELECT * FROM product_info_err; 2.处理错误表中的错误信息。步骤6:优化查询效率在数据导入完成后,执行ANALYZE语句生成表统计信息。执行计划生成器会使用这些统计数据,以生成最有效的查询执行计划。如果导入过程中,进行了大量的更新或删除行时,应运行VACUUM FULL命令,然后运行ANALYZE命令。1.对表product_info执行VACUUM FULL。 VACUUM FULL product_info; VACUUM2.更新表product_info的统计信息。 ANALYZE product_info; ANALYZE步骤7:停止GDS 1.以gds_user用户登录安装GDS的数据服务器。 2.停止GDS。 查询GDS进程号。其中GDS进程号为128954。 ps -ef|grep gds gds_user 128954 1 0 15:03 ? 00:00:00 gds -d /input_data/ -p 192.168.0.90:5000 -l /opt/bin/dws/gds/gds_log.txt -D gds_user 129003 118723 0 15:04 pts/0 00:00:00 grep gds 使用“kill”命令,停止GDS。其中128954为上一步骤中查询出的GDS进程号。 kill -9 128954这就是GDS导入的全部过程了,了解更多数据仓库服务内容,请点击此处!下一期云小课,带您玩转OBS导入GaussDB(DWS),敬请期待!
-
云计算、大数据、人工智能、物联网、5G、边缘计算等多种技术的发展和融合不断颠覆企业中各类业务原有的运营管理模式,企业管理人员对实时数据的访问需求也愈发强烈,软硬件技术的高速迭代也带来了数据的爆炸式增长。《华为全球产业展望GIV2025》预测,到2025年,全球年存储数据量将高达180ZB。面对逐渐庞大的数据,传统的关系型数据库和数据仓库已经无法满足数据的组织、存储、分析需求。 《Gartner 2020数据和分析技术十大趋势预测》中提出:“云化已经成为定局。到2022年,公有云服务将对90%的数据和分析创新起到至关重要的作用。”华为作为业界领先的科技公司,依托自身成熟先进的云计算和数据库技术,为解决传统数仓扩容难、升级复杂、成本高等尖锐问题,历经10年技术沉淀,打造出华为云的尖刀产品GaussDB (DWS)。GaussDB(DWS)连续三年在Gartner魔力象限国内厂商排列第一,荣获2020中国信息通信大数据解决方案奖,在业界第一个通过了512节点大规模集群认证,还被宇宙第一大行用来承载核心数仓业务。同时作为鲲鹏产业的一员,鲲鹏先进的芯片技术也为GaussDB(DWS)插上鲲鹏之羽,助其展翅高飞。 GaussDB(DWS)基于GaussDB,完全兼容SQL标准,专为数据分析而生!关于华为云数据仓库服务GaussDB(DWS),你不得不知道的“大秘密”:1.极速分析性能:全并行计算引擎+软硬件垂直优化,分析性能相比X86提升50%2.行列混合存储:满足OLAP分析、高并发精确查询不同场景性能所需3.极速海量数据入库性能:支持每天百TB数据高速入库4.支持存算分离、按需独立扩展、独立计费,性能随节点数线性提升5.提供迁移工具,平滑迁移Oracle/TD/Mysql数据分析库6.SQL On Anywhere特性:横向支持跨源、跨集群协同分析;纵向支持SQL on OBS,EB级数据湖探索7.安全高可靠:集群内实现高可靠设计架构,集群间支持跨AZ容灾部署,支持多种自动化数据备份策略,通过欧盟PSA、安防部、ISCCC、ITSS、DCA等多项安全合规认证GaussDB(DWS)目前服务于全球500+行业大客户,为不同企业量身打造了适合于其业务需求的一站式数据平台。1.疫情防控一把手:以华为云数据仓库服务GaussDB(DWS) 为核心的大数据解决方案助力工信部在全国构建电信综合分析大数据暨疫情大数据平台,该平台在工信部及全国31省全覆盖上线,改变了原有强依赖人工进行数据处理的方式,实现了数据的统一接入、整合以及统一规范建模,平台承载总数据量达到30+PB。GaussDB(DWS)作为疫情数据专题库,高效支撑了多个应用的运行,注册用户量500万+,单日查询2500万次+,累计查询26亿次+,全面助力全国新冠肺炎疫情的有效防控。2.中国工商银行新一代融合数仓:工商银行在转型大数据服务云的过程中,与华为进行GaussDB联合创新,实现PB级数据的迁移,率先完成金融行业大数据平台的转型。由传统的一体机模式升级为开放可扩展的分布式架构,性能大幅提升,助力全行数据服务向智能时代的跃进。3.广联达一站式存储和分析平台:广联达是全国领先的数字建筑平台服务商,旨在用科技让每一个工程项目获得成功。广联达采用华为云数据仓库服务GaussDB(DWS)全面替换了线下传统关系型数据库(MySQL、Oracle、PostgreSQL),构筑了以数据仓库服务为核心、统一免运维、高可靠的数据存储和分析平台,实现一站式数据存储、加工、分析。该平台能够基于TB级历史数据实现秒级查询,性能平均提升10倍,有效支撑业务数据查询及多维分析、BI报表、精准推荐等应用的同时节省了50%管理和运维人力成本。 在数据爆炸式增长的当下,数据仓库越来越发挥着基石一般的作用,为数据分析、数据挖掘和AI应用提供数据存储和计算的平台,越来越多的企业也对大数据人才逐渐提出了更高的要求和更严苛的标准,市场对行业人才的诉求也越发明显,但高端类人才的供应远不能满足市场的缺口。麦肯锡报告曾指出,美国企业还需要150万能够提出正确问题、运用大数据分析结果的大数据相关管理人才。《2019年AI&大数据人才就业趋势报告》中提到,以2015年为时间起点和比较的基准点,在过去的18个季度里,AI&大数据领域与互联网行业的人才需求成倍数持续增长,到2019年二季度达到最高值,前者为11.75倍,后者为10.66倍。同时AI&大数据对技术要求更高、更前沿,人才的稀缺性更强。 因此,无论是对数据仓库没有基础认识或者简单了解过相关概念的在校学生或者其它岗位从业者,还是使用过数据仓库的相关开发人员,亦或是已经从事数仓运维但是想要更好地了解数仓性能调优的工程师们,都能够以GaussDB(DWS)为学习和使用的契机,来进一步提升个人的综合能力,让个人在数据仓库领域有更深的见解,在职场中具备更明显的优势。HCIP-GaussDB-OLAP认证介绍与预约考试:https://e.huawei.com/cn/talent/#/cert/product-details?certifiedProductId=195&authenticationLevel=CTYPE_CARE_HCIP&technicalField=PSC&version=1.0GaussDB(DWS)开发者论坛(问题答疑+技术分享):https://bbs.huaweicloud.com/forum/forum-598-1.html
-
数字化浪潮汹涌而来,在5G、云、AI加持下,云数据库不断升级演进,激发千行百业的创新和数字化转型。数字经济时代下,云数据库如何助力政企智能升级?企业DBA在云数据库的浪潮下如何快速转型,并继续乘风破浪呢?认证体系,牵引云DBA角色到2025年,全球数据量存储将高达180ZB,如此巨大体量的数据和数据类型,需要各行业提前快速构建数据基础存储设施。近年来,华为一直与产业伙伴一起构建鲲鹏数据产业生态,即以昇腾、鲲鹏处理器为基础,打造融合的数据基础设施及行业应用。鲲鹏数据产业是华为的战略重心之一,而GaussDB是华为鲲鹏数据产业生态的一个重要环节。结合华为倡导的5G、云、终端结合的“云-管-端”策略,应运而生了华为云数据库品牌GaussDB。GaussDB结合了多年的技术沉淀和业界独有的软硬件全栈能力,是华为自有生态的新一代企业云数据库产品。为更好发展云数据库产品,培养职业化数据库认证人才,华为人才生态发展部在今年7月7日正式上线发布了HCIA-GaussDB V1.5华为数据库工程师认证课程,认证依托华为关系型云数据库GaussDB(for MySQL)和GaussDB,云数据仓库GaussDB(DWS),以及非关系型云数据库GaussDB(for MongoDB)和GaussDB(for Cassandra),旨在培养面向云DBA、数据库开发或管理岗位的人才。面向OLAP的云数据仓库GaussDB(DWS)高级工程师,8月下旬即将发布HCIP-GaussDB-OLAP V1.5认证课程。11月份将会发布HCIP-GaussDB-OLTP V1.5课程。 云数据库应运而生大企业希望通过上云来解决非高峰期的硬件资源冗余问题,中小企业希望降低硬件资源的高资金和高技术门槛。结合华为的“云-管-端”的策略以及客户的诉求,云数据库应运而生,相对于传统数据库,云数据库从便捷使用、弹性扩容、多租户配置、数据可靠性、系统安全性、云数据库优于本地搭建的备份能力、云数据库极大降低客户软硬件投入、系统托管能力和本地维护成本等方面,要大大优于传统数据库。云数据库在很多行业都有突出的发展。比如,在IOT物联网领域应用十分广泛,对于IOT应用来说,数据库的规模和可靠性至关重要。云数据库提供了高吞吐量和并发特性,可以通过快速的响应时间来支持大量的连接。在电子商务应用领域,云数据库可以为电子和移动商务应用程序提供可靠的数据存储,使数据应用在网络上快速安全地运行。对于政府电子政务领域来说,电子政务面临服务国内数十亿人次的潜在规模的独特挑战,对于数据库的性能特性要求特别高,使用云数据库可以提供数据查询卓越性能,在便捷应用、吞吐量和可用性上都是不错的选择。 云DBA岗位职责的转变随着关系型和非关系型数据库云化的大背景,有的DBA从业者会十分担心自己的岗位职责转变,甚至担心地位不保。其实这种担心是完全不必要的,因为每一个新的数据形态的产生和发展,势必会应运而生新的角色,也同样会带来新的机遇。由于云数据库的切换,传统DBA的岗位职责发生了很重大的变化,从传统的“数据保管人和数据库守护者”转变为更高层级的、战略上的角色,这个新的角色就是云DBA,或者DA(Data Administrator/Data Architect)。传统DBA,也就是数据库运维工程师,日常会陷入到7*24无休止的事务性工作中,并且随时on call。平时环境安装、部署,作业配置、分发、开发、测试,故障定位、性能调优不停歇,而这些工作随着数据库上云将会变得异常简单。云数据库将会进行每天例行检查,提前识别问题,做好日常巡检工作,每天对当前实例的状态进行检查,清除日常隐患。会进行前一天24小时的运行状态分析,对过去24小时的实例运行数据,自动进行全面的分析和异常检测,并给出风险点及优化建议,规避了传统DBA随时on call的魔鬼般地存在。在问题发生时,云数据库会快速定位问题,并快速恢复,实例“卡死”也不怕,依然可以对实例进行干预,保留最后一棵救命稻草,有效降低故障时间。对于每次故障进行复盘,找出每一次故障的根本原因,云数据库会进行全量和慢SQL的分析,并自动进行异常检测,DAS等数据库生态工具会自动结合某时间段内的数据,进行自动分析,并给出故障可能的原因,及建议的优化手段。而云DBA们将需要更多地理解业务,用数据回答来自业务方面的诉求,而不仅仅是维护数据库的健康稳定运行,这真的是云DBA们的机遇所在。云DBA们的工作不再局限在后台,“数据建模、数据安全、数据治理、应用性能监控”等工作对业务的影响和可见度越来越明显,此类工作的重要性将继续增长。一个积极看待这种变化的方法是考虑将DBA中的“B”移除 ,从DBA演变为数据管理员或数据架构师(DA)。 数据管理员不只是运维管理数据库以保存数据,而是必须了解数据是如何实现对相关业务的支撑并通过数据驱动业务发展。 云DBA的机会和学习认证 DBA的重要性及价值不会消失,但DBA们的确需要积极主动拥抱角色转变,适应被赋予的数据管理员、架构师重任并发挥数据洞察与变现等职责。云DBA需要更多地与其他业务分析师(通常是运营部门,“表哥表妹们”)交流并理解业务希望从云迁移中获得什么。 组织在选择合适的业务或者应用程序向云迁移时,云DBA可以梳理出相关的考量因素。云DBA可以帮助分析应用的负载特征、并定义出技术参数、规格,并帮助业务用户设计出迁移计划。云的一大优势是持续集成与交付,租户可以逐步采用新功能。传统的数据库软件的交付周期通常是3~5年发布一个全新版本,而云时代租户不需要经历如此漫长的等待。新特性将会像移动应用软件一样后台更新(OTA),这相当令人期待。华为数据库认证体系紧密围绕华为关系型云数据库产品形态,推出云数据库1+2+2(2门HCIA课程,2门HCIP,2门HCIE)认证课程体系,面向OLTP和OLAP的云DBA、数据库管理员、数据库应用开发工程师和数据库架构师等角色进行人才认证培养,涵盖云数据库时代云DBA需要掌握的系统知识和技能,这将会为云DBA的转型提供全面的知识体系和职业认证。希望各位云DBA伙伴持续关注华为数据库认证,并快速实现岗位角色转型。
GaussDB 数据库 发表于2020-08-17 16:30:04 2020-08-17 16:30:04 最后回复 W--wangzhiqiang 2020-08-18 12:04:37
2354 1 -
GaussDB,不仅蕴含着华为对数学和科学的无限敬畏,也承载着华为对基础软件的坚持和梦想。这是去年,我在《华为“GaussDB”战记》一文中,写下的第一句话。这种坚持和梦想到了今天,是否还能延续?GaussDB还能战否?却成为了时下业内关注的焦点。 起因:一则传闻 今年5月初,华为被爆出“要关闭GaussDB数据库和私有云业务”的消息,该消息还援引了任正非讲话,“这次徐直军关闭了GaussDB,关闭了私有云业务(包括线下的大数据存储),我是坚决支持的,责成侯金龙完成。”此消息一出,就在业内炸开了锅。因为《华为“GaussDB”战记》的缘故。消息传出的当晚,就有不少其它数据库厂商和金融企业向我询问此事,一是想确认消息真伪,二是想弄清楚原因。 竞争对手为什么关注,不难理解。华为体量够大,当真正决定用心去做一件事时,绝对是一个可怕的竞争对手,少了这样一个对手,显然是庆幸的,但庆幸的同时,又有点摸不着头脑,因为,数据库是一个极为重要并且规模庞大、利润很高的市场,竞争对手找不出华为放弃的理由。 金融企业为什么会关注,也不复杂,因为金融企业基本不接受公有云,如果从需要私有云或系统产品的角度看,如果不弄清楚,以后是不敢与华为合作的。原计划,当时就想写篇文章聊一聊这事,但匆忙间,了解的信息实在有限,难免会有失偏颇。因此,在过去的近3个多月时间里,我一方面在关注华为官方对传闻的回应,一方面又与华为内部多个部门的相关人士进行沟通及确认,以便能够尽可能准确的了解到调整背后的根本原因和细节,还有华为对GaussDB真实的态度。 因为,芯片、操作系统、数据库是现代信息技术领域的三大核心基础,做数据库,不仅需要技术和投入,对华为这种做通讯起家的企业,更需要的是一种态度,一种并非玩票性质的态度,因为,没有一个企业会在极为重要的基础设施中使用一个随时会被取消的产品,或者说,不会使用一个前途未卜的产品。 在外界看来,阿里巴巴自研数据库是因为自身命脉所在,而华为的命脉在于通信技术和芯片,自研数据库更多只是自身IT解决方案中的一个模块和与数据库巨头谈判的一种筹码。尤其是在传言爆出后,此种误解就更深了。 真相1:华为没有关闭私有云和GaussDB数据库业务 在今年5月,华为云政企战略发布会上,华为公司副总裁、华为云业务总裁郑叶来就 “华为要关闭GaussDB数据库和私有云业务”传闻进行了回应。 郑叶来表示,华为并没有说要关闭私有云和GaussDB数据库业务,而是在进行面向未来的团队调整。只是具体怎么调整,郑叶来并没有细说。8月,在华为云数据库专题日上,华为云数据库业务总裁苏光牛在接受我采访时,就调整给出了更详细的解答。所谓面向未来的调整,指的是华为基于对数据库云化趋势的判断,这方面有报告有数据支撑,并不难理解,比如:Gartner预测,到2021年,云数据库在整个数据库市场中的占比将首次达到50%;到2023年,75%的数据库要跑在云平台上。所以,华为把GaussDB数据库并入了华为云,并且调整涉及业务、组织、生态多个方面。1、业务层面:取消GaussDB数据库线下纯软件销售和交付,调整为依托华为云与华为云Stack,以云服务方式对客户销售。销售渠道包括华为直销、也包含大量生态合作伙伴转售等。其中,华为云主要面向互联网和中小客户,直接通过公有云订阅云数据库服务。华为云Stack主要面向政企大客户。2、组织层面:将华为数据库研发组织融合,统归华为云BU和2012GaussDB实验室,统筹数据库战略与布局全球七大区域11个研究所的1000多数据库专业人才,力出一孔,持续打造世界级数据库。3、生态方面:华为2020年6月30日开源openGauss社区版本并持续运营,与合作伙伴、高校、开发者共同繁荣生态。同时,华为将鼓励有能力的合作伙伴推出基于openGauss的数据库,旨在和业界共同繁荣数据库产业生态。 真相2:GaussDB数据库同样是华为自身命脉所在 关停传闻风波后,外界有种观点认为,华为做数据库的态度似乎并不坚决,GaussDB并非华为的战略产品。 众所周知,数据库是最重要的基础云服务之一,已经成为云服务商的核心竞争力之一,属于兵家必争之地。所以,毋庸置疑华为做数据库的决心,除非华为不做华为云。 据了解,华为云数据库2019年外部收入相比2018年外部收入实现高达400%的增长。华为云数据库2020年H1外部收入相比2019年H1外部收入实现高达405%的增长。 7月,华为云CTO张宇昕接受采访时就表示,华为持续打造世界级数据库的决心不变,持续战略投入,保障业务连续性和为客户持续提供数据库服务不变。 这句话怎么理解,苏光牛说,可以从以下三个层面看: 从产业角度看: 数据库是IT产业三个核心控制点和基础研究之一,也是华为鲲鹏计算产业的重要组成部分,华为每年上千亿的研发经费必须投入这些核心控制点和基础研究方面。从华为自身看: 作为业务遍布全球的世界500强之一,华为内部的流程IT和消费者BG需要GaussDB数据库的保障。从服务客户看:面向To B运营商,华为移动网络如无线5G基站和固定网络如路由器、交换机、光传输等所需网管与计费软件,使用的都是华为云GaussDB数据库。 横向对比看:GaussDB是否是战略投入?看数据库专业人才投入和高端专家的布局:数据库是人才专家密集型高门槛基础研究,华为有1000+数据库研发专业人才,还有100+布局全球7大区域的数据库内核引擎、算法等高级专家和大咖。这只是数据库的研发人员,并不包含内部为华为云/流程IT/消费者云等数据库底座服务的DBA、SRE运维人员、工具平台开发人员,还有华为云数据库的销售、交付与服务人员。 看数据库研发历史和标杆客户的选择:华为从2007年开始已经持续战略投入数据库超过10年,早在2014年开始就持续和工商银行、招商银行等头部标杆客户长期联创。金融行业和电信运营商这2个行业是对数据库稳定可靠、性能等各方面要求极为苛刻的典型行业,有上亿用户和高并发海量交易等丰富的应用场景,联创帮助GaussDB数据库快速孵化提升了能力,也完成了对世界顶级数据库的替换。 看生态构建的战略耐心:数据库是讲究生态的产业,生态需要耐心持续投入 华为积极参与和推进产业生态(产业联盟 、行业标准、中国信创标准、鲲鹏生态等);高校生态(包括课程、技术、教材等多方面合作),当前GaussDB与70+国内一流大学建立校企联合课程;开发者生态,华为开源和持续运营openGauss社区、发布和更新GaussDB培训认证、连续多年成功举办数据库挑战创新大赛;合作伙伴生态:持续达成华为云市场严选数据库合作伙伴、CSSP合作伙伴等,推进联合解决方案认证等同时华为积极拥抱开放的生态,如:MySQL、PostgreSQL、MongoDB、Cassandra等; 品牌调整:华为云数据库产品布局及品牌调整从上表可以看出,华为云数据库产品布局涵盖关系型、非关系型数据库及工具生态等非常完整,能同时满足客户高并发事务实时处理、海量数据高效分析等全方位需求。 熟悉华为云数据库产品线的朋友可能会发现,TaurusDB、GeminiDB怎么没有了,自研数据库怎么全变成GaussDB(for XX)了,这就涉及到另外华为云数据库的另外一个变化:品牌调整。 在品牌命名上,华为云统一到GaussDB,代表的是华为自研数据库品牌,立足创新与自研,基于同一架构,一方面拥抱并兼容MySQL等生态,另一方面打造自己的openGauss生态,主要面向政企客户,强调高性能、高可靠、高安全等方面诉求,目的是给客户一个清晰明确的定位认知。 写在最后:一点小结毫无疑问,华为没有关闭GaussDB数据库的业务,只是取消了GaussDB数据库线下纯软件的销售及交付模式。从本质上说,只是GaussDB的商业模式发生了变化,不再是卖License或者一体机的一锤子买卖,而是以云服务的方式销售及交付。 那么,有私有云和系统产品需求的客户怎么办?华为的解决方案是华为云Stack。 业内人士都清楚,数据库大客户通常来自线下,公有云上的只是小单而已,据28原则,20%的大客户贡献80%的营收,线下客户显然才是营收主力,比如银行、政府,但金融、政府客户显然不接受数据放在公有云上。 没有云厂商愿意错过这些大客户,所以,现在头部云厂商的数据库产品都在以混合云的方式来服务大客户,华为云显然也不例外。 而混合云的本质是用公有云的同一套架构或API来做混合云。通过混合云,不仅可以满足客户,机房、数据在本地,自主管理运维的需求。客户还能在本地数据中心享受到与华为云一致的云服务,同步AI、大数据、数据库70+新技术能力。而对于华为,通过混合云能大大提升项目交付效率。 据了解,近期,华为云金融大客户,工商银行、永安保险、众惠财险等已项目落地,其他还有多家国有股份制银行及政府金融类项目正在对接和POC阶段,华为云方面表示,没得到授权,暂不方便透漏客户名称。 总的来说,GaussDB此次调整在我看来,并非华为要退出数据库市场而是要加强的信号,调整的大背景有2个,其一,华为认为数据库云化,政企行业云化转型是趋势,当然,这个过程可能很长。其二,华为希望通过混合云模式提供服务,以基于云底座的完整解决方案对外输出,形成更大的客户黏性,并且通过云订阅模式,保持收入的持续稳定增长。图/文转载自老鱼笔记
-
智能时代或者说新基建时代下,算力成为新的生产力,数据成为新的生产资料,云、AI、5G是新的生产工具,以数据为核心的新型数字基础设施正在为政企智能升级注入新力量。新机遇带来新转变,新转变驱动新需求,新需求激发融合新理念。华为云数据库积极拥抱变化,助力政企全场景数据管理!华为将持续战略投入数据库领域,依托全球布局,结合近千人的专家和人才团队,共同打造企业级数据库。依托华为云与华为云Stack,通过全栈软硬件的优化,华为云数据库以云服务的方式持续服务好客户。并通过持续的技术创新和生态开放的理念,让华为云数据库服务成为企业智能升级的数据库首选。全新出发,助力政企数字化转型华为云数据库,一方面积极拥抱主流开源开放的生态,如MySQL,PostgreSQL,另一方面,华为通过开源openGauss打造华为开放生态,与合作伙伴、高校、开发者共同繁荣openGauss生态。华为将和有能力的合作伙伴一起,基于开放生态的理念,为中国的数字经济赋能!同时为了更好助力政企数字化转型,华为对GaussDB做了业务的全面升级。GaussDB升级为华为云数据库品牌,基于华为最新一代DFV计算存储分离的分布式架构,支持关系型与非关系型的数据库引擎,通过构建全场景云服务来满足企业客户的不同需求。在关系型数据库领域,华为云推出了GaussDB(for MySQL),100%兼容MySQL等开放生态,便于客户的应用迁移和开发,保护客户投资。在非关系型数据库领域,华为云重磅推出GaussDB NoSQL系列新品,100%支持MongoDB、Cassandra、Redis、InfluxDB等4款主流NoSQL协议接口,支持多模管理、极速融合。 GaussDB 2大新品解读l GaussDB(for MySQL)GaussDB(for MySQL)是华为最新一代高性能企业级分布式数据库,完全兼容MySQL。最高支持128TB的海量存储,可实现超百万级QPS吞吐,支持跨AZ部署,数据0丢失,故障闪恢复,数据自动备份时间长达732天。既拥有商业数据库的性能和可靠性,又具备开源数据库的灵活性。华为消费者业务基于GaussDB(for MySQL)数据库全面切换上云,满足了业务线高可用、高可靠、高安全、极致扩展的场景需求,实现了业务的持续稳定可靠,提升了用户的使用体验。作为规模可排进全球前列的华为消费者云业务,支撑了全球超过上亿客户同时访问的业务,其数据库使用量的庞大程度令人叹为观止。GaussDB(for MySQL)作为如此庞大的消费者云业务的数据库上云首选,所面临的考验可想而知。但凭借超强的技术沉淀和对业务的特别特性功能,如日志强一致、页面Gossip保障可靠性和性能,保障世界级迁移云任务的安全与可靠,极大满足了各种严酷的企业级场景。l GaussDB NoSQL系列GaussDB NoSQL是国内首家、业内领先的多模非关系型数据库,除了具有GaussDB品牌基于架构所天然具备的企业级可靠性,更有超越开源生态数据库的多倍性能领先、高度灵活的全托管使用体验。目前支持如MongoDB接口的文档型数据库、基于Cassandra接口的宽列数据库、基于Redis接口的KV数据库和基于InfluxDB接口的时序数据库,可以同时满足当前多场景、多数据类型的客户需求。GaussDB NoSQL基于GaussDB计算存储分离的架构创新,对于性能、成本、HA、扩容性、备份恢复等多种指标都有质的飞越。在客户业务场景下,一般自建的非关系型数据库从2个分片倍数扩容时,最高可达十小时级别的扩容耗时,严重影响客户业务和使用体验。GaussDB(for Mongo)有底层DFV架构的助力,完全实现了分钟级的扩容耗时,在业务低峰期此性能可以帮助客户完全达到业务无影响。国家地理信息公共服务平台天地图,每天的访问量高达4亿以上。为了保障如此巨大的访问量,我们为客户选择了基于新架构的GaussDB NoSQL,成功上云后客户反馈其备份性能实现了20+倍提升,数据恢复7+倍提升,极大提升了政府平台服务能力,推动了中国数字化经济建设。此外,在金融、政府、能源、交通、物流、电商和华为传统客户电信运营商等行业,华为云数据库针对大规模、高并发的企业场景,持续优化产品能力,深化挖掘行业特点的业务,把技术领先性和真实业务场景结合。用科技普惠千行百业,真正帮助客户安心上云,做好转型。GaussDB所有引擎都基于统一的DFV企业级分布式存储架构,在数据的可靠性上达到了11个9的标准,同时通过NDP(near data process 数据近端处理)的技术大幅提升了性能,再通过DRS的迁移服务,实现在线迁移数据,任意选择业务的切换时间点,让客户上云的方案更加容易。未来,华为云数据库将持续创新与服务好客户,坚持秉承以客户为本的理念。从过去简单的云托管,到现在的存储计算分离,到之后演进的serverless,真正做到客户业务不改动,无感知的下一代云上业务转型的体验。
-
这无疑是一场浩浩汤汤的产业再造运动。当“技术无国界”的大门被粗暴闯入,是时候从基底筑就数字时代的技术实力。 这也是近四十年来,基础软硬件行业最好的时代。芯片、数据库和操作系统三座大山已有松动迹象,ARM等多种芯片架构并起,云计算推动企业级数据库蓬勃发展,甚至操作系统生态也在不断完善。 这仍然只是留给长期价值主义者的机会窗口。仔细想想,我们迄今所经营的数字空间,不过建立在过往四十年的技术栈之上,数据库行业百花齐放,而真正能站稳市场的,除了深耕多年的国产数据库厂商,就是在自身内外部业务有着长期丰富实践的巨头企业。 2020年6月30日,华为正式宣布开源数据库能力,开放openGauss数据库源代码,并成立openGauss开源社区,随后华为还将GaussDB数据库战略升级为华为云数据库全场景服务,以及发布两款GaussDB云数据库服务。 不同的动作指向同一个目标——做数据库,华为来真的。 “力出一孔,利出一孔”,时至今日,创始人任正非的理念依然被看作是华为干大事的前兆。今年以来,华为数据库经历了业务、组织和生态层面的三重调整: 对于任何一家有着三十余年历史的大型企业,将成熟的商业模式打破重组,不同的组织拆分合并,经营全新的数据库生态,都是一项不小的决策,一系列调整之后,华为的数据库布局清晰明了地也分为三部分。 其一是华为RDS for MySQL、RDS for PostgreSQL服务、DDS文档数据库服务(文档类型Mongo)这类基于开源打造的数据库服务,聚焦最基础的云原生开发对云数据库的要求,让客户迁移到华为云更加容易。主要面向数据规模较小,性能要求一般的业务场景,提供极致性价比。 其二是华为GaussDB系列,立足创新与自研,基于同一架构,一方面拥抱并兼容MySQL等生态,另一方面打造自己的openGauss生态,主要面向政企客户,强调高性能、高可靠、高安全等方面诉求。 这部分变化最大,所耗费的资源最多,华为云7月正式发布上线了云原生GaussDB(for MySQL)关系型数据库,基于华为开放生态的openGauss内核打造的分布式数据库GaussDB也会在年内正式商用发布。 非关系型数据库领域,华为云将重点打造云原生GaussDB NoSQL多模数据库系列,目前, GaussDB(for Mongo)、GaussDB(for Cassandra)已上架华为云官网。 其三是华为数据库工具服务,为了帮助客户更好的迁移和使用数据库服务,华为数据库工具统一支持开源数据库服务和自研数据库服务,提供上云数据迁移复制、数据管理等功能。 华为的数据库布局既有内部自身业务发展到一定程度求变的因素,比如交付模式重点向云计算模式靠拢,也有外部形势变化推动,比如中国IT产业集体国产化的机遇,华为初步形成其打造企业级数据库生态的现实路径。 即使是技术壁垒极强的数据库行业,也做不到在变革之下高枕无忧,云计算就是那个变量。 据IDC发布的《2019年下半年中国关系型数据库软件市场跟踪报告》指出,公有云服务将驱动中国关系型数据库市场快速增长,与此同时,国际数据库厂商增长乏力,本土厂商份额上升,国内数据库市场迎来蓬勃发展期,进入百花齐放时期。 同样地,另一家分析机构Gartner预计,到2021年,云数据库在整个数据库市场中的占比将首次达到50%;而到2023年,75%的数据库要跑在云平台之上。 云化与国产厂商成为国内数据库行业的两条融合线索,华为在数据库业务、组织、生态上做的调整,其实也是顺应数据库的云化趋势和战略。 华为云数据库业务总裁苏光牛表示,以金融行业来说,客户目前使用多种数据库的组合。银行的传统核心账务系统,大行使用的是IBM大机+DB2,封闭系统扩展能力较弱,且维护费用是相当高的,未来运维也是问题。所以,未来大机逐步下移会是一个趋势,但需要一个过程。 而银行的互联网核心和渠道接入系统,客户当前使用较多的是Oracle RAC+小型机;在一般重要比如内部IT支撑系统、办公系统等允许少量停机时间的场景,客户使用Oracle或者是一些开源的数据库,如MySQL、PostgreSQL等;在一些基于windows操作系统的场景,客户使用的是微软的SQL Server。 当下几乎所有金融行业客户都在不同程度的迁移自身数据库,迹象在数年前已有显现,今年被推升至新的高潮。 苏光牛直白地说道,客户迁移有政策的因素,但最主要的因素还是技术趋势。封闭的数据库生态,不符合未来的软件的发展趋势。 核心是——随着银行客户移动业务、互联网业务等兴起,海量并发的性能要求,传统scale-up的扩展能力无法满足业务的需求。 此外,多种数据库烟囱式的并存,数据难以流通,运维也有压力,分布式数据库和云的技术结合,恰逢其时,可以减少对运维压力,提升整体的性能和效率,从而确保业务更加高效稳定。 “一方面我们积极拥抱并完全兼容和支持业界主流的关系型数据库生态如MySQL、PostgreSQL及非关系型数据库 MongoDB、Redis等生态等,一方面华为宣布开源的openGauss也是开放的生态,我们对外开源,做到架构开放、代码开放、技术开放和社区开放,不会让客户从封闭的Oracle走向另外一个封闭的‘新的Oracle’。”苏光牛表示。 “华为云GaussDB数据库全面满足不同客户的需求,在架构、软硬件协同方面自主研发,同时生态兼容开放,而非仅支持自有生态,这才是我们认为的真正符合客户需要的国产数据化产品。” 不谋全局者,不足谋一域,十分贴切的道出了华为在数据库以及整个计算产业的打法。 以华为的体量,只做数据库一域不符合华为战略,因此看待华为数据库,要将其放在华为云与计算产业的维度。数据库是IT产业三个核心控制点和基础研究之一,芯片、数据库以及操作系统,华为每年上千亿的研发经费投入到这些核心控制点和基础研究方面,这是打通纵向生态。 与此同时,GaussDB全面支持鲲鹏和x86硬件,客户可以按需选择鲲鹏或者x86硬件,欧拉操作系统搭配鲲鹏硬件使用。企业已有硬件,在满足一定要求情况下,可以纳入云资源池继续使用。 华为GaussDB数据库全面支持包含鲲鹏和x86在内的多样化算力,具备从芯片到服务器、存储、操作系统、数据库的端到端研发能力。端到端软硬件意味着更强的把控能力,比如GaussDB数据库DB算子下推存储进而实现性能相比数据库友商提升30%。 华为遵循硬件开放、软件开源的原则,是为了与产业伙伴共同繁荣自主的开放生态,此部分为更广阔的横向生态。横向生态中,华为着重开源和云趋势。 一是openGauss开源使能伙伴发展自有品牌的数据库产品,为上层应用提供更多数据库选择。openGauss采用Mulan协议,与伙伴共建生态,共议技术发展方向,也会积极帮助伙伴发展自有产品,匹配伙伴的商业诉求。 二是华为会帮助应用厂商建立基于华为云GaussDB的产品解决方案,华为将在技术、项目上与伙伴深入合作。同时在高校、开发者,华为也会建立更深的技术连接。 据了解,华为云数据库已经在工行、永安保险、众惠财险等项目中落地,还有多家国有、股份制银行及政府金融类项目正在对接和POC阶段。 华为云数据库2019年外部收入相比2018年实现高达400%的增长,2020年延续了高增长势头,H1外部收入相比2019年H1实现高达405%的增长。 “数据库是需要长期持续战略投入和孵化门槛很高的产品,华为在数据库领域持续研发投入已经超过10个年头。金融行业和电信运营商这2个行业就是对数据库稳定可靠、性能等各方面要求极为苛刻的典型行业,有上亿用户和高并发海量交易等丰富的应用场景,通过这些不可多得的严苛而丰富的场景和应用,帮助GaussDB数据库快速孵化提升了能力,也完成了对世界顶级数据库的替换。我们认为,华为云GaussDB数据库能在头部标杆客户最严苛的场景实践和经受考验,在其他规模较小场景相对容易些的客户那里也能胜任了。”苏光牛总结道。
-
众所周知,疫情这只“黑天鹅”已成为检验企业数字化程度的试金石,这一点从研究机构最新的调研报告中就可“窥见一斑”。 根据IDC发布的《中国公有云服务市场(2020第一季度)跟踪》报告显示,2020年第一季度,中国公有云服务整体市场规模(IaaS/PaaS/SaaS)达到39.2亿美元,其中IaaS市场同比增长57.6%,PaaS市场同比增长64.6%。在企业上云的过程中,数据库则被认为是云上非常重要的一环,这是因为云从最开始提供的是IaaS服务,而随着各种智能化应用的兴起,数据库也成为了从IaaS到智能化应用连接的关键环节。 在此背景下,为更好助力政企客户数字化转型,并顺应数据库云化转型趋势,华为近期在数据库业务、组织、生态上做了全新的调整和部署,正式宣布GaussDB数据库战略升级为华为云数据库全场景服务,通过全融合的多模数据库,满足海量数据存储与管理需求,致力于成为政企智能升级首选。 毫无疑问,华为云GaussDB战略升级背后,不仅是华为“与时俱进”、积极响应用户需求的最新举措,也是它始终洞察整个数据库市场需求变化,在技术和创新上保持高强度自我迭代和进化的重要印证,更是它能够在数据库市场不断取得突破和增长的关键所在。 GaussDB全新出发今天,当企业的核心系统开始上云,传统数据库的弊端也就开始“一览无遗”,而云数据库也就成为企业在云时代的必然选择,相比传统数据库,云数据库不仅天然拥有云计算的弹性能力,还具备开源数据库的简洁易用和开放生态,以及传统数据库的SQL管理和处理性能等各方面的优势,在云环境下能够为用户提供更好的数据库服务。 根据第三方机构的数据显示,到2021年传统数据库市场会下降20%至30%。与此同时,Gartner预测到2023年,全球3/4的数据库将会跑在云上。同样,华为云数据库过去两年的高速增长也印证了这一发展趋势。 数据显示,华为云数据库2019年外部收入相比2018年外部收入实现高达400%的增长;此外,华为云数据库2020年H1外部收入相比2019年H1外部收入实现高达405%的增长。 从这个角度来看,华为云GaussDB战略升级可谓“正当其时”。据华为云数据库业务总裁苏光牛介绍,华为已在近期完成了在数据库业务、组织、生态上的全新调整和部署,具体包括: 一是,在业务层面,华为将传统线下数据库的纯软件销售和交付,调整为依托华为云与华为云Stack,并加持鲲鹏等多样性算力,以及全栈软硬件优化能力,以云服务方式持续为客户服务,加持“云”后,不仅可以有效提升交付与运维效率,帮助客户聚焦核心业务创新,同时也能够为客户持续带来新技术和新服务。 其中,互联网和中小企业客户,可直接通过华为云订阅云数据库服务;而政企客户,则可以通过华为云Stack,获得在云上和本地部署体验一致的云服务,实时同步AI、大数据、数据库70+云服务,共享华为云创新能力,并实现无缝的升级和演进。 二是,在组织层面,华为已战略性投入GaussDB数据库超过10年,并在高性能、高可用、高可靠、融合分析方面率先实现突破,构筑起行业领先的竞争力,GaussDB数据库产品也得到了电信、金融等金字塔尖客户核心系统的验证。 现在,华为数据库研发组织又进一步完成了融合,统归华为云BU和2012高斯实验室,未来将统筹数据库战略与布局全球七大区域11个研究所的1000多数据库专业人才,实现“力出一孔”,持续打造世界级数据库。 三是,在生态层面,今年6月30日,华为正式宣布开源数据库能力,开放openGauss数据库源代码,成立openGauss开源社区,未来将会在开源openGauss社区版本并持续运营的基础上,与合作伙伴、高校、开发者共同繁荣数据库产业生态。 不仅如此,华为还始终秉持“硬件开放、软件开源、使能伙伴“的整体发展战略,支持伙伴基于openGauss打造自有品牌的数据库商业发行版,支持伙伴持续构建商业竞争力。 由此可见,罗马不是一天建成的,华为在数据库领域的全新出发,既是云数据库代表了云时代政企客户的最佳选择,也是华为在数据库领域“十年磨一剑”, 以及始终坚持开源开放为本的精神,让它敢于选择此时“亮剑”的底蕴与底气所在。 全场景云服务重拳出击可以看到,过去几年,云计算、大数据、AI等新技术的兴起,给政企客户带来了许多困扰,这些技术之间如何协作,如何实施,如何正确的选择技术组合,如何结合业务切实发展来做整体性的规划,如何把云原生、分布式、多模、智能化这些数据库领域的最新技术趋势有机地融合,落地到企业应用上来,将是一个长期的课题。 同样,不同行业对数据库的诉求不同。典型的如金融客户,会要求数据库必须具备高可靠、高可用、高安全、高扩展等;而线上交易类的客户会要求数据库有瞬间支撑高并发的能力,此外还有些客户则要求能够直接在云上进行数据的快速移动和搬迁等。也正是洞察到了这一变化,华为云推出了GaussDB全场景数据库云服务来满足客户在不同应用场景的数据库需求。其中,在关系型数据库领域,华为云今年7月正式发布上线了云原生GaussDB(for MySQL)数据库,拥抱和兼容广泛认知的开源生态MySQL,让客户的应用迁移和开发更加容易,保护客户的投资和客户的业务连续性。同时,基于华为开放生态的openGauss内核打造的分布式数据库GaussDB也会在年内正式商用发布。 而在非关系型数据库服务领域,华为云重点打造云原生GaussDB NoSQL多模数据库系列,包括GaussDB(for Mongo)、GaussDB (for Redis)、GaussDB (for Influx)、GaussDB(for Cassandra)等服务。目前,GaussDB(for Mongo)、GaussDB(for Cassandra)已正式商用。 对此,苏光牛表示,华为云GaussDB系列全场景云服务不仅提供了丰富的数据库产品组合,还可根据不同客户的业务应用特点进行“量体裁衣”,可以从三个维度来做观察: 首先,是华为基于开源打造的数据库服务,如GaussDB(for MySQL)、GaussDB(for Mongo)等服务将聚焦最基础的云原生的开发对云数据库的要求,并提供极致性价比的解决方案。 以GaussDB(for MySQL)为例,它基于华为最新一代DFV分布式存储,采用计算存储分离架构,支持1写15读的只读节点的极速扩展,最高支持128TB的海量存储,可实现超百万级QPS吞吐,单节点相比原生MySQL性能提升7倍,业界第一。 再如,GaussDB NoSQL系列拥有极强的多模数据管理能力,在并发读写能力、扩容时间缩、故障重构时间、备份效率、恢复效率等方面也都实现了业界领先,相比纯开源软件能力有了质的飞跃。 其次,是华为GaussDB系列,基于在外部电信与政企市场、华为内部IT与云底座深耕十几年的数据库内核研发优化能力、对客户高可靠高性能诉求的理解,结合云的技术倾力打造的企业级分布式数据库,因此未来将会立足创新与自研,基于统一的架构,一方面拥抱并兼容MySQL等开源生态;另一方面打造自己的openGauss生态,为政企客户提供更好的支持,满足其高性能、高可靠、高安全等方面诉求。 最后,华为云还提供了一系列的数据库工具服务,统一支持开源数据库服务和自研数据库服务,为客户提供上云数据迁移复制、数据管理服务等,不断在易用性上降低客户的迁移成本。 目前,华为已拥有成熟商用的为客户提供上云的数据复制服务DRS、数据管理服务DAS、分布式数据库中间件DDM等数据库工具服务。同时,华为云下半年也还会陆续发布数据库和应用迁移工具。 以云数据复制服务DRS为例,其能实现在线数据的迁移,业务切换微中断,业务切换时间可以自由选择,同时还能跨数据库版本热迁移,给出迁移/升级后直观的性能评估报告,从而让客户的原数据库切换到华为云上更加简单,使得客户完全不用担心迁移带来的故障、数据丢失以及切换时刻的担忧。 不难看出,华为云GaussDB全场景数据库云服务构建了业界最为完整的产品体系,并且通过不断的自研和创新,不断化解数据库上云过程中带来的种种难题。无疑为中国政企客户实现全面云化以及完成数字化转型夯实更为坚实的基础,必将成为政企客户智能升级过程中的首选。 开源生态重构全新格局值得一提的是,面向更为广阔的未来,华为近期还正式宣布openGauss正式开源,这不仅更好的推动了数据库多样化时代的到来,也对加快推进数据库产业生态的发展,更好的使能行业创新点燃了“新引擎”。 确实如此,数据库是一个讲究生态的产业,而生态的建设则需要耐心持续投入。回头来看,在生态合作和开源开放上,华为是有深厚“传统”的。 比如,华为一直以来就积极参与和推进产业生态,包括产业联盟 、行业标准、中国信创标准、鲲鹏生态等;在高校生态方面,当前GaussDB也与70+国内一流大学建立校企联合课程;在开发者生态上,华为开源和持续运营openGauss社区、发布和更新GaussDB培训认证、连续多年成功举办数据库挑战创新大赛等等,同时在合作伙伴生态方面,也持续达成华为云市场严选数据库合作伙伴、CSSP合作伙伴等,推进联合解决方案认证等。据了解,未来华为在数据库领域会重点打造两大生态,第一是开源生态,未来openGauss会采用Mulan协议,与伙伴共建生态,共议技术发展方向,并会积极帮助伙伴发展自有产品,匹配伙伴的商业诉求。 第二,是在此基础上,针对全面云化的转型趋势,华为同样也会帮助应用厂商建立基于华为云GaussDB的产品解决方案,并在技术、项目上与伙伴深入合作。同时,面向高校、开发者,华为也会建立更深的技术连接。 正如苏光牛最后所言:“openGauss对外开源,真正做到了架构开放、代码开放、技术开放和社区开放,对于政企客户来讲,只有选择开放的生态,才能让自己的业务具备更好的连续性,如果从一个封闭的生态改造为另外一个封闭的生态,本质上并没有解决业务连续性的问题,另外,未来的软件不开放的生态也没有活力,特别是数据库软件。” 事实上,如今在软件领域,无论是以OpenStack为代表的云操作系统市场,或者是以Kubernetes为代表的云容器交付市场,还是以Hadoop为代表的大数据平台市场,无不是靠着开源和开放的全新模式,成为了重塑产业新格局的一把新钥匙。 因此,相信华为openGauss的开源和开放,以及对数据库生态不断投入所释放的新势能,一定会让华为从颠覆自我到颠覆行业,并重构中国云数据库市场的新格局,起到更加决定性的作用。 全文总结,在后疫情,新基建时代,数字化转型正在驱动中国企业的不断云化,未来制胜的关键仍然取决于谁能够吃透中国企业的现状,谁的创新和服务更个性化,谁对政企客户未来发展趋势更有洞察,由此才能赢得更大的市场机会,而华为云GaussDB的与时俱进以及开源开放,将让它的未来之路越走越宽,越来越有力量。
-
7月20日,华为云TechWave技术峰会上,华为云数据库业务总裁苏光牛正式发布两大数据库新品,包括关系型数据库GaussDB(for MySQL)和非关系型数据库GaussDB NoSQL系列。仅半个月后,GaussDB又迎来了新一轮更新。在华为云TechWave·数据库专题日上,华为云数据库业务总裁苏光牛详细介绍了GaussDB这个华为的战略性数据库产品的来历,并发表了他对于数据库发展的一些看法。GaussDB数据库升级下的大调整苏光牛谈到,在宣布战略性调整之前,外界还有人在质疑,华为在做数据库的态度上并不坚定,GaussDB算不上是华为的战略性产品。本次发布后,这种质疑很快被打消。其实这从华为对数据库的战略性投入可以看出,比如数据库专业人才的投入和高端专家布局,数据库是人才专家密集型高门槛基础研究,华为有1000+数据库研发专业人才,还有100+布局全球7大区域的数据库内核引擎、算法等高级专家和大咖,这只是数据库的研发人员,并不包含内部为华为云/流程IT/消费者云等数据库底座服务的DBA、SRE运维人员、工具平台开发人员,还有华为云数据库的销售、交付与服务人员;比如数据库研发历史和标杆客户的选择,华为从2007年开始已经持续战略投入数据库超过10年,早在2014年开始就持续和工商银行、招行等头部标杆客户长期联创;再比如华为在生态构建上的战略耐心,数据库是讲究生态的产业,华为不仅积极参与推进数据库产业生态发展,而且注重高校生态、开发者生态等建设,开源和持续运营openGauss社区,积极拥抱开放的生态,如MySQL、PostgreSQL、Mongo、Cassandra等。宣布战略升级后,华为在数据库业务、组织、生态上做了重大调整。 a) 业务上: 将传统线下数据库的纯软件销售和交付,调整为依托华为云与华为云Stack,以云服务方式持续为客户服务,加持云后一方面提升交付与运维效率,帮助客户聚焦核心业务创新,同时为客户持续带来创新技术和新服务。 b) 组织层面:将华为数据库研发组织融合,统归华为云BU和2012高斯实验室,统筹数据库战略与布局全球七大区域11个研究所的1000多数据库专业人才,力出一孔,持续打造世界级数据库。 c) 生态方面:华为2020年6月30日开源openGauss社区版本并持续运营,与合作伙伴、高校、开发者共同繁荣生态。同时,华为将鼓励有能力的合作伙伴推出基于openGauss的数据库,旨在和业界共同繁荣数据库产业生态。GaussDB数据库的前世今生GaussDB(for MySQL)、GaussDB(for Cassandra)、GaussDB(for Mongo)从2019年Q4开始公测并在少数内外部大客户项目,如华为消费者云与WeLink、某大型保险公司、国家某部委等试点商用,优化数据库性能和高可用性后,于2020年7月份正式上线规模商用。据苏光牛透露,未来华为云还将推出GaussDB (for Redis)、GaussDB (for Influx)等系列新服务。这次,华为云在品牌命名上统一归到GaussDB,代表华为数据库品牌,立足创新与自研,基于同一架构,一方面拥抱并兼容MySQL等生态,另一方面打造自己的openGauss生态,主要面向政企客户,强调高性能、高可靠、高安全等方面诉求,给客户一个清晰明确的定位认知。所以,GaussDB(for MySQL)并不是简单的改名,而是在融合后,基于架构优化和改进后,结合品牌调整的结果。调整后的GaussDB数据库云服务包含关系型数据库GaussDB(for MySQL)和非关系型数据库GaussDB NoSQL系列,支持文档类型(MongoDB)、宽表类型(Cassandra)、时序(InfluxDB),K-V(Redis)等多协议接口。如今,最新版本的GaussDB系列产品实现了很多技术上的更新和迭代。GaussDB(for MySQL)基于华为最新一代DFV分布式存储,采用计算存储分离架构,支持1写15读的只读节点的极速扩展,最高支持128TB的海量存储,可实现超百万级QPS吞吐,单节点相比原生MySQL性能提升7倍,业界第一。GaussDB系列数据库支持NDP(near data process)技术,可以让计算和数据进行融合,加速数据的处理,从而大幅提升整体的性能;GaussDB NoSQL拥有极强的多模数据管理能力,在并发读写能力、扩容时间缩、故障重构时间、备份效率、恢复效率等方面也都实现了业界领先,相比纯开源软件能力有了质的飞跃。不断完善的工具生态对于开发者来说,有什么好用的工具是他们很关心的问题。苏光牛介绍到,目前华为的数据库工具服务统一支持开源数据库服务和自研GaussDB数据库服务,当前成熟商用的有为客户提供上云的数据复制服务DRS、数据管理服务DAS、分布式数据库中间件DDM,同时下半年还会发布数据库和应用迁移工具。其中,数据复制服务DRS能实现在线数据的迁移,业务切换微中断,业务切换时间可以自由选择,同时还能跨数据库版本热迁移,给出迁移/升级后直观的性能评估报告,从而让客户的原数据库切换到华为云上更加简单、安心;数据管理服务DAS可提供便捷的云上数据库管理与运维服务,核心能力包含数据库查询与开发、运维监控、性能诊断、SQL调优、数据安全管控、智能参数预测等;分布式数据库中间件DDM与RDS结合,把当今成熟的水平扩展分布式数据库能力,以单个数据库实例的访问体验,带给普通用户。保证SQL运算及事务能力,存储和计算层几乎无限扩展。替换IOE数据库将是个长期的过程GaussDB的推出,让互联网厂商去IOE,数据库国产化的讨论和呼声再次热烈起来。在苏光牛眼中,数据库国产化的机遇是否已经成熟?要走出一条不同于国外主流数据库厂商的路,中国要怎么走?苏光牛坦承,逐步替换迁移IOE将是个长期的过程,至少未来3年内是这样。为什么大家要放弃用惯了的主流数据库产品,要进行替换迁移?他认为,厂商迁移数据库的核心原因,一是传统scale-up的扩展能力无法满足客户业务的需求、面向互联网+创新等业务,客户需要从集中式转向分布式云化的部署,在迁移到华为云数据库之前,客户主要采用的数据库大多并非一种,而是多种数据库产品结合,比如在金融行业传统核心账务系统,大的银行多使用IBM大机+DB2,这样做的封闭系统扩展能力较弱,且维护费用相当高,未来运维也是问题,所以,未来大机逐步下移会是一个趋势,但需要一个过程。其次,厂商普遍达成了共识,需要业务和数据库一起来进行优化和调整,才能达成目标。再次,互联网的去IOE和其它行业的去IOE挑战不太一样,从完美sharding的分片到复杂查询的场景,数据库的能力需要在严苛的标杆客户场景得到联创验证和孵化,同时要能联合为客户兜底应用的ISV,自身提供完善的系列工具迁移/运维/管理打消客户疑虑,真正地为客户做到平滑迁移。这意味着,数据库国产化是一个循序渐进的过程,不可能一蹴而就。目前国产数据库还不够成熟,要提高国产数据库服务水平,打破Oracle、IBM、微软等国外数据库产品的包围,就需要走一条不同于它们走过的道路。这条道路应该怎么走?从哪些层面着手?苏光牛有自己的思考。他说道,一方面,华为云积极拥抱并完全兼容和支持业界主流的关系型数据库生态,如MySQL、PostgreSQL及非关系型数据库 MongoDB、Redis等生态,比如openGauss对外开放,避免让客户从封闭的Oracle走向另外一个封闭的“新的Oracle",而是与更多“同道中人”一起解决缺陷。“因此, 华为云GaussDB数据库全面满足不同客户的需求,在架构、软硬件协同方面自主研发,同时生态兼容开放,而非仅支持自有生态,这才是我们认为的真正符合客户需要的国产数据化产品。数据库是需要长期持续战略投入和孵化门槛很高的产品,华为在数据库领域持续研发投入已经超过10年,金融行业和电信运营商这2个行业就是对数据库稳定可靠、性能等各方面要求极为苛刻的典型行业,有上亿用户和高并发海量交易等丰富的应用场景,这些场景的实践帮助GaussDB数据库快速孵化提升了能力,也完成了对世界顶级数据库的替换。”苏光牛说。这一席话并非空谈,而是有数据作为支撑。据华为提供的数据显示,华为云数据库2019年外部收入相比2018年外部收入实现高达400%的增长,GaussDB系列数据库产品已涵盖关系型和非关系型数据库场景,广泛应用于金融、泛政府、电信、能源、交通、医疗、物流、电商等行业。数据库发展方向与趋势过去几年,传统数据库市场份额一直在被不断冲击,而云数据库的增长潜力巨大,GaussDB数据库转向云端,就是顺应数据库云化趋势的典型案例。对于云数据库未来发展方向,苏光牛判断,云数据库将向着云原生、分布式、多模、智能化等方向发展。而一个好的云数据库产品,至少应该具备以下几个特点:l 高可靠:交易型数据库的首要因素是数据库的可靠,GaussDB基于DFV的分布式存储,数据的可靠性高达11个9;l 高性能(支持高吞吐强一致性事务能力):如GaussDB(for MySQL)相比开源,性能从15万QPS提升到100万+级别OPS。l 高可用(同城双活实现集群内HA,数据不丢失,业务秒级中断;同城跨AZ容灾,数据不丢失,分钟级恢复;还有两地三中心高可用):如GaussDB(for MySQL)实现数据0丢失,故障闪恢复。l 高扩展(计算与存储分离弹性伸缩、容量和性能按需水平扩展):如GaussDB(for MySQL)相比开源,从1写3读提升到1写15读。l 高安全:用户数据上云后,数据不仅在存储层是静态加密,在计算态也是加密的。(华为全密态的黑科技揭秘发布在9月23日HC大会数据库专场session)l 易用性:首先要有完整的工具生态支持迁移/运维/管理无忧。面向未来,通过将AI融入到数据库内核架构和算法中,来降低云数据库的运维管理及开发调优成本,逐步实现数据库自调优、自诊断自愈、自运维能力。当前,AI参数自调优技术已经开源到openGauss社区,同时,在基于AI的SQL调优、故障诊断领域GaussDB也在重点投入,目标是最终实现数据库智能化。GaussDB的出现,让我们看到了国内厂商实现数据库国产化的努力,从 0 到 1 是一个巨大的挑战,从 1 到高精尖,更是一个艰难的蜕变过程。希望在未来,搭乘大数据、云计算、物联网、5G通信等新技术的东风,国内厂商能够消化、吸收和借鉴国外领先的数据库技术和思想,以及自主创新的方式,让市面上出现更多符合中国人使用习惯的数据库产品!图/文转载自:公众号CSDN
-
【问题描述】 从GaussDB A 6.5.1.5升级到GaussDB A 8.0.0.1后,业务侧使用copy导入数据时报 Failed to ABORT an implicitly PREPARED transaction status - RXACT_ABORT_FAILED:ABORT failed on all the nodes. 【解决办法】 更新GaussDB A 8.0.0.1的jdbc驱动jar包问题解决
-
相关资讯:6月30日,华为openGauss正式开源,开放openGauss数据库源代码,并成立openGauss开源社区。GaussDB(for Mongo)是华为云自主研发兼容MongoDB4.0接口的文档数据库。其领先的副本集计算存储架构,对于传统MongoDB社区版有如下优势:l 秒级添加Secondary节点(相比社区版Mongo小时级添加Secondary节点)l 基于WAL复制, Secondary节点无写IO,从根本上解决社区版Secondary节点Oplog脱节问题l Primary/Secondary无任何IO交互,Secondary节点个数理论无上限, 支持百万OPS的读事务能力l LSMTree Compaction 计算/IO卸载到Compaction统一调度池,集中管理,不浪费用户读写IOGaussDB(for Mongo) 架构介绍GaussDB(for Mongo) 是兼容mongodb4.0接口的计算存储分离架构的高性能数据库。通过底层存储来保证多副本的数据的安全可靠,上层计算节点可以做到无状态的运行。GaussDB(for Mongo) 有以下几个优点:1.秒级的节点扩容能力GaussDB(for Mongo) 具有秒级的节点扩容能力。在业务流量突发的时候,可以迅速采取扩容措施,应对业务高峰。传统的 mongodb 因为采用的是 计算节点读取本地数据的方式, 扩容节点后,新加节点还需要等待节点同步完主节点数据才可以对外提供服务。如果数据量很大, 新增节点的数据同步会花费很多时间,在这段时间内,新增节点非但不能提供服务,反而因为需要从集群同步数据的缘故,进一步加重了数据库的负载。2. 从根源上杜绝了社区版MongoDB数据被Rollback的问题社区版mongodb副本集基于Raft协议,当Primary宕机后,Secondary节点选举成新的Primary,老Primary有数据回滚的风险,而GaussDB(for Mongo)基于共享存储则不存在这种问题。3. 计算节点写压力卸载传统的数据库通过只读副本可以做到业务数据的读写分离。基于共享存储的GaussDB(for Mongo) 不仅仅能做到业务数据的读写分离,还能分离主节点的LSMTree Compaction压力。 将主节点的后台Compaction压力托管给Compaction Service微服务,从而节约主节点的IO与CPU资源,提升主节点的写吞吐量,为客户业务提供更好的数据抗压能力。这个特性称为 'Compaction Offload'(Compaction卸载)。4. 主从复制占用的资源少传统的数据库使用 MongoDB层面的Oplog进行数据同步,所有主节点上的写IO在从节点必须被镜像式的回放一遍。GaussDB(for Mongo) 在数据同步技术上,充分利用了共享存储的优势, 仅需要主备之间同步存储池数据文件的元数据变更信息,以及读取变更数据的Write Ahead Log到内存的操作。避免了Secondary节点数据的Double甚至Triple Write,为用户的业务让出更多的CPU和IO资源。GaussDB(for Mongo) 只读节点设计只读节点功能设计l 传统社区版MongoDB副本集基于Oplog做数据复制,只读节点需要镜像主节点的所有写IO操作。GaussDB(for Mongo) 的只读节点和主节点共享同一份底层数据库文件(LSMTree的SST文件),只读节点并不自己生成SST文件。l 随着业务数据的写入,Compaction的不断执行,LSMTree的当前版本(包含哪些SST文件)不断更新,LSMTree的元数据更新(增删SST文件的记录)被同步到只读节点执行。l RocksDB中,数据的变更被持久化到WAL里,元数据的变更(增删文件的操作, 叫做VersionEdit)被持久化到Mainifest里。RocksDB的数据和元数据是分开的,WAL流和VersionEdit流是并行的,没有严格的先后顺序。为了保证只读节点和主节点完全一致的事件回放顺序,WAL和VersionEdit流必须要合并成一个流,在双流合并后,通过LSN就可以为每个事件(WAL的写操作/VersionEdit)定序。l 基于WAL+VersionEdit复制,而不基于Oplog复制l 共享文件(sst/wal)的生命周期管理由主节点负责sst文件和wal的文件的生命周期由主节点负责。RocksDB中,SST文件通过层级的引用计数来维持不被删除。如下图,RocksDB的每个游标会维持SuperVersion,如下图中的S0,S1,S2。每个SuperVersion会引用一个Version,一个Version代表LSMTree在不断变形(通过增删SST文件变形)的过程中,某个时间点的形状,最新的Version就代表LSMTree当前的形状。l 在GaussDB(for Mongo)中,主节点会记录所有只读节点在使用的Version,并为这些Version增加引用计数从而维持SST文件的生命周期。对于WAL,主节点会记录所有只读节点中最老的LSN(oldestLsn),最老的LSN来自于复制最慢的只读节点。并删除比oldestLsn还旧的WAL文件。l 元数据变更通知无论是oldestLsn还是只读节点的当前在用的活跃的Version,都需要及时推进,这些元数据的变更是通过主从节点的定期心跳上报到主节点上的。主节点利用心跳数据对垃圾版本与WAL做清理。如下图所示,在经历一次心跳后,主节点发现Secondary0的Version0和Secondary1的Version0不再使用。删除这两个Version后,SST0的引用计数为0,表示SST0可以被删除。OldestLsn也从100推进到了250,可以清理掉250之前的WAL。l 只读节点的Memtable的释放主节点的Memtable不会实时Flush为SST文件。如果只读节点不处理主节点的Memtable的话,只读节点的数据就不是实时的,且存在数据一致性问题。只读节点通过回放WAL到内存的Memtable中,来覆盖SST文件与主节点的Memtable的Gap。上文介绍了只读节点是不往共享存储写入数据的, 所以只读节点上的 Memtable 最后的结局一定是被丢弃掉。但什么时候丢弃这个 Memtable 就是一个问题。过早的丢弃,会造成SST文件与Memtable之间的数据不连续,存在Gap,过晚的丢弃会造成内存的浪费。只有当只读节点识别到SST的数据已经完全能够Cover某个Memtable时,这个Memtable才可以被丢弃。GaussDB(for Mongo)的只读节点在每次应用VersionEdit后,检查所有SST中的最大的LSN与Memtable的最小的LSN的关系,来决定是否要丢弃某个Memtable。l 内存元数据的反向更新传统的复制,数据流从Oplog来,走一遍完整的数据库Server层CRUD接口,再落到引擎层。这种逻辑和主节点上业务的写入逻辑是一致的,因此Server层的一些内存元数据结构,在这个过程中就自然而然的得到更新了。但是当采用基于WAL的复制后,整个WritePath并不经过只读节点的Server层。因此Server层的内存元数据更新,就是一个很大的挑战。在这里,只读节点对每一条WAL做分析,如果WAL的内容会影响Mongo内存元数据,就会reload对应的元数据模块。GaussDB(for Mongo) 实现考虑到只读节点和主节点,以及 GaussDB(for Mongo)的软件分层, 我们将只读副本方案的实现,分为四个部分, 如下图所示:三大流程如图所示:l 开始复制l 持续复制l 心跳处理总结GaussDB(for Mongo) 只读节点功能,实现了一份数据多计算节点共用的功能。极大的提升了存储的利用效率,提高了计算节点的读取数据能力。为了让副本节点具有持续的读扩展能力,整个只读方案采用元数据的同步模式,在不降低主节点负载的情况下,极大的提升了整个系统的读数据的处理能力。为3节点,5节点,乃至于15节点以上的副本集的工作提供了可能。GaussDB(for Mongo) 只读节点功能,极大的提升了计算节点的弹性能力, 秒级扩缩容的能力在应对负载高峰和降低数据库成本方面效果显著。真正的做到了按需使用,弹性扩容的核心能力。也为客户业务面对热点爆发流量数据提供了更加高效安全的保证。【优惠福利】华为云GaussDB重磅发布,新品尝鲜低至6折,旗舰产品低至¥8.3/小时,戳它体验>>
-
基于DWS进行客户业务调优时经常会识别到部分业务场景需调整数据库guc参数,如果全局调整参数可能会对其他业务场景产生影响,因此需要会话级别调整guc参数,连接DWS业务程序大多通过JDBC与DWS进行数据交互,因此我们可以在业务程序调用JDBC连接数据库时进行数据库参数设置,代码样例如下:import java.sql.CallableStatement;import java.sql.Connection;import java.sql.DriverManager;import java.sql.PreparedStatement;import java.sql.ResultSet;import java.sql.SQLException;import java.sql.Statement;public class paraset { //创建数据库连接。 public static Connection GetConnection(String username, String passwd) { String driver = "org.postgresql.Driver"; String sourceURL = "jdbc:postgresql://***.***.***.***:25308/postgres"; Connection conn = null; try { //加载数据库驱动。 Class.forName(driver).newInstance(); } catch (Exception e) { e.printStackTrace(); return null; } try { //创建数据库连接。 conn = DriverManager.getConnection(sourceURL, username, passwd); System.out.println("Connection succeed!"); } catch (Exception e) { e.printStackTrace(); return null; } return conn; }; //执行guc 参数设置,并查看设置结果 public static void ParaSet(Connection conn) { Statement stmt = null; try { stmt = conn.createStatement(); //set前查看下参数初始值 ResultSet rs = stmt.executeQuery("select name,setting from pg_settings where name ='enable_index_nestloop'"); while (rs.next()) { System.out.println(rs.getString(1)+" "+rs.getString(2)); } //设置参数为off boolean rc = stmt.execute("set enable_index_nestloop=off;"); System.out.println(rc); //设置完成后查看参数是否设置成功 rs = stmt.executeQuery("select name,setting from pg_settings where name ='enable_index_nestloop'"); while (rs.next()) { System.out.println(rs.getString(1)+" "+rs.getString(2)); } rs.close(); stmt.close(); } catch (SQLException e) { if (stmt != null) { try { stmt.close(); } catch (SQLException e1) { e1.printStackTrace(); } } e.printStackTrace(); } } /** * 主程序,逐步调用各静态方法。 * @param args */ public static void main(String[] args) { //创建数据库连接。 Connection conn = GetConnection("user", "password"); //设置参数。 ParaSet(conn); //关闭数据库连接。 try { conn.close(); } catch (SQLException e) { e.printStackTrace(); } }}执行结果如下:
-
1.摘要GaussDB(for Mongo)是华为云自主研发兼容MongoDB4.0接口的文档数据库。基于共享存储的存算分离架构,对于传统MongoDB社区版有如下优势:秒级添加Secondary节点(相比社区版Mongo小时级添加Secondary节点)基于WAL复制, Secondary节点无写IO,从根本上解决社区版Seconary节点Oplog脱节问题Primary/Seconary无任何IO交互,Secondary节点个数理论无上限, 支持百万OPS的读事务能力LSMTree Compaction 计算/IO卸载到Compaction统一调度池,集中管理,不浪费用户读写IO基于共享存储,Chunk分裂/迁移动作不引起真实IO,只更新路由元数据,秒级分裂/均衡2.GaussDB(for Mongo)技术架构1)容忍更多Shard宕机与社区版MongoDB的`Share-Nothing`模式不同的是,GaussDB(for Mongo)采用`Share-Storage`架构,计算存储分离。集群模式下,N个Shard节点,可以容忍N-1个Shard宕机。某个Shard节点宕机后,其负责的数据由于存在于共享的存储池中,因此不需要物理拷贝数据,只需要修改元数据路由信息,即可被其他分片节点接管。2)更快的分裂与均衡能力此外,由于Chunk数据在存储池中,Chunk的分裂与均衡不涉及到数据拷贝,可以做到分钟级分裂与扩容,分裂与扩容对用户的影响也远比社区版MongoDB小。3)百万级读OPS能力GaussDB(for Mongo)副本集模式下,Primary/Secondary节点之间共享同一份数据库文件。Secondary节点只复制Primary节点的WriteAheadLog以及LSMTree的结构变更信息,并应用到内存中。Secondary节点没有LSMTree的Compaction和Flush任务,因此对用户的读业务影响很小。此外,由于`Share-Storage`的架构优势,添加Secondary节点并不需要拷贝数据,添加Secondary节点的动作可以秒级完成。而Primary/Secondary之间只传递元数据变更,不传递WriteAheadLog,因此Secondary节点的个数即使变多,也不影响Primary节点的写性能。Secondary节点可以水平扩展,支撑百万级的读OPS。4)主节点IO卸载LSMTree的写压力来源于三部分:用户的业务写入导致的Memtable Flush后台SST文件CompactionWAL的持续写入根据线上业务的实际测算,三者的IO资源消耗占比为: 1:10:1。后台的SST文件Compaction占了绝大部分IO带宽,通过将Compaction任务集中化管理,从计算池卸载到存储池,进一步减少了用户计算节点的CPU和IO资源消耗。5)GaussDB(for Mongo) 只读节点设计传统社区版MongoDB副本集基于Oplog做数据复制,只读节点需要镜像主节点的所有写IO操作。GaussDB(for Mongo) 的只读节点和主节点共享同一份底层数据库文件(LSMTree的SST文件),只读节点并不自己生成SST文件。随着业务数据的写入,Compaction的不断执行,LSMTree的当前版本(包含哪些SST文件)不断更新,LSMTree的元数据更新(增删SST文件的记录)被同步到只读节点执行。RocksDB中,数据的变更被持久化到WAL里,元数据的变更(增删文件的操作, 叫做VersionEdit)被持久化到Mainifest里。RocksDB的数据和元数据是分开的,WAL流和VersionEdit流是并行的,没有严格的先后顺序。为了保证只读节点和主节点完全一致的事件回放顺序,WAL和VersionEdit流必须要合并成一个流,在双流合并后,通过LSN就可以为每个事件(WAL的写操作/VersionEdit)定序。基于WAL+VersionEdit复制,而不基于Oplog复制共享文件(sst/wal)的生命周期管理由主节点负责sst文件和wal的文件的生命周期由主节点负责。RocksDB中,SST文件通过层级的引用计数来维持不被删除。如下图,RocksDB的每个游标会维持SuperVersion,如下图中的S0,S1,S2。每个SuperVersion会引用一个Version,一个Version代表LSMTree在不断变形(通过增删SST文件变形)的过程中,某个时间点的形状,最新的Version就代表LSMTree当前的形状。在GaussDB(for Mongo)中,主节点会记录所有只读节点在使用的Version,并为这些Version增加引用计数从而维持SST文件的生命周期。对于WAL,主节点会记录所有只读节点中最老的LSN(`oldestLsn`),最老的LSN来自于复制最慢的只读节点。并删除比oldestLsn还旧的WAL文件。元数据变更通知,无论是oldestLsn还是只读节点的当前在用的活跃的Version,都需要及时推进,这些元数据的变更是通过主从节点的定期心跳上报到主节点上的。主节点利用心跳数据对垃圾版本与WAL做清理。如下图所示,在经历一次心跳后,主节点发现Secondary0的Version0和Secondary1的Version0不再使用。删除这两个Version后,SST0的引用计数为0,表示SST0可以被删除。OldestLsn也从100推进到了250,可以清理掉250之前的WAL。只读节点的memtable的释放:主节点的Memtable不会实时Flush为SST文件。如果只读节点不处理主节点的Memtable的话,只读节点的数据就不是实时的,且存在数据一致性问题。只读节点通过回放WAL到内存的Memtable中,来覆盖SST文件与主节点的Memtable的Gap。上文介绍了只读节点是不往共享存储写入数据的, 所以只读节点上的 Memtable 最后的结局一定是被丢弃掉。但什么时候丢弃这个 Memtable 就是一个问题。过早的丢弃,会造成SST文件与Memtable之间的数据不连续,存在Gap,过晚的丢弃会造成内存的浪费。只有当只读节点识别到SST的数据已经完全能够Cover某个Memtable时,这个Memtable才可以被丢弃。GaussDB(for Mongo)的只读节点在每次应用VersionEdit后,检查所有SST中的最大的LSN与Memtable的最小的LSN的关系,来决定是否要丢弃某个Memtable。内存元数据的反向更新:传统的复制,数据流从Oplog来,走一遍完整的数据库Server层CRUD接口,再落到引擎层。这种逻辑和主节点上业务的写入逻辑是一致的,因此Server层的一些内存元数据结构,在这个过程中就自然而然的得到更新了。但是当采用基于WAL的复制后,整个WritePath并不经过只读节点的Server层。因此Server层的内存元数据更新,就是一个很大的挑战。在这里,只读节点对每一条WAL做分析,如果WAL的内容会影响Mongo内存元数据,就会reload对应的元数据模块。3.总结GaussDB(for Mongo) 基于Share-Storage架构,实现秒级Chunk分裂与均衡,对业务影响更小,水平扩展速度更快,能容忍更多节点宕机。只读节点功能,实现了一份数据多计算节点共用的功能。极大的提升了存储的利用效率,提高了计算节点的读取数据能力。为了让副本节点具有持续的读扩展能力,整个只读方案采用元数据的同步模式,在不降低主节点负载的情况下,极大的提升了整个系统的读数据的处理能力。为3节点,5节点,乃至于15节点以上的副本集的工作提供了可能。
-
如题,怎么查看?我知道pg_get_indexdef可以看某个索引的定义。但是想通过字典表查如题的信息。
-
【问题影响】2个GaussDB数据库都可写,2个GaussDB数据库数据不一致,当恢复时,可能会造成双主期间的业务数据丢失。【可能原因】假设DB1为主,DB2为备,网关为GW,浮动IP为FLOAT,则当网络符合以下所有条件时,会出现数据库双主:DB1及DB2相互不能检测。DB1及DB2都能检测到GW。DB2检测不到FLOAT。【处理步骤】1、在“FusionAccess > 系统 > 任务与日志”查看是否有正在进行中的业务发放操作(创建计算机、分配计算机等)?是,执行步骤 2。否,执行步骤 6。2、在“FusionAccess > 监控 > 告警”查看同一时间段是否有“GaussDB数据库主备切换告警”记录?是,执行步骤 3。否,联系技术支持处理。3、记录告警详细信息中的IP地址,此IP地址指向最后由备升主的GaussDB服务器。4、关闭记录的IP地址指向的GaussDB服务器。5、待FusionAccess不再进行业务发放操作后,启动已关闭的GaussDB服务器。6、按可能原因中的描述排查网络故障,请确保排查过程中不要通过FusionAccess进行业务发放操作。7、在“FusionAccess > 监控 > 告警”上查看告警是否还存在?是,联系技术支持处理。否,处理完毕。
推荐直播
-
大模型Prompt工程深度实践
2025/02/24 周一 16:00-17:30
盖伦 华为云学堂技术讲师
如何让大模型精准理解开发需求并生成可靠输出?本期直播聚焦大模型Prompt工程核心技术:理解大模型推理基础原理,关键采样参数定义,提示词撰写关键策略及Prompt工程技巧分享。
去报名
热门标签