• 华为云GaussDB Ustore存储引擎正式发布
     8月20日,华为云GaussDB正式推出重大内核新特性——Ustore存储引擎,为企业级用户提供更高性能的数据库服务,进一步为企业数字化转型注入新动力。 Ustore存储引擎,又名In-place Update存储引擎(原地更新),是GaussDB内核新增的一种存储模式。GaussDB内核此前的版本使用的行存储引擎是Append Update(追加更新)模式。追加更新对于业务中的增、删以及HOT(Heap Only Tuple) Update(即同一页面内更新)有很好的表现,但对于跨数据页面的非HOT UPDATE场景,垃圾回收不够高效,因此,Ustore存储引擎应运而生。 Ustore存储引擎设计原理 Ustore存储引擎将最新版本的“有效数据”和历史版本的“垃圾数据”分离存储。将最新版本的“有效数据”存储在数据页面上,并单独开辟一段UNDO空间,用于统一管理历史版本的“垃圾数据”,因此数据空间不会由于频繁更新而膨胀,“垃圾数据”集中回收效率更高。Ustore存储引擎采用NUMA-Aware的UNDO子系统设计,使得UNDO子系统可以在多核平台上有效扩展;同时采用多版本索引技术,解决索引清理问题,有效提升了存储空间的回收复用效率。 Ustore存储引擎结合UNDO空间,可以实现更高效、更全面的闪回查询和回收站机制,能快速回退人为“误操作”,为GaussDB提供了更丰富的企业级功能。Ustore数据存储示意图:最新数据在原page页,旧数据在undo空间单独管理Ustore存储引擎核心优势高性能:对插入、更新、删除等不同负载的业务,性能以及资源使用表现相对均衡。更新操作采用原地更新模式在频繁更新类的业务场景下可拥有更高、更平稳的性能表现。适应“短”(事务短)、“频”(更新操作频繁)、“快”(性能要求高)的典型OLTP类业务场景。高效存储:支持最大限度的原位更新, 极大节约了空间;将回滚段、数据页面分离存储,具备更高效、平稳的IO使用能力,UNDO子系统采用NUMA-ware设计,具有更好的多核扩展性,UNDO空间统一分配,集中回收,复用效率更高,存储空间使用更加高效、平稳。细粒度资源控制:Ustore引擎提供多维度的事务“监管”方式,可基于事务运行时长、单事务使用UNDO空间大小、以及整体UNDO空间限制等方式对事务运行进行“监管”,防止异常、非预期内的行为出现,方便数据库管理员对数据库系统资源使用进行规范和约束。Ustore存储引擎可以在数据频繁更新场景下性能依旧稳如泰山,使业务系统运行更加平稳,适应更多业务场景和工作负载,特别是对性能和稳定性有更高要求的金融核心业务场景。技术无止境,未来GaussDB将结合AI自治技术,对Ustore存储引擎进行更智能、更安全、更高效的技术优化,为客户打造更领先、更优质的数据库服务。更多GaussDB详情了解请移步华为云官网:cid:link_0
  • 【第28课】云数据库GaussDB语法入门
    之前我们讲了如何连接数据库实例,那连接数据库后如何使用数据库呢?那么我们今天就带大家了解一下GaussDB,以下简称GaussDB的基本语法。关于如何连接数据库,请戳这里。学习本节课程之后,您将可以完成创建数据库、创建表及向表中插入数据和查询表中数据等操作。前提条件•   GaussDB实例正常运行。•   已通过DAS或gsql连接数据库实例。操作步骤1.   通过DAS或gsql连接数据库实例。2.   创建数据库用户。      默认只有创建实例时的管理员用户可以访问初始数据库,您还可以手动创建其他数据库用户帐号。postgres=# CREATE USER joe WITH PASSWORD "xxxxxxxx";      xxxxxxxx需要替换为指定的密码,当结果显示为如下信息,则表示创建成功。CREATE ROLE      如上创建了一个用户名为joe,密码为xxxxxxxxx的用户。      如下命令为设置joe用户为系统管理员。postgres=# GRANT ALL PRIVILEGES TO joe;      使用GRANT命令进行相关权限设置,具体操作请参考GRANT。      引申信息:GaussDB对于用户可以进行灵活的权限控制,想要了解请戳管理用户及权限。3.   创建数据库。postgres=# CREATE DATABASE db_tpcds;      当结果显示为如下信息,则表示创建成功。CREATE DATABASE      创建完db_tpcds数据库后,就可以按如下方法退出postgres数据库,使用新用户连接到此数据库执行接下来的创建表等操作。当然,也可以选择继续在默认的postgres数据库下做后续的体验。postgres=# \q gsql -d db_tpcds -p 8000 -U joe Password for user joe: gsql compiled at 2020-05-08 02:59:43 commit 2143 last mr 131) Non-SSL connection (SSL connection is recommended when requiring high-security) Type "help" for help. db_tpcds=> 4.   创建表。   •   创建一个名称为mytable,只有一列的表。字段名为firstcol,字段类型为integer。db_tpcds=> CREATE TABLE mytable (firstcol int);       未使用“DISTRIBUTE BY”指定分布列时,系统默认会指定第一列为哈希分布列,且给出提示。系统返回信息以“CREATE TABLE”结束,表示创建表成功。NOTICE: The 'DISTRIBUTE BY' clause is not specified. Using 'firstcol' as the distribution column by default. HINT: Please use 'DISTRIBUTE BY' clause to specify suitable data distribution column. CREATE TABLE   •   向表中插入数据:db_tpcds=> INSERT INTO mytable values (100);       当结果显示为如下信息,则表示插入数据成功。INSERT 0 1   •  查看表中数据:db_tpcds=> SELECT * from mytable; firstcol ---------- 100 (1 row)      引申信息:默认情况下,新的数据库对象是创建在“$user”模式下的,例如刚刚新建的表。关于模式的更多信息请参考创建和管理schema。关于创建表的更多信息请参见创建和管理表。除了创建的表以外,数据库还包含很多系统表。这些系统表包含集群安装信息以及GaussDB上运行的各种查询和进程的信息。可以通过查询系统表来收集有关数据库的信息。请参见查看系统表。----结束
  • 华为云GaussDB专场直播第5期:SQL优化解读
    1.前言在关系型数据库中,优化器是数据库的核心组件之一,由于一些列因素都会影响语句的执行,优化器综合权衡各个因素,在众多的执行计划中选择认为是最佳的执行计划。随着大数据时代的到来,像电商、游戏、电信等行业都大规模的应用,单一数据库节点是难以应对数据规模的不断增长并确保性能的需要,业务面临“存不下、算得慢、算不准”的问题。而GaussDB采用了可横向扩展的分布式架构,可以很好满足大规模海量数据的存储和计算的需求,其通过目标SQL执行计划的CBO成本,从目标SQL的诸多执行计划中选取成本值最小的执行路径为其执行计划,各执行路径的成本值是根据目标SQL中涉及到的表、索引、列等相关对象的统计信息计算出来的,实际反应执行目标SQL所要消耗的I/O、CPU和网络资源的一个估计值。I/O资源:把表的数据从磁盘读入内存时所需代价CPU资源:处理内存中表的数据所需的代价网络资源:需要DN间数据交互的分布式SQL,在实际执行时所需要的数据并不在本地DN中(需要从其他DN中取数据),便会将网络资源消耗折算成对等的I/O资源消耗再进行估算。本文结合第5场直播内容从分布式并行执行框架、分布式执行计划等方面进行介绍。2.分布式并行执行框架2.1执行器:PIPELINE模型GaussDB的执行器特点是:按照查询计划树从底往上执行,基于火山模型执行,即每个节点执行返回一行记录给父节点。火山模型的最大优点就是可以按需请求,每次只取出一条元组,在处理本条元组后,系统将会取出下一条满足条件的元组,直到取出所有满足条件的元组为止。从这种方式的运行机制可以看出,其每次执行时对于系统资源的需求都非常小。2.2 高性能分布式查询引擎GaussDB充分利用当前多核特点,通过多线程并发执行,提高系统吞吐量。众所周知,在传统的分布式 MPP 数据库中,因数据的重分布,也就是数据shuffle的代价非常昂贵,从而限制了用户使用场景范围。GaussDB能充分利用当前多核特点,采用并行执行机制,在SQL执行优化方面有多年的沉淀,并提供了三种stream流(广播流、聚合流和重分布流)来降低数据在DN节点间的流动,突破了传统分布式 MPP 数据库因为数据shuffle代价高昂带来的用户使用场景限制,即使是复杂的SQL、事务分析混合(HTAP)场景也能得到最佳执行。GaussDB的大致执行过程:业务应用下发SQL给Coordinator ,SQL可以包含对数据的CRUD操作;Coordinator利用数据库的优化器生成执行计划,每个DN会按照执行计划的要求去处理数据;数据基于一致性Hash算法分布在每个DN,因此DN在处理数据的过程中,可能需要从其他DN获取数据,GaussDB提供三种stream流(广播流、聚合流和重分布流)实现数据在DN间的流动,使得join无需抽取到CN执行;DN将结果集返回给Coordinate进行汇总;Coordinator将汇总后的结果返回给业务应用。3.分布式执行计划CN根据表的分布列信息和关联列信息进行判定,SQL语句是否可以直接在各个DN上执行而且不需要数据交流,如果是,CN采用LIGHT_QUERY或FQS_QUERY流程,保持了事不关己的态度,你发给我什么我就下发什么,直接将整个query命令下发给DN执行,执行完成后直接输出;如果需要在各个DN之间进行数据交互,则会选择使用stream算子;如果发现无法使用stream算子时,就回到了原始的PGXC流程。3.1 LIGHT_QUERY  - 场景:语句可以直接在一个DN执行(单shard语句,点查场景)。  - 原理:CN直接下发语句QPBE报文到对应DN,这样的做的好处是,执行效率高,线性扩展比好。create table t1 ( col1 int, col2 varchar ) distribute by hash(col1); create table t2 ( col1 int, col2 varchar ) distribute by hash(col1);3.2 FQS_QUERY   - 场景:当语句可以完全下推到多个DN上执行,且DN之间不需要数据交互时。  - 原理:CN不通过优化器,直接生成RemoteQuery计划,走执行器逻辑下发到DN,各DN根据下推语句生成执行计划并进行执行,执行结果在CN上进行汇总。create table t1 ( col1 int, col2 varchar ) distribute by hash(col1); create table t2 ( col1 int, col2 varchar ) distribute by hash(col1);LIGHT_QUERY和FQS_QUERY的最大异同点在于,虽然CN都是经过判定后直接把收到的query下发给DN进行处理,但是LIGHT_QUERY只涉及到单DN进行操作,而FQS_QUERY涉及到多个DN分别进行操作,它们都不会涉及到DN间的数据交互。3.3 STREAM GATHER   - 场景:需要各DN之间进行数据交互。   - 原理:CN根据原语句通过优化器生成带stream算子的执行计划,下发给DN进行执行,DN执行过程中存在数据交互(stream节点),stream算子在DN之间建立连接进行数据交互,CN汇总执行结果并承担大部分计算。create table t1 ( col1 int, col2 varchar ) distribute by hash(col1); create table t2 ( col1 int, col2 varchar ) distribute by hash(col2);3.4 STREAM REDISTRIBUTE   - 场景:需要各DN之间进行数据交互。   - 原理:CN根据原语句通过优化器生成带stream算子的执行计划,下发给DN进行执行,各DN执行过程中存在数据交互(stream节点),stream算子在DN之间建立连接进行数据交互,CN汇总执行结果并承担大部分计算。create table t1 ( col1 int, col2 varchar ) distribute by hash(col1); create table t2 ( col1 int, col2 varchar ) distribute by hash(col2);3.5STREAM BROADCAST   - 场景:需要各DN之间进行数据交互。   - 原理:CN根据原语句通过优化器生成带stream算子的执行计划,下发给DN进行执行,各DN执行过程中存在数据交互(stream节点),stream算子在DN之间建立连接进行数据交互,CN汇总执行结果并承担大部分计算。create table t1 ( col1 int, col2 varchar ) distribute by hash(col1); create table t2 ( col1 int, col2 varchar ) distribute by hash(col2);使用REDISTRIBUTE算子时,数据进行重分布可以充分利用多个节点的算力,而BROADCAST算子主要用于stream的子计划产生的数据量较少的情况,此时BROADCAST的代价较少。3.6 PGXC   - 场景:不能满足前面处理方式的极端场景,性能非常差。   - 原理:CN通过优化器把原语句中的部分语句生成RemoteQuery计划,把每个RemoteQuery下发到DN,DN执行后把中间结果数据发送给CN,CN收集后进行剩余执行计划的执行计算,CN承担了大部分计算。总结综上所述,GaussDB作为自主研发的新一代金融级分布式关系型数据库,采用可横向扩展的分布式架构,通过SQL优化器生成分布式算子以及分布式执行计划,提供了三种stream流(广播流、聚合流和重分布流)来降低数据在DN节点间的流动;执行引擎是一个分布式并行执行框架,支持节点间并行和节点内并行能力,充分利用当前多核特点,通过并发执行,提高系统吞吐量,具备大数据下高性能查询能力。  Ps:更多精彩内容,请点击回播链接进行观看:cid:link_0 
  • 【第26课】云数据库GaussDB惊艳来袭 —— 第三弹:数据实例的连接
    上回文说道,如何用内网连接数据库实例。今天,我们就来说说如何通过公网连接。GaussDB提供gsql工具远程连接数据库实例。您需要提前下载gsql工具并在ECS上安装gsql,通过gsql远程连接数据库实例。gsql工具下载请单击此处。公网连接的判断方式:如果安装gsql的ECS和数据库实例不在同一区域,同一可用区,则需要通过绑定弹性公网IP进行连接。前提条件需要已有GaussDB实例,实例购买指导请参考购买实例。已经下载gsql工具。操作步骤步骤 1、购买ECS,用于安装gsql工具。购买ECS指导请参考购买ECS。     gsql支持的操作系统版本如下:X86:EulerOS V2.5。鲲鹏服务器:EulerOS V2.8。步骤 2、在购买的弹性云服务器上,上传软件包并配置环境变量。以root用户登录弹性云服务器。创建“/tmp/tools”目录。mkdir /tmp/tools单击此处获取GaussDB软件包并解压。unzip GaussDB_opengauss_client_tools.zip根据申请的弹性云服务器的操作系统架构进入不同目录,获取“GaussDB-Kernel-xxx-EULER-64bit-gsql.tar.gz”,并上传到申请的弹性云服务器“/tmp/tools”路径下。软件包相对位置为安装时所放位置,根据实际情况填写。解压文件。cd /tmp/tools tar -zxvf GaussDB-Kernel-V500R001C00-EULER-64bit-gsql.tar.gz设置环境变量。打开“~/.bashrc”文件。vi ~/.bashrc按下i键进入INSERT模式,在其中输入如下内容后,单击“ESC”退出编辑模式,使用“:wq!”命令保存并退出。export PATH=/tmp/tools/bin:$PATH export LD_LIBRARY_PATH=/tmp/tools/lib:$LD_LIBRARY_PATH使环境变量配置生效。source ~/.bashrc步骤 3、判断实例与ECS是否需要通过公网连接。如果安装gsql的ECS和数据库实例不在同一区域,同一可用区,则需要通过绑定弹性公网IP进行连接。数据库实例的区域、可用区和VPC查看。ECS的区域、可用区和VPC查看方法如下:步骤 4 、为实例绑定公网IP。在实例基本信息页单击“绑定”,选择IP后进行绑定,如果账户下没有公网IP,需要去购买。步骤 5 、为ECS绑定公网IP,具体请参考ECS绑定弹性公网IP。步骤 6 、公网连接数据库实例。查看GaussDB数据库的公网IP地址,具体如下:然后通过公网登录ECS,并在ECS服务器执行如下命令进行连接:gsql -d postgres -h 10.154.217.136 -U root -p 8000 -r10.154.217.136为公网IP,要替换为自己实例绑定的公网IP。输入数据库root用户密码,成功登录。[root@ecs-a4e7 ~]# gsql -d postgres -h 10.154.217.136 -U root -p 8000 -r Password for user root: gsql ((GaussDB Kernel V500R001C10 build 23636d1b) compiled at 2020-09-24 22:23:07 commit 905 last mr 1150 ) SSL connection (cipher: DHE-RSA-AES128-GCM-SHA256, bits: 128) Type "help" for help. postgres=>步骤 7、数据库使用。postgres=> \dbs List of tablespaces Name | Owner | Location ------------+----------+---------- pg_default | rdsAdmin | pg_global | rdsAdmin | (2 rows) postgres=>----结束想知道如何通过公网连接的小伙伴们,敬请期待下期哦~~~更多详细内容,赶紧戳这里,了解详情吧~~
  • [热门活动] 华为云GaussDB挑战赛知识问答小课堂福利来咯!
    由华为云数据库和Gauss松鼠会联合承办的数据库领域重要赛事,华为云GaussDB数据库挑战赛火热进行中,为帮助参赛者们顺利通关,特为参赛者准备了GaussDB知识问答及相关知识科普,get重磅题目与学习资料,轻松赢初赛!现在报名仍可参与初赛,还有华为mate40系列手机、京东卡等豪华奖金池等你哦!立即报名-> https://competition.huaweicloud.com/information/1000041405/introduction?ggw_kfz 
  • [行业资讯] 华为云GaussDB持续技术创新,论文入选SIGMOD2021顶会
           6月22日,在2021ACM SIGMOD国际学术会议技术分论坛,华为GaussDB内核首席架构师任阳发表了《华为自研分布式数据库》主题演讲,分享了华为云新一代自研分布式数据库GaussDB的发展和使用现状,介绍了其5大创新技术,以及解读华为云GaussDB最新研究成果论文。华为GaussDB内核首席架构师任阳现场发表演讲任阳表示,华为从2007年开始进行数据库内核方面的开发,于2011年启动分布式数据库内核研发,2014年发布商用版本的OLAP分布式数据库,2017年发布商用版本的OLTP分布式数据库,2020年发布基于云服务的GaussDB分布式数据库。历经10+年千锤百炼,华为云GaussDB当前广泛应用于金融、政企以及大企业领域,中国头部的六家顶级银行,有四家已经选择了GaussDB分布式数据库。在全国范围内目前已经有1000+企业级客户广泛应用华为自研分布式数据库GaussDB。在华为内部,消费者云、流程IT等业务已经大量使用华为自研分布式数据库GaussDB。华为云GaussDB布局前沿技术,打造5大核心竞争力基于云化和企业2C业务的快速发展,华为将GaussDB分布式数据库的竞争力定义为五个维度,即高性能、高可用、混合负载、高安全以及易运维能力。高性能。华为云GaussDB在充分利用硬件能力基础上,如鲲鹏处理的多线程、原子指令、智能网卡的计算下推、RDMA的短时延高带宽、SCM的字节寻址持久化能力等,在软件技术领域通过动态编译、向量化引擎、SQL By Pass等能力,提供基于鲲鹏2路服务器150万tpmC,鲲鹏4路服务器230万tpmC,32节点全局强一致的1500万tpmC(基于SQL,非存储过程)能力。高可用。华为云GaussDB提供AZ内、跨AZ以及跨Region等各级的高可用能力。在单AZ内,基于无单点故障的设计,提供RPO=0,RTO < 10秒的高可用能力。在跨AZ场景下,提供同城跨AZ能力以及两地三中心能力,分别提供RPO=0,RTO < 60秒以及RPO < 10秒,RTO分钟级能力。对于有超过2000公里跨Region的需求场景,提供基于全球时钟的全球分布式能力,全局提供强一致性及五个九(999%)的可用性。混合负载。对于企业级数据库来说,混合负载是不可或缺的能力。第一,在实际系统中,很难将客户的实际业务负载区分为纯TP负载或者纯AP负载,例如我们在某银行中碰到的业务基本都是这个状况;第二,业界领先的主流商业数据库都具备混合负载能力。在华为云GaussDB分布式数据库中,我们通过全并行架构以及分布式优化器能力,可以很好地支持复杂查询能力,通过轻量级全局一致性事务协议(也叫GTM Lite)使得系统很好地支持短查询能力,同时系统具备极好的线性扩展性。高安全。云化系统需要在数据流转的整个生命周期中保证客户数据的安全性,其中包括数据传输、数据存储、数据查询以及数据正确性。对于数据传输和数据存储,这个是常规特性,可以通过传输加密和存储加密进行解决,但华为云GaussDB解决了数据查询和数据正确性方面的安全问题,通过密态查询,即在查询状态下数据始终处于加密状态解决数据查询的安全性问题。通过使用追踪链的方式,在多方状况下能够识别被篡改的数据,从而解决数据正确性问题。易运维。华为云GaussDB通过将AI能力引入数据库系统从而大幅度提升管理和运维能力,比如通过自调优,极大解放了DBA枯燥的调优工作,使其更聚焦于业务本身;通过引入索引推荐,帮助客户减少83%的索引冗余,索引占用空间减少70%;同时还使用AI技术重构了优化器、自诊断等一系列数据库核心模块。 结合AI技术实现创新,华为云GaussDB研究论文入选SIGMOD顶会在SIGMOD2021上,华为云GaussDB研究论文《Learned Cardinality Estimation for Similarity Queries》提出使用DNN进行基数预测,为了解决DNN训练问题,提出了极具创新的模型分割和数据分割解决方法,同时在此基础上提出了使用该方法进行连接操作结果集预测。该方法在BMS、GloVe300、ImageNetde等数据集上取得了很好的效果。此外,围绕AI-Native数据库主题,华为云GaussDB在SIGMOD 2022、VLDB2022以及ICDE2022上均有对应的投稿论文,基于AI技术,内容覆盖SQL生成、SQL诊断、优化器等方向。通过一系列研究,当前华为云GaussDB已经在该领域进阶到业界领先地位,并在该领域持续创新。值得一提的是,2020年,华为云GaussDB 系列数据库产品入选Gartner数据库魔力象限,其技术实力屡获权威认可。 Ps:618云数据库专场活动火热进行中,全场低至19.9元,欢迎选购>> https://activity.huaweicloud.com/dbs_Promotion/index.html 
  • [行业资讯] 华为云GaussDB发布5大核心技术,打造行业领先的技术竞争力
    6月20日,在ACM SIGMOD国际学术会议“中国数据库高峰论坛”,华为云数据库产品部总经理苏光牛发表了《云数据库的创新与发展》主题演讲,分享了华为云GaussDB数据库5大创新技术,坚持生态开放理念,加速千行百业数字化转型。数字化时代下,企业对云数据库提出了更高要求,既希望云数据库能满足海量业务场景下的复杂需求,又希望可以降低使用成本,提升业务效率,保障数据安全。云数据库也成为了产业升级转型和重塑产业格局的关键抓手。苏光牛提到,华为很早就开始重视数据库的投入和发展,从2007年开始研究数据库,到2020年统一数据库品牌GaussDB,华为持续战略投入数据库,并布局全球7大研究所,汇聚了一批海内外数据库领域专业人才,同时布局前沿技术,积极打造行业领先的技术竞争力。华为云数据库产品部总经理苏光牛发表演讲华为云GaussDB聚焦业务新场景,打造了以下5大核心技术竞争力:金融级高可用:华为云GaussDB提供了多种高可用方案,包括AZ内高可用、跨AZ多活、异地跨Region容灾的两地三中心容灾方案,满足金融级监管要求,并且历经银行核心关键业务严苛考验。软硬协同全栈能力:依托华为全产业链优势,垂直整合华为软硬件全栈资源,不断提升竞争力。企业级混合负载:分布式+全并行架构设计,提供事务处理与复杂查询高性能,支持1000+超大分布式集群能力,可以轻松应对海量高并发数据处理和复杂查询场景的考验。全密态数据库安全:华为云GaussDB实现从密钥处理、查询、内存、存储等全方位的安全合规和隐私保护,包括链路安全、存储安全、访问安全,同时对应用实现尽可能的透明,保证客户隐私安全。智能运维与调优:结合AI技术,实现数据库自动优化与调优等功能,让数据库管理变得更加智能高效。数据库呼唤开放的生态,华为也始终坚持开源开放理念,积极构建良好的数据库生态关系。华为云GaussDB目前已支持华为自有openGauss生态与主流开源数据库生态(如MySQL、MongoDB、Redis、InfluxDB、Cassandra等)。华为还将GaussDB部分核心能力开源到openGauss社区,鼓励合作伙伴基于开源openGauss发行属于自己的商业版本。此外,华为持续和高校联合开课,致力于培养数据库人才,繁荣数据库生态。目前,华为云GaussDB已在1000+大客户规模商用,遍布金融、政府、电信、能源、交通、电商等。另外还在SIGMOD、ICDE、VLDB等国际知名学术会议发表累计50+篇创新成果论文,内容涵盖系统架构、事务处理、AI自治、安全等。面向未来,华为云GaussDB将持续打造领先技术和服务,与更多合作伙伴一起共创时代新价值,共赢未来新机遇!
  • [行业资讯] 聚力创新,华为云联合数据库领域合作伙伴共同发布四大解决方案
     5月18日,在华为中国生态大会2021“驱动数据创新,共建GaussDB生态”分论坛现场,华为云数据库CTO庄乾锋分享了GaussDB的全栈能力和生态合作计划,并联合行业合作伙伴共同发布了四大解决方案:迪思杰大型数据库高性能复制平台和GaussDB联合解决方案、帆软自助大数据分析平台FineBI和GaussDB联合解决方案、用友YonBIP和GaussDB联合解决方案、长亮银行分布式核心业务系统与华为云GaussDB联合解决方案,为企业数字化转型进一步注入了新动力。 驱动数据创新,共建GaussDB生态 庄乾锋表示,云数据库将加速成为市场主流,会有越来越多的政企核心业务与数据上云。数据库是专家密集型行业,需要软硬件全栈协同提升竞争力。华为云GaussDB坚持长期战略投入,布局全球7大研究所,汇聚了1000+数据库专业人才,同时立足华为云原生全栈能力,整合华为公司多元领域经验,软硬协同,打造了稳定可靠、极致性能的数据库服务。 数据库产业呼唤开放的生态,客户不希望从传统封闭生态再走向另一个封闭生态。华为云GaussDB以市场为导向,遵循“一套架构、两个生态”的理念,基于统一的计算存储分离架构,支持华为自有openGauss生态和主流开源数据库生态(如MySQL、MongoDB、Redis、InfluxDB等),实现生态兼容、层次解耦、数据融合等能力。新品金融级分布式云数据库GaussDB更是具备应对海量并发事务处理与复杂查询混合负载的能力,在和金融客户的联创考验中,证明了其出色的金融级高可用商用能力。 华为云与数据库领域合作伙伴重磅发布四大解决方案 本次论坛,华为云联合迪思杰、帆软、用友、长亮等合作伙伴共同发布了四大解决方案。方案一:迪思杰大型数据库高性能复制平台和GaussDB联合解决方案 迪思杰(北京)数据管理技术有限公司(简称DSG)总经理韩宏坤介绍道,DSG与华为云GaussDB联合打造的解决方案,通过DSG 高性能数据实时异构复制平台与华为云数据库平台合作互补,满足各种企业级数据交换场景;DSG基于数据库日志的企业级复制技术,与GaussDB开放生态、高性能等优势互补,实现数据的实时同步和满足信创需求;DSG数据采集、数据集成、数据**一体化对接GaussDB,实现了智能数据资产探测、迁移与治理一体化能力。此外,DSG与华为在数据复制和迁移领域展开了重要合作,在智慧东莞、海关总署、太平洋保险等合作项目中取得亮眼成绩。方案二:帆软自助大数据分析平台FineBI和GaussDB联合解决方案 帆软软件有限公司售前总监贺道友分享到,帆软基于华为云GaussDB数据库,联合创建了集收集、分析、管理为一体的数据平台解决方案,该方案实现了业务数据分析可视化,数据处理高效迅速,加速数据使能,充分发挥了数据价值,实现了跨部门协同沟通,提升了企业沟通效率。基于该联合方案,帆软助力正邦集团构建从数据接入到数据分析的“端到端”智能数据系统,让数据精准到业务流程每一步;实现数据统一分析、管理效果显著,节约了50%数据处理时间;同时降低开发、运维投入,成本下降50%。方案三:用友YonBIP和GaussDB联合解决方案 用友网络科技股份有限公司平台与数据智能事业部区域总监&技术专家阎翼介绍到, 为了推进企业基于数字化的商业创新,加速企业数字化转型,用友推出了YonBIP商业创新平台。YonBIP平台完成了用友云服务与华为Docker、K8s、GaussDB等基础服务的深度适配,联合打造了云原生解决方案、全栈国产化方案以及“华为云+用友企业云服务”最佳方案等系列方案。尤其在亿级数据量性能验证过程中,YonBIP平台基于GaussDB在亿级数据量下的性能测试结果优于其他云数据库,其响应更快,资源占用更少,非常适用于大数据量、高并发、高负载等企业复杂场景。方案四:长亮银行分布式核心业务系统与华为云GaussDB联合解决方案 深圳市长亮科技股份有限公司解决方案总监张杰介绍到,长亮积极携手华为投身到鲲鹏生态整体体系建设和鲲鹏生态全面融合工作中,有力保障了银行核心业务系统数据安全,为银行核心系统业务发展保驾护航。长亮分布式核心系统基于GaussDB数据库等华为云基础服务能力,构建了强有力的竞争优势。尤其在某国有大行核心系统建设过程中,华为云GaussDB数据库高度匹配长亮分布式核心系统,完成了各项性能指标的验证,获得了优异的成绩,符合客户方预期。 数据库生态建设是一个长期艰巨的过程,华为云GaussDB会始终坚持生态开放,联合更多伙伴携手共建良好数据库生态,持续助力企业智能化升级,共赢产业新机遇。
  • [性能调优] 关于opengauss审计日志参数为$的问题
    我用BenchmarksSql对opengauss进行性能测试,测试过程中打开了审计日志功能。我想对获取到的日志中的查询语句进行批量的explain操作,但是由于日志中语句的参数为$,导致explain命令无法执行。请问下有什么办法吗?比如 日志中的语句为 select * from student where name=$1 and age=$2。
  • 删除联盟帖子测试----060101
    删除联盟帖子测试----060101
  • wap联盟发帖
    wap联盟发帖 508065
  • [活动&公告] 【第24课】云数据库GaussDB惊艳来袭 —— 第二弹:数据实例的连接
    上回文说道,如何用DAS连接数据库实例。今天,我们就来说说如何通过内网连接。GaussDB提供gsql工具远程连接数据库实例。您需要提前下载gsql工具并在ECS上安装gsql,通过gsql远程连接数据库实例。gsql工具下载请单击此处。前提条件需要已有GaussDB实例,实例购买指导请参考购买实例。已经下载gsql工具。操作步骤                                步骤 1      购买ECS,用于安装gsql工具。购买ECS指导请参考购买ECS。     gsql支持的操作系统版本如下:X86:EulerOS V2.5。鲲鹏服务器:EulerOS V2.8。                                步骤 2      在购买的弹性云服务器上,上传软件包并配置环境变量。以root用户登录弹性云服务器。创建“/tmp/tools”目录。mkdir /tmp/tools单击此处获取GaussDB软件包并解压。unzip GaussDB_opengauss_client_tools.zip根据申请的弹性云服务器的操作系统架构进入不同目录,获取“GaussDB-Kernel-xxx-EULER-64bit-gsql.tar.gz”,并上传到申请的弹性云服务器“/tmp/tools”路径下。软件包相对位置为安装时所放位置,根据实际情况填写。解压文件。cd /tmp/toolstar -zxvf GaussDB-Kernel-V500R001C00-EULER-64bit-gsql.tar.gz设置环境变量。打开“~/.bashrc”文件。vi ~/.bashrc按下i键进入INSERT模式,在其中输入如下内容后,单击“ESC”退出编辑模式,使用“:wq!”命令保存并退出。export PATH=/tmp/tools/bin:$PATHexport LD_LIBRARY_PATH=/tmp/tools/lib:$LD_LIBRARY_PATH使环境变量配置生效。source ~/.bashrc                                步骤 3      判断实例与ECS是否可以通过内网连接。如果ECS和实例在同一区域,同一可用区,说明ECS和实例网络互通,可以通过内网直接远程连接。数据库实例的区域、可用区和VPC查看方法如下。ECS的区域、可用区和VPC查看方法如下:                                步骤 4      内网连接数据库实例。查看GaussDB数据库的IP地址。然后在ECS服务器执行如下命令进行连接:gsql -d postgres -h 192.168.0.15 -U root -p 8000 -r192.168.0.15为内网IP,要替换为自己实例的IP。输入数据库root用户密码,成功登录。[root@ecs-a4e7 ~]# gsql -d postgres -h 192.168.0.168 -U root -p 8000 -rPassword for user root: gsql ((GaussDB Kernel V500R001C10 build 23636d1b) compiled at 2020-09-24 22:23:07 commit 905 last mr 1150 )SSL connection (cipher: DHE-RSA-AES128-GCM-SHA256, bits: 128)Type "help" for help. postgres=>                                步骤 5      数据库使用。postgres=> \dbs List of tablespaces Name | Owner | Location ------------+----------+---------- pg_default | rdsAdmin | pg_global | rdsAdmin | (2 rows) postgres=>----结束想知道如何通过公网连接的小伙伴们,敬请期待下期哦~~~更多详细内容,赶紧戳这里,了解详情吧~~
  • HDC·Cloud2021,华为云GaussDB在会上都揭秘了啥?
    4月24-26日,华为开发者大会2021(HDC·Cloud)在深圳隆重举办。在名师大讲堂分会场,华为云数据库多位技术专家分享了GaussDB系列数据库全新5大黑科技,包括支持亿级时间线、千万级tpmC突破、两地三中心、AI自治等,通过技术创新不断为企业数字化转型注入新动力。黑科技1:GaussDB(for Influx)支持亿级时间线随着云计算规模越来越大,物联网(IoT)和运维监控(AIOps)领域的时序数据呈爆炸式增长,海量时序数据的存储和管理也成为一大难题。为了应对数据膨胀带来的管理、监控等挑战,华为云时序数据库GaussDB(for Influx)对内存分配、回收、单查询等功能做了大量优化,同时通过对数据分区分级、专用存储引擎、自适应压缩算法、高性能多维聚合查询、存储分析告警统一架构等技术的提升,实现亿级时间线下系统写入性能的稳定,大幅超出开源InfluxDB写入能力。华为云创新lab数据库专家现场分享黑科技2:GaussDB性能突破1500万tpmC 华为云企业级分布式数据库GaussDB基于计算存储分离架构,着重构筑传统数据库的企业级能力和互联网分布式数据库的高扩展和高可用能力。作为主打政企核心业务负载的金融级分布式数据库旗舰产品,它通过GTM-Lite技术和分布式优化器提供极致的分布式扩展能力,保证事务全局强一致,性能突破传统数据库瓶颈,实现 32节点1500万tpmC,在银行业务实测中,性能大幅度领先其他云厂商。华为云数据库首席产品经理现场分享黑科技3:GaussDB(for MySQL) 极致备份恢复能力作为华为云新一代高性能企业级分布式数据库,GaussDB(for MySQL) 通过定制的分布式存储系统,支持数据库秒级快照备份;并行高速复制下,实现数据快速备份和恢复;通过冷热数据分离,实现TB级数据最快20分钟内恢复可用,而且支持任意时间点恢复,为数据的安全可靠提供了强有力的保障。黑科技4:GaussDB与AI结合,让数据库运维更加高效、极简华为云GaussDB通过将AI技术植入到数据库内核的架构和算法中,让数据库管理更加智能与高效。如GaussDB通过利用AI 技术实现数据库自调优、自诊断、自安全、自运维、自愈等能力。典型场景如慢SQL 发现、索引推荐、基于性能指标的时序预测与异常发现、参数智能调优等,借助 AI 技术能更好地优化数据库的性能,协助DBA 降低运维难度,提升运维效率,自动调度平衡资源池。黑科技5:GaussDB支持跨 AZ/Region 部署,让数据底座更加稳定可靠在政企客户最为关注的高可用方面,华为云GaussDB提供了多种高可用方案,包括同城AZ内高可用、跨AZ高可用、异地跨Region的两地三中心容灾方案,提供跨AZ的读一致性访问,多AZ节点必须读到一致的数据,满足金融级监管要求。比如GaussDB通过独有的Switch Turbo技术,保障了同城AZ内单点故障能够快速切换,实现RPO=0,RT0小于10秒。这5大黑科技是华为云GaussDB前进路上的重大新路标,也是华为云GaussDB匠心打造领先数据库服务的重要体现。华为云GaussDB深知,在数字化时代下,企业的业务场景会更加复杂,对云数据库的要求会水涨船高,谁能抓住新一轮发展机遇,更快更好提升技术和服务,就可以在未来发展中获得更大的主动权。华为云GaussDB会不断积蓄力量,持续打造更与时俱进、更贴合企业场景的数据库服务,进一步加速企业数字化转型。详情内容可戳:cid:link_0
  • [技术干货] 【汇总】数据库GaussDB系列技术直播
    GaussDB是华为云推出的新一代企业级分布式数据库,在支撑传统业务的基础上,持续构建竞争力特性,为企业面向5G时代的挑战,提供了无限可能。第1期 认识华为云数据库GaussDB【直播主题】认识华为云数据库GaussDB【内容简介】华为云数据库工程师大明将为大家讲解华为云数据库 GaussDB总体架构及组件介绍【嘉宾简介】主讲老师:大明,华为云数据库内核开发工程师,PG中文社区核心委员,负责华为云PostgreSQL系列产品的设计开发。主持人:张一一,华为云数据库生态总监【直播链接】cid:link_0  第2期 GaussDB数据存储与访问【直播主题】GaussDB数据存储与访问【内容简介】1. 华为云数据库 GaussDB数据分布方式2. 华为云数据库 GaussDB读写流程3. 华为云数据库 GaussDB功能演示【嘉宾简介】主讲老师:廷哥,华为云数据库内核专家,多年数据库内核开发经验,曾参与 GaussDB多个版本的内核研发,在分布式架构、存储引擎、高可用方面有着丰富的经验,致力于openGauss及PostgreSQL在金融、互联网等行业的应用与推广。主持人:张一一,华为云数据库生态总监,2012年加入华为,从事数据库工作7年,对数据库的产业发展有深厚的理解,拥有丰富的生态工作经验,致力于推动数据库产业共识和标准化建立。【直播链接】cid:link_1 第3期 GaussDB数据加载【直播主题】GaussDB数据加载【直播简介】华为云数据库 GaussDB数据加载工具及适用场景【嘉宾简介】【直播链接】cid:link_2 第4期 GaussDB数据迁移之DRS【直播简介】DRS数据迁移功能简介、实现原理及适用场景【嘉宾简介】【直播链接】cid:link_3 第5期 GaussDB SQL优化解读【直播主题】GaussDB SQL优化解读【直播简介】介绍SQL分布式算子与分布式执行计划、分布式并行执行框架【嘉宾简介】【直播链接】cid:link_4 第6期 GaussDB华为消费者云优秀实践【直播主题】GaussDB华为消费者云优秀实践【直播简介】GaussDB华为消费者云技术方案【嘉宾简介】【课程链接】cid:link_5
  • 听说一代数据库大侠都是这样练成的?
    我们年少时都有过这样的幻想化身侠客去闯荡江湖救人于危难之中 但你知道成为一代大侠需要经历什么吗?今天,就让我们跟随GaussDB揭秘一代数据库大侠的修炼秘笈年少习武,名师传授华为云GaussDB大家也可以叫他库大师库大师自幼被师父高斯收于门下从小立志要在高手如林的关系型数据库武林闯出一片天,成为一代大侠刻苦修炼,练就神功经过名师指导和自身刻苦修炼库大师历经十三年练就六大绝招 第一招:一剑千里-高可用两地三中心架构设计跨Region数据实时灾备无论在何地,无论多远库大师都保障数据高可用实现全栈无单点故障不仅可以做到分布式强一致,数据0丢失还能有效降低容灾成本既招招到位,又最大程度保存自身实力第二招:海纳百川-开放生态海纳百川,包容乃大库大师集众家之长并自成一派开放了openGauss生态避免了被类似传统商业数据库的封闭生态锁定同时支持和鼓励其他门派基于openGauss开放能力自创出独树一帜的武功秘籍第三招:无量神掌-极致扩展库大师基于分布式全局事务一致性优化的内功遇强则强,流量洪峰期时可按需扩展扩展性高达1000+同时支持新增分片的数据在线重分布能力PB级海量事务型存储分分钟搞定千军万马也应付自如第四招:凌波微步-卓越性能库大师拥有分布式优化器+Numa-aware技术心法加持在赫赫有名的TPC-C和TPC-H等测试排行榜中名列前茅企业级负载下性能表现卓越翩若惊鸿,婉若游龙给人轻盈飞快之感第五招:混元功-丰富的企业级特性古人云:狡兔三窟,得免其死绝招越多,实力愈大,自保能力越强库大师自创了一系列能力的混元功正是如此比如适用于HTAP混合负载、单分片部署模式等企业级场景拥有智能诊断、索引推荐等AI自治能力再复杂情况下也可以全身而退第六招:无懈可击-高安全攻是守之机,守是攻之策一个大侠应该具备进可攻退可守、攻守结合的修养库大师支持TDE透明加密、全密态、防篡改等安全技术承袭师父高斯10年+研发管理经验包括核心代码拥有100% 的知识产权对产品所有模块都具备代码级的问题修复及架构优化能力可以轻松面对各种明枪暗箭闯荡天下,升级打怪库大师下山闯荡,一路行侠仗义短时间内名声斐然,武功也不断精进于是决定约战武林两大关系型数据库高手传统关系型数据库和分布式数据库中间件 紫禁之巅,三人大战,四招定胜负GaussDB VS传统关系型数据库GaussDBVS分布式数据库中间件兼济天下,为国为民闯荡江湖多年,库大师已登顶武林巅峰偌大江湖难遇敌手于是决定效仿先贤侠之大者,为国为民向全网开放商用GaussDB的能力让金融政企等更多有识之士学习、使用和体验为企业数字化转型提供无限新动力延伸链接:cid:link_0
总条数:1539 到第
上滑加载中