• [技术专区] 我要测试发帖
    我要测试发帖
  • [活动&公告] 【第24课】云数据库GaussDB惊艳来袭 —— 第二弹:数据实例的连接
    上回文说道,如何用DAS连接数据库实例。今天,我们就来说说如何通过内网连接。GaussDB提供gsql工具远程连接数据库实例。您需要提前下载gsql工具并在ECS上安装gsql,通过gsql远程连接数据库实例。gsql工具下载请单击此处。前提条件需要已有GaussDB实例,实例购买指导请参考购买实例。已经下载gsql工具。操作步骤                                步骤 1      购买ECS,用于安装gsql工具。购买ECS指导请参考购买ECS。     gsql支持的操作系统版本如下:X86:EulerOS V2.5。鲲鹏服务器:EulerOS V2.8。                                步骤 2      在购买的弹性云服务器上,上传软件包并配置环境变量。以root用户登录弹性云服务器。创建“/tmp/tools”目录。mkdir /tmp/tools单击此处获取GaussDB软件包并解压。unzip GaussDB_opengauss_client_tools.zip根据申请的弹性云服务器的操作系统架构进入不同目录,获取“GaussDB-Kernel-xxx-EULER-64bit-gsql.tar.gz”,并上传到申请的弹性云服务器“/tmp/tools”路径下。软件包相对位置为安装时所放位置,根据实际情况填写。解压文件。cd /tmp/toolstar -zxvf GaussDB-Kernel-V500R001C00-EULER-64bit-gsql.tar.gz设置环境变量。打开“~/.bashrc”文件。vi ~/.bashrc按下i键进入INSERT模式,在其中输入如下内容后,单击“ESC”退出编辑模式,使用“:wq!”命令保存并退出。export PATH=/tmp/tools/bin:$PATHexport LD_LIBRARY_PATH=/tmp/tools/lib:$LD_LIBRARY_PATH使环境变量配置生效。source ~/.bashrc                                步骤 3      判断实例与ECS是否可以通过内网连接。如果ECS和实例在同一区域,同一可用区,说明ECS和实例网络互通,可以通过内网直接远程连接。数据库实例的区域、可用区和VPC查看方法如下。ECS的区域、可用区和VPC查看方法如下:                                步骤 4      内网连接数据库实例。查看GaussDB数据库的IP地址。然后在ECS服务器执行如下命令进行连接:gsql -d postgres -h 192.168.0.15 -U root -p 8000 -r192.168.0.15为内网IP,要替换为自己实例的IP。输入数据库root用户密码,成功登录。[root@ecs-a4e7 ~]# gsql -d postgres -h 192.168.0.168 -U root -p 8000 -rPassword for user root: gsql ((GaussDB Kernel V500R001C10 build 23636d1b) compiled at 2020-09-24 22:23:07 commit 905 last mr 1150 )SSL connection (cipher: DHE-RSA-AES128-GCM-SHA256, bits: 128)Type "help" for help. postgres=>                                步骤 5      数据库使用。postgres=> \dbs List of tablespaces Name | Owner | Location ------------+----------+---------- pg_default | rdsAdmin | pg_global | rdsAdmin | (2 rows) postgres=>----结束想知道如何通过公网连接的小伙伴们,敬请期待下期哦~~~更多详细内容,赶紧戳这里,了解详情吧~~
  • HDC·Cloud2021,华为云GaussDB在会上都揭秘了啥?
    4月24-26日,华为开发者大会2021(HDC·Cloud)在深圳隆重举办。在名师大讲堂分会场,华为云数据库多位技术专家分享了GaussDB系列数据库全新5大黑科技,包括支持亿级时间线、千万级tpmC突破、两地三中心、AI自治等,通过技术创新不断为企业数字化转型注入新动力。黑科技1:GaussDB(for Influx)支持亿级时间线随着云计算规模越来越大,物联网(IoT)和运维监控(AIOps)领域的时序数据呈爆炸式增长,海量时序数据的存储和管理也成为一大难题。为了应对数据膨胀带来的管理、监控等挑战,华为云时序数据库GaussDB(for Influx)对内存分配、回收、单查询等功能做了大量优化,同时通过对数据分区分级、专用存储引擎、自适应压缩算法、高性能多维聚合查询、存储分析告警统一架构等技术的提升,实现亿级时间线下系统写入性能的稳定,大幅超出开源InfluxDB写入能力。华为云创新lab数据库专家现场分享黑科技2:GaussDB性能突破1500万tpmC 华为云企业级分布式数据库GaussDB基于计算存储分离架构,着重构筑传统数据库的企业级能力和互联网分布式数据库的高扩展和高可用能力。作为主打政企核心业务负载的金融级分布式数据库旗舰产品,它通过GTM-Lite技术和分布式优化器提供极致的分布式扩展能力,保证事务全局强一致,性能突破传统数据库瓶颈,实现 32节点1500万tpmC,在银行业务实测中,性能大幅度领先其他云厂商。华为云数据库首席产品经理现场分享黑科技3:GaussDB(for MySQL) 极致备份恢复能力作为华为云新一代高性能企业级分布式数据库,GaussDB(for MySQL) 通过定制的分布式存储系统,支持数据库秒级快照备份;并行高速复制下,实现数据快速备份和恢复;通过冷热数据分离,实现TB级数据最快20分钟内恢复可用,而且支持任意时间点恢复,为数据的安全可靠提供了强有力的保障。黑科技4:GaussDB与AI结合,让数据库运维更加高效、极简华为云GaussDB通过将AI技术植入到数据库内核的架构和算法中,让数据库管理更加智能与高效。如GaussDB通过利用AI 技术实现数据库自调优、自诊断、自安全、自运维、自愈等能力。典型场景如慢SQL 发现、索引推荐、基于性能指标的时序预测与异常发现、参数智能调优等,借助 AI 技术能更好地优化数据库的性能,协助DBA 降低运维难度,提升运维效率,自动调度平衡资源池。黑科技5:GaussDB支持跨 AZ/Region 部署,让数据底座更加稳定可靠在政企客户最为关注的高可用方面,华为云GaussDB提供了多种高可用方案,包括同城AZ内高可用、跨AZ高可用、异地跨Region的两地三中心容灾方案,提供跨AZ的读一致性访问,多AZ节点必须读到一致的数据,满足金融级监管要求。比如GaussDB通过独有的Switch Turbo技术,保障了同城AZ内单点故障能够快速切换,实现RPO=0,RT0小于10秒。这5大黑科技是华为云GaussDB前进路上的重大新路标,也是华为云GaussDB匠心打造领先数据库服务的重要体现。华为云GaussDB深知,在数字化时代下,企业的业务场景会更加复杂,对云数据库的要求会水涨船高,谁能抓住新一轮发展机遇,更快更好提升技术和服务,就可以在未来发展中获得更大的主动权。华为云GaussDB会不断积蓄力量,持续打造更与时俱进、更贴合企业场景的数据库服务,进一步加速企业数字化转型。详情内容可戳:cid:link_0
  • [技术干货] 【汇总】数据库GaussDB系列技术直播
    GaussDB是华为云推出的新一代企业级分布式数据库,在支撑传统业务的基础上,持续构建竞争力特性,为企业面向5G时代的挑战,提供了无限可能。第1期 认识华为云数据库GaussDB【直播主题】认识华为云数据库GaussDB【内容简介】华为云数据库工程师大明将为大家讲解华为云数据库 GaussDB总体架构及组件介绍【嘉宾简介】主讲老师:大明,华为云数据库内核开发工程师,PG中文社区核心委员,负责华为云PostgreSQL系列产品的设计开发。主持人:张一一,华为云数据库生态总监【直播链接】cid:link_0  第2期 GaussDB数据存储与访问【直播主题】GaussDB数据存储与访问【内容简介】1. 华为云数据库 GaussDB数据分布方式2. 华为云数据库 GaussDB读写流程3. 华为云数据库 GaussDB功能演示【嘉宾简介】主讲老师:廷哥,华为云数据库内核专家,多年数据库内核开发经验,曾参与 GaussDB多个版本的内核研发,在分布式架构、存储引擎、高可用方面有着丰富的经验,致力于openGauss及PostgreSQL在金融、互联网等行业的应用与推广。主持人:张一一,华为云数据库生态总监,2012年加入华为,从事数据库工作7年,对数据库的产业发展有深厚的理解,拥有丰富的生态工作经验,致力于推动数据库产业共识和标准化建立。【直播链接】cid:link_1 第3期 GaussDB数据加载【直播主题】GaussDB数据加载【直播简介】华为云数据库 GaussDB数据加载工具及适用场景【嘉宾简介】【直播链接】cid:link_2 第4期 GaussDB数据迁移之DRS【直播简介】DRS数据迁移功能简介、实现原理及适用场景【嘉宾简介】【直播链接】cid:link_3 第5期 GaussDB SQL优化解读【直播主题】GaussDB SQL优化解读【直播简介】介绍SQL分布式算子与分布式执行计划、分布式并行执行框架【嘉宾简介】【直播链接】cid:link_4 第6期 GaussDB华为消费者云优秀实践【直播主题】GaussDB华为消费者云优秀实践【直播简介】GaussDB华为消费者云技术方案【嘉宾简介】【课程链接】cid:link_5
  • 听说一代数据库大侠都是这样练成的?
    我们年少时都有过这样的幻想化身侠客去闯荡江湖救人于危难之中 但你知道成为一代大侠需要经历什么吗?今天,就让我们跟随GaussDB揭秘一代数据库大侠的修炼秘笈年少习武,名师传授华为云GaussDB大家也可以叫他库大师库大师自幼被师父高斯收于门下从小立志要在高手如林的关系型数据库武林闯出一片天,成为一代大侠刻苦修炼,练就神功经过名师指导和自身刻苦修炼库大师历经十三年练就六大绝招 第一招:一剑千里-高可用两地三中心架构设计跨Region数据实时灾备无论在何地,无论多远库大师都保障数据高可用实现全栈无单点故障不仅可以做到分布式强一致,数据0丢失还能有效降低容灾成本既招招到位,又最大程度保存自身实力第二招:海纳百川-开放生态海纳百川,包容乃大库大师集众家之长并自成一派开放了openGauss生态避免了被类似传统商业数据库的封闭生态锁定同时支持和鼓励其他门派基于openGauss开放能力自创出独树一帜的武功秘籍第三招:无量神掌-极致扩展库大师基于分布式全局事务一致性优化的内功遇强则强,流量洪峰期时可按需扩展扩展性高达1000+同时支持新增分片的数据在线重分布能力PB级海量事务型存储分分钟搞定千军万马也应付自如第四招:凌波微步-卓越性能库大师拥有分布式优化器+Numa-aware技术心法加持在赫赫有名的TPC-C和TPC-H等测试排行榜中名列前茅企业级负载下性能表现卓越翩若惊鸿,婉若游龙给人轻盈飞快之感第五招:混元功-丰富的企业级特性古人云:狡兔三窟,得免其死绝招越多,实力愈大,自保能力越强库大师自创了一系列能力的混元功正是如此比如适用于HTAP混合负载、单分片部署模式等企业级场景拥有智能诊断、索引推荐等AI自治能力再复杂情况下也可以全身而退第六招:无懈可击-高安全攻是守之机,守是攻之策一个大侠应该具备进可攻退可守、攻守结合的修养库大师支持TDE透明加密、全密态、防篡改等安全技术承袭师父高斯10年+研发管理经验包括核心代码拥有100% 的知识产权对产品所有模块都具备代码级的问题修复及架构优化能力可以轻松面对各种明枪暗箭闯荡天下,升级打怪库大师下山闯荡,一路行侠仗义短时间内名声斐然,武功也不断精进于是决定约战武林两大关系型数据库高手传统关系型数据库和分布式数据库中间件 紫禁之巅,三人大战,四招定胜负GaussDB VS传统关系型数据库GaussDBVS分布式数据库中间件兼济天下,为国为民闯荡江湖多年,库大师已登顶武林巅峰偌大江湖难遇敌手于是决定效仿先贤侠之大者,为国为民向全网开放商用GaussDB的能力让金融政企等更多有识之士学习、使用和体验为企业数字化转型提供无限新动力延伸链接:cid:link_0
  • [行业资讯] 实时支撑千亿数据,高效出行的背后全因有TA
     说起出行定位,大家或多或少都被导航系统坑过,有人跟着系统指示在原地转了几大圈,就是找不到目的地;有人明明根据提示前方800米左转,然后走了大概200米,突然提示你已经偏离方向……于是糟心发问:定位不精准,数据反映慢,到底是谁的锅? 额,也许是数据库没使用正确呢! 要知道,定位业务的应用场景非常丰富,大至山川湖海、城市人文,小至楼宇屋舍、方寸天地,定位服务请求每日多达亿次,数据量增长快,且要求秒级精准响应,如果没有一个高性能的数据库作为支撑,怎么能处理好这些海量数据呢? 所以,今天我们就来聊聊华为消费者云定位服务是如何基于数据库为用户提供精准定位的。千亿数据难处理,消费者云寻求云上突围 华为消费者云是华为针对终端用户提供围绕数据、应用、出行、娱乐等众多场景的数字生**验的功能与服务的统称,拥有数亿+终端用户,月活量高达数亿。定位服务是华为消费者云数据量最大的单体服务之一,为数亿华为设备提供定位支持,为超过1700+款APP提供定位数据。定位服务初始存量数据有上千亿行,迁移时每日数据量增长8亿左右,后来数据量已增加到原来的2倍。 随着数据量的与日俱增,如何高效处理海量数据的问题日益凸显。如何快速通过云化,让数据库根据数据量变化快速弹性扩容,成为消费者云定位服务提升服务能力的关键所在。为支撑数据体量巨大的定位服务,华为消费者云将原先使用的线下MySQL数据库系统升级替换为华为云原生分布式数据库GaussDB,而被消费者云选中的“天之骄子”GaussDB也在这场升级改造中表现卓越。超大规模集群,高效支撑日均百亿级访问 定位服务拥有华为数亿+设备的定位数据,整体单表累计数千亿行,目前每天的业务量访问次数已经达到上百亿次。面对如此巨大的访问量,华为云GaussDB通过提供高性能的大规模集群资源,支持自动负载均衡,业务高峰时有效支撑几十万TPS的并发访问,应对日均百亿次的业务压力也毫不费力,极大提升了定位服务的服务效率。在线扩容,轻松应对海量写入压力 因庞大的用户量和业务量,定位服务的高频带冲突写入峰值高达百万行每秒,对数据库的扩展能力考验极大。华为云GaussDB通过优化的存储管理和锁机制,在高比例冲突场景下upsert性能远远优于原MySQL,能高效支撑百TB级数据处理。而且华为云GaussDB支持节点扩容和磁盘扩容,扩容过程支持业务数据持续入库,确保业务不中断,平滑过渡,满足业务量逐步增加所需要的处理能力和存储空间弹性扩展的要求。GaussDB面对数据激增的浪涌弹性发放,资源灵活部署,以后出行再也不用担心定位系统闹脾气,路径输出延时了。业务高可用,故障秒级切换  定位服务需要提供实时定位,不能接受业务中断、数据丢失等故障问题。华为云GaussDB凭借卓越的高可用能力,支持多AZ部署,单分片多副本之间采用反亲和部署,最大限度降低AZ级故障以及单台宿主机故障对整个集群的影响,故障发生时可以在秒级内完成主备切换,保障业务的持续运行。 定位服务关乎人们出行、生活的基础保障,华为云原生分布式数据库GaussDB方案极大地提升了出行定位的运营效率和服务水平。数字化时代下,华为云GaussDB会持续锐意创新,以更先进的技术紧密结合定位服务的发展,让人们更快乐高效出行。  【重磅活动推荐】作为华为ICT基础设施业务面向全球开发者的年度盛会,华为开发者大会2021(Cloud)将于2021年4月24日-26日在深圳举行。本届大会以#每一个开发者都了不起#为主题,将汇聚业界大咖、华为科学家、顶级技术专家、天才少年和众多开发者,共同探讨和分享云、计算、人工智能等最新ICT技术在行业的深度创新和应用。智能时代,每一个开发者都在创造一往无前的奔腾时代。世界有你,了不起!点击阅读原文,了解大会详细信息。cid:link_1
  • [技术干货] 华为云GaussDB专场直播第2期:让数据“存得下、算得快、算得准”
    1.前言 随着云计算规模越来越大,企业业务数据量呈指数级增长,传统数据库在海量数据存储与管理方面显得力不从心,面临“存不下,算得慢、算不准”的问题。 面对挑战,华为云数据库深度融合华为在数据库领域多年的经验,充分结合了企业级场景需求,基于openGauss自研生态推出了企业级分布式关系型数据库GaussDB。GaussDB目前支持单分片和分布式两种部署形态,在支撑传统业务的基础上,持续构建竞争力特性,为企业面向数字化转型提供了无限可能。 4月9日,由华为云主办的GaussDB系列技术直播第2期《华为云数据库 GaussDB数据存储与访问》于线上开启,直播详细介绍了GaussDB的数据分布方式和数据读写流程,为方便大家快速了解GaussDB,本文结合第2场直播内容从总体架构、数据分布方式、计算下推、数据强一致等方面进行介绍。2.分布式架构  GaussDB是一个典型的基于数据分片的双层分布式架构(share nothing),数据通过一定的规则比如hash、list或者range等让数据打散分布到不同的数据节点上,计算时底层多个数据节点共同参与,上层协调节点负责执行计划生成和结果汇聚。3.让数据“存得下、算得快、算得准” 随着5G时代的到来,单一节点是难以应对数据规模的不断增长并确保性能的需要,业务面临“存不下、算得慢、算不准”的问题。而GaussDB可横向扩展的分布式架构可以很好满足大规模海量数据的计算存储需求,让数据“存得下、算得快、算得准”。3.1海量数据“存得下”         GaussDB支持1000+的数据节点扩展能力,数据通过一定的规则比如hash、list或者range等让数据打散分布到不同的数据节点上,让数据“存得下”。数据分布方式         GaussDB支持hash、list、range、replication分布方式,下图以hash和replication为例,示意了数据在DN节点上的分布情况。create table通过distribute by语法指定表的数据分布方式。hash分布把数据散列存储到所有DN,适合数据量比较大的表;replication分布把数据复制存储到所有DN,数据更新时,会同时更新所有DN,采用2PC(两阶段提交)保证分布式事务的一致性,适合更新频率比较低的小表。一致性hash GaussDB的hash分布采用类似一致性hash的方式,数据通过两层映射,第一层通过hash映射把数据映射到N个hash bucket中,或者叫vnode中;第二层映射把vnode映射到物理的datanode上。扩容时,只需要调整二层映射,保证数据搬迁最小:数据只会搬迁到新节点,已有节点之间不会互相搬迁数据;分布键的选择         对于数据分布来讲,分布键的选择至关重要,不合适的分布键会导致数据倾斜,导致木桶效应。分布键的选择一般遵循如下原则:尽量选择distinct值比较多的列,保证数据均匀分布。分布均匀是为了避免木桶效应,各个节点对等执行。尽量选择Join列或group 列做分布列。尽量选择Join列或group 列是为了避免数据节点之间数据流动,提高性能。数据倾斜         当我们选择了一个分布键之后,如何判断数据是否分布均匀呢?GaussDB提供了SQL语句可以方便的查询是否发生了数据倾斜。         通过如下方法,可以查询数据存储在那个DN,其中xc_node_id就是DN的内部标识,取值于系统表pgxc_node的xc_node_id列。           通过如下SQL,就可以查看表在各个DN上的数据分布情况,一般来说,DN的数据量相差10%以上,则可能发生了数据倾斜,就要考虑按照前面的原则调整分布列。SELECT a.count,b.node_name FROM (SELECT count(*) AS count,xc_node_id FROM tablename GROUP BY xc_node_id) a, pgxc_node b WHERE a.xc_node_id=b.node_id ORDER BY a.count DESC; 3.2计算下推,“算得快” GaussDB的优化器和全并行分布式执行能力,把计算下推到DN节点,减少数据移动,让数据“算得快”。数据读写流程大致执行过程:业务应用下发SQL给Coordinator ,SQL可以包含对数据的CRUD操作;Coordinator利用数据库的优化器生成执行计划,每个DN会按照执行计划的要求去处理数据;数据基于一致性Hash算法分布在每个DN,因此DN在处理数据的过程中,可能需要从其他DN获取数据,GaussDB提供三种stream流(广播流、聚合流和重分布流)实现数据在DN间的流动,使得join无需抽取到CN执行;DN将结果集返回给Coordinate进行汇总;Coordinator将汇总后的结果返回给业务应用。 华为在SQL执行优化方面有多年的沉淀,即使是复杂的SQL、事务分析混合(HTAP)的场景也能得到最佳的执行,我给大家举一些列子:基于代价的优化基数估算:Feedback增强、AI基数增强代价估算:行存/列存代价估算、网络通信代价估算搜索算法:动态规划方法、遗传算法、AI搜索分布式执行计划能力Light ProxyFast Query ShippingRemote Query Shipping自研Cascade优化器对象化处理规则应用及搜索任务基于分支限界的剪枝技术计算下推         优化器是GaussDB关键技术之一,可以把各种复杂的SQL进行下推执行,最小化数据移动,这是GaussDB相对于基于分库分表的中间件方案的核心优势(对于复杂查询,由于计算无法下推,中间件很容易成为性能瓶颈,需要业务做比较大的改造来规避)。         以下案例的表结构为:         create table t1(a int, b int, c int) distribute by hash(a);         create table t2(a int, b int, c int) distribute by hash(a);单表查询下推 单表查询,不管SQL的where条件是否带有分片键,优化器都可以生成下推的执行计划,包括sort/group by等复杂算子,都可以下推。          1)分片键上的where条件,直接下推到DN         2)非分片键where条件,DN先计算,CN做汇总,sort/group by可以直接下推到DNJoin查询下推        1)分片键上的join条件,直接下推到DN执行       2)非分片键join条件,DN直接做数据交换,避免CN成为性能瓶颈        1,Join下推到DN执行,DN之间直接进行数据重分布,交换数据,无需CN参与;CBO优化器选择小表t2做重分布;        2,Sort下推到DN,CN只需做归并排序,避免CN成为性能瓶颈;3.3数据强一致,“算得准”       数据强一致是GaussDB相对于基于分库分表的中间件方案的另一个核心优势,基于中间件的方案由于不感知事务的快照逻辑,只能做到最终一致性,部分场景需要业务做比较大的改造来规避陷阱。GaussDB提供数据强一致能力,让数据“算得准”。分布式强一致:       1)两阶段提交保证写的原子性。       2)两阶段提交对用户透明,写操作如果只涉及一个节点,无需使用两阶段提交。       3)全局CSN保证读的强一致。高性能事务管理:    GTM线程池、原子的CSN分配,中心节点无性能瓶颈。4.总结 综上所述,GaussDB基于可横向扩展的分布式架构,提供了海量存储、快速响应、数据强一致的能力,可以很好满足大规模海量数据的计算存储需求,让数据“存得下、算得快、算得准”。 值得一提的是,openGauss是开放的生态:架构开放、代码开放、技术开放和社区开放,方便企业选择开放的生态,让自己的业务具备更好的连续性。毕竟如果让企业从一个封闭的生态走向为另外一个封闭的生态,本质上并没有解决业务连续性的问题,不开放的生态是没有活力的,数据库软件尤甚,所以华为十分重视生态开放。 目前openGauss单分片版本的源代码已经开源,社区地址为:https://opengauss.org,欢迎大家自行下载、安装和体验。 Ps:错过直播的小伙伴不要灰心,点击链接回播视频看起来:cid:link_0 
  • [问题求助] 3123123
    123123123
  • 4135415431
    5315143 484460
  • [问题求助] 312312
    3123123123 483277
  • 3123123
    123123123 483276 3123123
  • 【第22课】云数据库GaussDB惊艳来袭 —— 第一弹:数据实例的连接
    什么是云数据库GaussDB云数据库 GaussDB,以下简称GaussDB。GaussDB是华为公司倾力打造的自研企业级分布式关系型数据库,该产品具备企业级复杂事务混合负载能力,同时支持优异的分布式事务,同城跨AZ部署,数据0丢失,支持1000+扩展能力,PB级海量存储等企业级数据库特性。拥有云上高可用,高可靠,高安全,弹性伸缩,一键部署,快速备份恢复,监控告警等关键能力,能为企业提供功能全面,稳定可靠,扩展性强,性能优越的企业级数据库服务。同时华为开源GaussDB单机主备社区版本,鼓励更多伙伴、开发者共同繁荣中国数据库生态。更多介绍请单击:初识华为云数据库GaussDB。GaussDB支持的连接方式GaussDB提供使用内网、公网和数据管理服务(Data Admin Service,简称DAS)的连接方式。各连接方式的使说明如下,您可以根据需要选择。GaussDB连接方式如下:连接方式IP地址使用场景说明DAS连接无需使用IP地址通过华为云数据管理服务(Data Admin Service,简称DAS)这款可视化的专业数据库管理工具,可获得执行SQL、高级数据库管理、智能化运维等功能,做到易用、安全、智能地管理数据库。GaussDB默认开通DAS连接权限。易用、安全、高级、智能。优先推荐使用DAS连接。内网连接内网IP地址系统默认提供内网IP地址。当应用部署在弹性云服务器上,且该弹性云服务器与GaussDB实例处于同一区域,同一VPC时,建议单独使用内网IP连接弹性云服务器与GaussDB实例。安全性高,可实现GaussDB的较好性能。如果不使用DAS连接,则推荐使用内网连接。公网连接弹性公网IP不能通过内网IP地址访问GaussDB实例时,使用公网访问,建议单独绑定弹性公网IP连接弹性云服务器(或公网主机)与GaussDB实例。降低安全性。为了获得更快的传输速率和更高的安全性,建议您将应用迁移到与您的GaussDB实例在同一子网,使用内网连接。今天,我们先来说说如何通过DAS来连接实例。通过DAS连接前提条件需要已有GaussDB实例,实例购买指导请参考购买实例。操作步骤步骤 1      进入DAS服务。在服务列表,选择数据库中的数据库管理服务DAS。步骤 2      设置DAS连接服务。选择“进入标准版”。点击“新增数据库登录”。在此设置页面,“数据库引擎”选择GaussDB,然后在“数据库来源”中就会出现当前账号下已有的GaussDB数据库实例。选中想要连接的实例。填写登录用户名及密码,单击“测试连接”。测试连接成功后会提示“连接成功”。成功后,可以选择勾选“记住密码”、“定时采集”功能,勾选完成后单击“立即新增”。步骤 3      新增完成,通过单击“登录”可以进入到相应的数据库实例。步骤 4      登录完成后,即可在DAS中完成数据库操作。----结束想知道如何通过内网及公网连接的小伙伴们,敬请期待下期哦~~~更多详细内容,赶紧戳这里,了解详情吧~~
  • 90后就敢当扫地僧!不服?4月24号来闯龙门阵!
     如果全世界的数据库一夜消失,我们的生活将会怎样? 你会发现,银行账户无法存取钱、社保账户无法查询、电商购物车无法使用、博客无法更新、社交平台无法获得推荐内容、智能手表无法获取身体监测数据…… 数据库,这门将计算机科学和易于人类理解认知的数据管理方式完美衔接在一起的学科,自上个世界五十年代伊始就逐渐改变着世界运行方式;直至今日,大家离开数据库将寸步难行,所有的工作与生活都需要各种数据库的紧密支撑。 时光的指针不疾不徐,蓦然回首,数据库产业已是沧海桑田。从哲学博士E.F.Codd在1962年用一篇《用于大型共享数据库的关系数据模型》论文,揭开数据库产业轰轰烈烈的发展历程开始,MySQL、PostgreSQL、Redis、E.F.Codd、Bob Miner、Michael Monty Widenius、Eliot Horowits、Bruce Momjian……数据库一直都是牛人辈出、创新不止的代名词。 如今,数字化浪潮滚滚而来,云计算、大数据、AI、物联网等新技术蓬勃发展,也让数据库又开启了一个崭新的春天。毫无疑问,这是开发者们最好的时代,丰富的数据库为开发者提供一个无比精彩的舞台。 那么,数据库未来有哪些重要的发展趋势,开发者该注重哪些数据库技术?开发者在云数据库时代如何做好职业规划?华为云这位90后大咖的观点值得听听。不断跳出舒适圈的90后小哥 Kevin是一名典型的90后,性格开朗、乐于接受新生事物、热爱极限运动、喜欢独立思考。 大学所学领域跨度极大,念过法律、商学和计算机,三个硕士学位在手之后,Kevin入职全球云计算巨头,结合自身教育背景探索起云计算产品的设计和商业规划,之后回国于2019年加入华为,肩负整个华为云数据库产品的规划。 Kevin兴趣爱好广泛,喜欢健身、玩机车、拼乐高、搭模型,他认为兴趣爱好和工作并不冲突而是相辅相成,平时运动也会经常思考产品未来演进和商业思路。用Kevin自己的话,这是“思想和身体共同成长”。 截止到目前,Kevin的职业生涯可以用“跳出舒适圈,不断前进”来概括。从大学横跨法律、商学和计算机,到如今做数据库产品的规划,90后大咖Kevin直言,开发者在职业生涯需要有明确的目标,知道自己真正适合什么、对哪门技术最感兴趣,追寻未来事业和自己愉悦程度双赢。 不断跳出舒适圈的Kevin,恰恰体现出华为云在数据库领域的一种拼搏精神。去年,在数据库领域低调耕耘二十载之后,华为云对数据库战略进行了大刀阔斧地改革,集合全球七大区域、11个研究所和超过1000名数据库专业人才,以华为云为载体,瞄准了打造世界级数据库产品。 那么,作为华为云数据库产品总监,Kevin对于数据库的未来是如何思考的?云、全场景、开源是数据库必由之路 曾几何时,在以结构化数据为主的时代里,数据库All In One被认为是商业数据库时代重要发展方向;如今,在大数据、AI、物联网新技术的加持下,现代化应用井喷,数据库借此迎来了百花齐放的云数据库时代。 Kevin直言,进入到云数据库时代,云化、全场景和开源是数据库三大关键词,也是华为云打造世界级数据库的重要战略方向。 云计算是未来趋势,数据库也不例外。Garnter预测,到2021年,云数据库在整个数据库市场中的占比将首次突破50%,到2023年,将会有75%的数据库跑在云平台上。云数据库真正降低了商业数据库时代安装、部署、运维和管理等环节的复杂性,将数据库作为一种云服务提供给用户,大幅降低成本。 以美图公司为例,数据库上云之后,轻松高效应对 20 亿+客户的海量突发业务请求,这在传统商业数据库时代无法想象;此外,美图的数据库基础运维效率提升70%,核心业务数据库访问平均耗时缩短约67%,大幅提升效率并降低成本。类似的情况在不同行业迅速发生,不胜枚举。 而随着越来越多应用运行在云数据库之上,企业对于云数据库生态兼容、架构演进、软硬协同、事务一致、极致扩展等能力的呼声也愈演愈烈。“如何真正打造一款云原生的数据库产品是华为云数据库团队努力的方向。”Kevin如是说。 为此,华为云GaussDB在技术层面进行大胆创新,以存储计算分离架构为依托,支持多生态兼容、层次解耦、数据融合,解决当前云数据库容易遇到的各种挑战,并为政企用户构筑起高可用、高可靠、高扩展、高安全的企业级能力。 例如,华为云GaussDB统一采用计算资源层与存储资源层解耦的技术架构,实现分钟级弹性伸缩、秒级高可用切换;提供跨AZ的部署能力和跨AZ的读一致性访问,以及两地三中心、异地多活等能力。 其次,现代化应用大量井喷,无论是用户自身业务边界,还是业务应用类型与数据,与过去相比都发生了翻天覆地的变化,“一刀切”的关系型数据库日渐“乏力”,数据库的全场景能力正在变得至关重要。 以华为云GaussDB为例,其拥有完善的数据库产品矩阵,包括关系型数据库GaussDB(for MySQL)、GaussDB,以及非关系型数据库GaussDB NoSQL系列,已经覆盖全场景客户,满足金融、政企等各种严苛场景需求。与此同时,华为云GaussDB还广泛支持ARM、x86等多种平台,并针对不同平台进行优化,充分发挥不同架构底座的硬件资源能力,确保全场景的负载数据安全可靠。 另外,开源开放是数据库的未来。商业数据库时代,以结构化数据和关系型数据库为主;如今,数据库类型丰富,像关系型数据库、文档数据库、图数据库、时序数据库等很多都是基于开源的。正所谓独行快、众行远,面对数字世界如此丰富的应用场景,必须借助开源的力量,来构建良好生态,满足用户需求。 “开放的生态为数据库发展提供了一条大道。华为去年开源了openGauss单机社区版本代码,我们将华为多年积累的代码和沉淀分享给所有开发者。”Kevin直言道,“不管是大型公司的开发者,还是个人开发者,华为云都十分看重,我们希望所有开发者都参与进来,共同去完善数据库的大生态。” 据悉,openGauss是一款开源关系型数据库管理系统,构建一个能够融合多元化技术架构的企业级开源数据库社区。openGauss采用木兰宽松许可证(Mulan PSL v2),允许所有社区参与者对代码进行自由修改、使用和引用。 “我们的战略就是通过旗舰产品+工具生态,来打造全链路的产品家族以及生态圈。”Kevin总结道。 此刻,作为开发者的你,如果还想了解华为云GaussDB的更多内容;那么绝对不能错过4月24日与90后大咖Kevin面对面的机会。4月24日90后大咖等你来 4月24日,华为开发者大会2021(Cloud)扫地僧见面会,90后扫地僧Kevin将与开发者分享《云数据库的市场趋势和行业洞察分享》。届时,Kevin将于大家一起讨论基于云数据库的市场趋势和行业洞察、数据库性能提升与优化、云上数据管理易用性提升等内容。 “我非常希望4月24日与那么些比我还年轻、还牛的开发者们一起聊聊。”Kevin表示道。“除了数据库之外,像如何提升个人竞争力、中国IT产业未来大方向等话题也是我非常渴望与广大开发者一起交流的话题。” 欲了解华为开发者大会2021(Cloud)扫地僧见面会更多信息,可点击“阅读原文”参与报名!
  • (已结束)数据库GaussDB系列技术直播第2期—GaussDB数据存储与访问
    【直播时间】2021年4月9日 16:00~17:00【直播主题】GaussDB数据存储与访问【直播简介】1. 华为云数据库 GaussDB数据分布方式2. 华为云数据库 GaussDB读写流程3. 华为云数据库 GaussDB功能演示【报名入口】点我马上报名,准时收看直播【直播链接】点击观看回放链接【嘉宾简介】活动奖励【活动时间】2021年4月1日—2021年4月23日【参与方式】活动一:   报名赢码豆  进入直播报名页,点击立即报名,报名成功即可获得200码豆。活动二:   邀好友赢好礼  报名成功后,点击“分享有礼”按钮,生成个人专属二维码,保存并分享海报或链接,邀请好友参加直播报名。(1)邀请8位好友报名,可赢取三合一数据线1个。(2)邀请28位好友报名,可赢取定制笔记本1个。(3)邀请48位好友报名,可赢取荣耀智能体脂称1个。备注:好友成功报名视为邀请成功;排列若有并列,则随机抽取一名获奖,排名顺延。活动三:   盖楼有礼  在本帖盖楼,盖楼的内容是以下3类:1、签到贴:#GaussDB#,已参加2、提问帖:#GaussDB#+问题内容3、分享帖:通过本次直播课+内容回帖内容 奖品数量发放规则签到贴码豆200/人盖满150层,在所有有效楼层随机抽取15名提问帖字母笔10盖满250层,在所有有效楼层随机抽取10名分享帖数码包3盖满300层,在所有有效楼层随机抽取3名备注:以上3个话题均可参与,且盖楼评奖相互独立;有效楼层指按格式回帖的楼层,无效楼层不参与抽奖;直播期间(4月9日 周五 16:00-17:00),观看直播,参与互动,就有机会参与抽奖,大家千万不要错过哦,抓紧时间报名!点我报名【奖品展示】附:码豆介绍/奖励规则:1)码豆可用于在华为云会员中心-兑换商城中进行实物/虚拟礼品的兑换,如荣耀路由Pro 2、华为nova mini蓝牙音箱、华为云DevCloud定制机械键盘等;2)码豆奖励将于活动结束后的3个工作日内充值到账,请到会员中心的“查看明细”中查看到账情况;3)码豆只能用于会员中心的礼品兑换,不得转让,具体规则请到会员中心阅读“码豆规则”;4)为保证码豆成功发放,请先登录一次会员中心入口:>>码豆商城【注意事项】1.获奖结果将在活动结束后7个工作日内进行公示,请报名和留言的伙伴关注社区内容,所有奖品将在活动结束后15个工作日内发放。2.活动奖品颜色随机,且部分奖品数量有限发完将用等值奖品代替;3.为保证活动的公平公正,华为云有权对恶意刷活动资源(“恶意”是指为获取资源而异常注册账号等破坏活动公平性的行为),利用资源从事违法违规行为的用户收回抽奖及奖励资格。4.本次活动一个实名认证账号只能对应一个获奖人,如同一账号填写多个不同获奖人,不予发放奖励;5.活动参与需遵守《华为社区常规活动规则》.6.本活动最终解释权归华为云所有。
  • GaussDB技术直播解读第一期:认识华为云数据库 GaussDB
    1.背景介绍       3月16日,在华为云主办的GaussDB系列技术第一期直播课《认识华为云数据库 GaussDB》上,有这样一个提问:开源数据库这么香,为什么华为还要下功夫自研GaussDB?       其实,不少开源数据库在易用性、配套能力等方面较弱,需要不断维护,而且一旦遇到数据丢失问题,很难快速恢复,造成的损失不可估量。也因此,开源数据库上云只能解决中小企业的简化部署、运维、调优、极致性价比等诉求。       与此同时,开源数据库还得面临服务器、数据库维护升级、人力运维等各种大大小小的成本支出,很难满足业务的快速扩张以及可持续发展。面对金融、政企等对数据安全、响应速度、可靠性、可用性有严苛要求的大型企业,就需要超高可用、功能完备、性能卓越、开放生态、极致弹性的企业级数据库服务。       GaussDB是华为深度融合多年数据库领域经验,充分结合企业级场景需求,基于openGauss自研生态推出的企业级分布式关系型数据库。目前支持单分片和分布式两种部署形态,在支撑传统业务的基础上,持续构建竞争力特性,为企业面向5G时代的挑战,提供了无限可能。       为了让大家快速了解GaussDB,华为云数据库团队准备了GaussDB系列技术直播,本文将结合第一场直播内容从总体架构、主打场景、关键技术特性等方面进行介绍。2.总体架构:统一基于数据分片的分布式架构       GaussDB统一基于数据分片的分布式架构(share nothing),底层数据通过一定的规则比如hash、list或者range等让数据打散分布到不同的数据节点上,计算时底层多个节点共同参与计算。同时数据节点可以扩展,上层由协调节点进行SQL解析和转发。       从图中可以看到,主要包括三类节点:协调节点、数据节点、集群类节点(最重要的是全局事务管理器)。协调节点负责SQL解析转发,充当的是类似proxy的角色,数据节点负责计算和数据存储,全局事务管理器负责全局事务读一致性的保证。       这种架构为GaussDB构建了以下核心优势:       ①  极致高可用: 两地三中心架构,跨Region数据实时灾备       ②  数据安全: 实现跨AZ部署数据强一致性,保证数据0丢失       ③  高扩展性:容器化部署,性能容量按需水平扩展,高达1000+节点       ④  性能强劲:鲲鹏2路服务器,32节点1200万tpmC(华为内部测试)       ⑤  全栈软硬自研可控:业界领先的鲲鹏+openGauss自研开放内核3.主打场景 场景一:传统核心交易       针对传统的应用,可以使用单分片的模式,使用方式同传统的主备模式相同。GaussDB结合鲲鹏深度优化,性能非常出众,同时在可用性上做了极大的提升,非常适合传统商业数据库的替换场景。   场景二:未来海量事务型       随着5G时代的到来,单一节点是难以应对数据规模的不断增长并确保性能的需要,而跨节点、可横向扩展的数据库可以很好解决大规模海量数据的计算存储需要。GaussDB分布式模式最大可以支持1000+节点,PB级存储,分布式事务强一致等特性可以很好地满足政府、交通、金融、能源等行业的互联网+的诉求。关键角色       为了方便大家更好理解GaussDB的技术运行状态,下面将对GaussDB一些关键角色进行介绍:4.关键技术特性       GaussDB基于计算存储分离的分布式架构,构建了6大核心技术特性,下面将对这6大特性进行详细解读。关键技术一:高性能—分布式执行框架该特性的大致执行过程为:<ol style="margin- class=" list-paddingleft-2">华为在SQL执行优化方面有多年的沉淀,即使是复杂的SQL、事务分析混合(HTAP)的场景也能得到最佳的执行,举个列子:l 基于代价的优化l 分布式执行计划能力l 自研Cascade优化器  通过分布式查询引擎、分布式调度引擎、分布式存储引擎,GaussDB完美做到了数据的自动分片,并利用查询优化器在自动负载均衡的同时不断提升执行计划处理效率;在数据节点上针对不同数据场景提供分场景stream流(广播流、聚合流、重分布流),不断提升多分片数据节点间的交互效率,并自动完成数据的结果汇总,保障分布式事务的全局一致性。关键技术二:高性能—分布式事务处理性能,GTM-Lite技术该特性的优势是:关键技术三:高性能—Scale-up能力,突破鲲鹏4P NUMA-Aware新架构,实现4P服务器性能突破 GaussDB使用Numa Aware技术,根据鲲鹏处理器多核NUMA架构特点进行系列优化,通过绑核技术避免内存跨核访问,减少时延问题;通过应用重做日志批量插入、热点数据NUMA分布、Clog分区等关键技术,充分发挥多核算力优势,不断降低访问延迟,日志写冲突,索引更新冲突。当前基于泰山鲲鹏服务器,TPCC性能压测是同规格x86的1.5倍。关键技术四:高可用—集群HA,多层级冗余实现系统无单点故障 GaussDB通过硬件冗余、实例冗余、数据冗余,实现整个系统软硬件无单点故障。不同于传统数据库软件产品,GaussDB主要着重于通过软件能力来提供高可用、高可靠保障。华为云基于软硬件底座,做到端到端数据库高可用能力,并支持对整个场景进行端到端监控&检测,能够更及时、更可靠地保障用户的应用在线、数据0丢失,实现全栈无单点故障。高可用技术点ü    存储:磁盘RAID冗余。ü    网络:双交换机冗余。ü    网卡:多网卡冗余。ü    主机:UPS电源保护ü   协调节点CN实例多活冗余ü   数据节点/全局事务管理/ 集群管理器实例Active-Standby冗余故障检测ü    网络故障检测和处理(交换机路由器等)ü    网卡故障检测和处理(本地网卡故障检测)ü    磁盘故障检测和处理:磁盘心跳,处理文件系统返回的错误码ü    主机掉电检测和处理:Heartbeat机制ü    集群实例故障检测和处理(CN/DN/GTM进程非法终止)ü    集群软件故障关键技术五:高可用—跨AZ/Region容灾技术 GaussDB当前已经支持同城单集群跨AZ双活,RPO=0,RTO<60s;双集群跨Region两地三中心容灾,RPO<10s,RTO< 10m,该方案在支持跨Region容灾的同时,支持容灾节点最小化,有效降低用户容灾成本,同时允许用户在故障场景升主后对容灾节点进行在线扩展,保证业务不中断的同时提升用户原容灾实例的可靠性和可用性。关键技术六:高扩展—Scale-out在线横向扩展 GaussDB单集群计算节点最大规模支持1000+,同时拥有卓越的线性扩展能力。 单集群分片扩展支持数据自动在线完成重分布操作,支持PB级海量事务型存储扩展能力。  综上所述,GaussDB具备企业级事务混合负载能力,支持分布式事务强一致,同城跨AZ部署,数据0丢失,支持1000+的计算节点扩展能力,PB级海量存储。同时拥有云上高可用,高可靠,高安全,弹性伸缩,一键部署,快速备份恢复,监控告警等关键能力,能为企业提供功能全面、稳定可靠、扩展性强、性能优越的企业级数据库服务,目前已全网开放商用。而且它也是一个开放生态的产品,单分片版本的源代码已经开源,社区地址为:https://opengauss.org,欢迎大家自行下载、安装和体验。  Ps:错过GaussDB专场直播的小伙伴们注意了,点击链接可直接回顾,快来观看吧>> cid:link_0 业务应用下发SQL给Coordinator ,SQL可以包含对数据的CRUD操作;Coordinator利用数据库的优化器生成执行计划,每个DN会按照执行计划的要求去处理数据;数据基于一致性Hash算法分布在每个DN,因此DN在处理数据的过程中,可能需要从其他DN获取数据,GaussDB提供三种stream流(广播流、聚合流和重分布流)实现数据在DN间的流动;DN将结果集返回给Coordinate进行汇总;Coordinator将汇总后的结果返回给业务应用。 基数估算:Feedback增强、AI基数增强代价估算:行存/列存代价估算、网络通信代价估算搜索算法:动态规划方法、遗传算法、AI搜索Light ProxyFast Query ShippingRemote Query Shipping对象化处理规则应用及搜索任务基于分支限界的剪枝技术高性能事务管理:支持无锁、多版本、高并发事务技术。分布式强一致:分布式的GTM-Lite方案提供全局事务快照和提交号管理,实现强一致性,且无中心节点性能瓶颈。硬件高可用:软件高可用: