6月20日，在ACM SIGMOD国际学术会议“中国数据库高峰论坛”，华为云数据库产品部总经理苏光牛发表了《云数据库的创新与发展》主题演讲，分享了华为云GaussDB数据库5大创新技术，坚持生态开放理念，加速千行百业数字化转型。数字化时代下，企业对云数据库提出了更高要求，既希望云数据库能满足海量业务场景下的复杂需求，又希望可以降低使用成本，提升业务效率，保障数据安全。云数据库也成为了产业升级转型和重塑产业格局的关键抓手。苏光牛提到，华为很早就开始重视数据库的投入和发展，从2007年开始研究数据库，到2020年统一数据库品牌GaussDB，华为持续战略投入数据库，并布局全球7大研究所，汇聚了一批海内外数据库领域专业人才，同时布局前沿技术，积极打造行业领先的技术竞争力。华为云数据库产品部总经理苏光牛发表演讲华为云GaussDB聚焦业务新场景，打造了以下5大核心技术竞争力：金融级高可用：华为云GaussDB提供了多种高可用方案，包括AZ内高可用、跨AZ多活、异地跨Region容灾的两地三中心容灾方案，满足金融级监管要求，并且历经银行核心关键业务严苛考验。软硬协同全栈能力：依托华为全产业链优势，垂直整合华为软硬件全栈资源，不断提升竞争力。企业级混合负载：分布式+全并行架构设计，提供事务处理与复杂查询高性能，支持1000+超大分布式集群能力，可以轻松应对海量高并发数据处理和复杂查询场景的考验。全密态数据库安全：华为云GaussDB实现从密钥处理、查询、内存、存储等全方位的安全合规和隐私保护，包括链路安全、存储安全、访问安全，同时对应用实现尽可能的透明，保证客户隐私安全。智能运维与调优：结合AI技术，实现数据库自动优化与调优等功能，让数据库管理变得更加智能高效。数据库呼唤开放的生态，华为也始终坚持开源开放理念，积极构建良好的数据库生态关系。华为云GaussDB目前已支持华为自有openGauss生态与主流开源数据库生态（如MySQL、MongoDB、Redis、InfluxDB、Cassandra等）。华为还将GaussDB部分核心能力开源到openGauss社区，鼓励合作伙伴基于开源openGauss发行属于自己的商业版本。此外，华为持续和高校联合开课，致力于培养数据库人才，繁荣数据库生态。目前，华为云GaussDB已在1000+大客户规模商用，遍布金融、政府、电信、能源、交通、电商等。另外还在SIGMOD、ICDE、VLDB等国际知名学术会议发表累计50+篇创新成果论文，内容涵盖系统架构、事务处理、AI自治、安全等。面向未来，华为云GaussDB将持续打造领先技术和服务，与更多合作伙伴一起共创时代新价值，共赢未来新机遇！

 5月18日，在华为中国生态大会2021“驱动数据创新，共建GaussDB生态”分论坛现场，华为云数据库CTO庄乾锋分享了GaussDB的全栈能力和生态合作计划，并联合行业合作伙伴共同发布了四大解决方案：迪思杰大型数据库高性能复制平台和GaussDB联合解决方案、帆软自助大数据分析平台FineBI和GaussDB联合解决方案、用友YonBIP和GaussDB联合解决方案、长亮银行分布式核心业务系统与华为云GaussDB联合解决方案，为企业数字化转型进一步注入了新动力。 驱动数据创新，共建GaussDB生态 庄乾锋表示，云数据库将加速成为市场主流，会有越来越多的政企核心业务与数据上云。数据库是专家密集型行业，需要软硬件全栈协同提升竞争力。华为云GaussDB坚持长期战略投入，布局全球7大研究所，汇聚了1000+数据库专业人才，同时立足华为云原生全栈能力，整合华为公司多元领域经验，软硬协同，打造了稳定可靠、极致性能的数据库服务。 数据库产业呼唤开放的生态，客户不希望从传统封闭生态再走向另一个封闭生态。华为云GaussDB以市场为导向，遵循“一套架构、两个生态”的理念，基于统一的计算存储分离架构，支持华为自有openGauss生态和主流开源数据库生态（如MySQL、MongoDB、Redis、InfluxDB等），实现生态兼容、层次解耦、数据融合等能力。新品金融级分布式云数据库GaussDB更是具备应对海量并发事务处理与复杂查询混合负载的能力，在和金融客户的联创考验中，证明了其出色的金融级高可用商用能力。 华为云与数据库领域合作伙伴重磅发布四大解决方案 本次论坛，华为云联合迪思杰、帆软、用友、长亮等合作伙伴共同发布了四大解决方案。方案一：迪思杰大型数据库高性能复制平台和GaussDB联合解决方案 迪思杰（北京）数据管理技术有限公司（简称DSG）总经理韩宏坤介绍道，DSG与华为云GaussDB联合打造的解决方案，通过DSG 高性能数据实时异构复制平台与华为云数据库平台合作互补，满足各种企业级数据交换场景；DSG基于数据库日志的企业级复制技术，与GaussDB开放生态、高性能等优势互补，实现数据的实时同步和满足信创需求；DSG数据采集、数据集成、数据**一体化对接GaussDB，实现了智能数据资产探测、迁移与治理一体化能力。此外，DSG与华为在数据复制和迁移领域展开了重要合作，在智慧东莞、海关总署、太平洋保险等合作项目中取得亮眼成绩。方案二：帆软自助大数据分析平台FineBI和GaussDB联合解决方案 帆软软件有限公司售前总监贺道友分享到，帆软基于华为云GaussDB数据库，联合创建了集收集、分析、管理为一体的数据平台解决方案，该方案实现了业务数据分析可视化，数据处理高效迅速，加速数据使能，充分发挥了数据价值，实现了跨部门协同沟通，提升了企业沟通效率。基于该联合方案，帆软助力正邦集团构建从数据接入到数据分析的“端到端”智能数据系统，让数据精准到业务流程每一步；实现数据统一分析、管理效果显著，节约了50%数据处理时间；同时降低开发、运维投入，成本下降50%。方案三：用友YonBIP和GaussDB联合解决方案 用友网络科技股份有限公司平台与数据智能事业部区域总监&技术专家阎翼介绍到， 为了推进企业基于数字化的商业创新，加速企业数字化转型，用友推出了YonBIP商业创新平台。YonBIP平台完成了用友云服务与华为Docker、K8s、GaussDB等基础服务的深度适配，联合打造了云原生解决方案、全栈国产化方案以及“华为云+用友企业云服务”最佳方案等系列方案。尤其在亿级数据量性能验证过程中，YonBIP平台基于GaussDB在亿级数据量下的性能测试结果优于其他云数据库，其响应更快，资源占用更少，非常适用于大数据量、高并发、高负载等企业复杂场景。方案四：长亮银行分布式核心业务系统与华为云GaussDB联合解决方案 深圳市长亮科技股份有限公司解决方案总监张杰介绍到，长亮积极携手华为投身到鲲鹏生态整体体系建设和鲲鹏生态全面融合工作中，有力保障了银行核心业务系统数据安全，为银行核心系统业务发展保驾护航。长亮分布式核心系统基于GaussDB数据库等华为云基础服务能力，构建了强有力的竞争优势。尤其在某国有大行核心系统建设过程中，华为云GaussDB数据库高度匹配长亮分布式核心系统，完成了各项性能指标的验证，获得了优异的成绩，符合客户方预期。 数据库生态建设是一个长期艰巨的过程，华为云GaussDB会始终坚持生态开放，联合更多伙伴携手共建良好数据库生态，持续助力企业智能化升级，共赢产业新机遇。

我用BenchmarksSql对opengauss进行性能测试，测试过程中打开了审计日志功能。我想对获取到的日志中的查询语句进行批量的explain操作，但是由于日志中语句的参数为$，导致explain命令无法执行。请问下有什么办法吗？比如 日志中的语句为 select * from student where name=$1 and age=$2。

删除联盟帖子测试----060101

wap联盟发帖 508065

上回文说道，如何用DAS连接数据库实例。今天，我们就来说说如何通过内网连接。GaussDB提供gsql工具远程连接数据库实例。您需要提前下载gsql工具并在ECS上安装gsql，通过gsql远程连接数据库实例。gsql工具下载请单击此处。前提条件需要已有GaussDB实例，实例购买指导请参考购买实例。已经下载gsql工具。操作步骤                                步骤 1      购买ECS，用于安装gsql工具。购买ECS指导请参考购买ECS。     gsql支持的操作系统版本如下：X86：EulerOS V2.5。鲲鹏服务器：EulerOS V2.8。                                步骤 2      在购买的弹性云服务器上，上传软件包并配置环境变量。以root用户登录弹性云服务器。创建“/tmp/tools”目录。mkdir /tmp/tools单击此处获取GaussDB软件包并解压。unzip GaussDB_opengauss_client_tools.zip根据申请的弹性云服务器的操作系统架构进入不同目录，获取“GaussDB-Kernel-xxx-EULER-64bit-gsql.tar.gz”，并上传到申请的弹性云服务器“/tmp/tools”路径下。软件包相对位置为安装时所放位置，根据实际情况填写。解压文件。cd /tmp/toolstar -zxvf GaussDB-Kernel-V500R001C00-EULER-64bit-gsql.tar.gz设置环境变量。打开“~/.bashrc”文件。vi ~/.bashrc按下i键进入INSERT模式，在其中输入如下内容后，单击“ESC”退出编辑模式，使用“:wq!”命令保存并退出。export PATH=/tmp/tools/bin:$PATHexport LD_LIBRARY_PATH=/tmp/tools/lib:$LD_LIBRARY_PATH使环境变量配置生效。source ~/.bashrc                                步骤 3      判断实例与ECS是否可以通过内网连接。如果ECS和实例在同一区域，同一可用区，说明ECS和实例网络互通，可以通过内网直接远程连接。数据库实例的区域、可用区和VPC查看方法如下。ECS的区域、可用区和VPC查看方法如下：                                步骤 4      内网连接数据库实例。查看GaussDB数据库的IP地址。然后在ECS服务器执行如下命令进行连接：gsql -d postgres -h 192.168.0.15 -U root -p 8000 -r192.168.0.15为内网IP，要替换为自己实例的IP。输入数据库root用户密码，成功登录。[root@ecs-a4e7 ~]# gsql -d postgres -h 192.168.0.168 -U root -p 8000 -rPassword for user root: gsql ((GaussDB Kernel V500R001C10 build 23636d1b) compiled at 2020-09-24 22:23:07 commit 905 last mr 1150 )SSL connection (cipher: DHE-RSA-AES128-GCM-SHA256, bits: 128)Type "help" for help. postgres=>                                步骤 5      数据库使用。postgres=> \dbs List of tablespaces Name | Owner | Location ------------+----------+---------- pg_default | rdsAdmin | pg_global | rdsAdmin | (2 rows) postgres=>----结束想知道如何通过公网连接的小伙伴们，敬请期待下期哦~~~更多详细内容，赶紧戳这里，了解详情吧~~

4月24-26日，华为开发者大会2021（HDC·Cloud）在深圳隆重举办。在名师大讲堂分会场，华为云数据库多位技术专家分享了GaussDB系列数据库全新5大黑科技，包括支持亿级时间线、千万级tpmC突破、两地三中心、AI自治等，通过技术创新不断为企业数字化转型注入新动力。黑科技1：GaussDB(for Influx)支持亿级时间线随着云计算规模越来越大，物联网（IoT）和运维监控（AIOps）领域的时序数据呈爆炸式增长，海量时序数据的存储和管理也成为一大难题。为了应对数据膨胀带来的管理、监控等挑战，华为云时序数据库GaussDB(for Influx)对内存分配、回收、单查询等功能做了大量优化，同时通过对数据分区分级、专用存储引擎、自适应压缩算法、高性能多维聚合查询、存储分析告警统一架构等技术的提升，实现亿级时间线下系统写入性能的稳定，大幅超出开源InfluxDB写入能力。华为云创新lab数据库专家现场分享黑科技2：GaussDB性能突破1500万tpmC 华为云企业级分布式数据库GaussDB基于计算存储分离架构，着重构筑传统数据库的企业级能力和互联网分布式数据库的高扩展和高可用能力。作为主打政企核心业务负载的金融级分布式数据库旗舰产品，它通过GTM-Lite技术和分布式优化器提供极致的分布式扩展能力，保证事务全局强一致，性能突破传统数据库瓶颈，实现 32节点1500万tpmC，在银行业务实测中，性能大幅度领先其他云厂商。华为云数据库首席产品经理现场分享黑科技3：GaussDB(for MySQL) 极致备份恢复能力作为华为云新一代高性能企业级分布式数据库，GaussDB(for MySQL) 通过定制的分布式存储系统，支持数据库秒级快照备份；并行高速复制下，实现数据快速备份和恢复；通过冷热数据分离，实现TB级数据最快20分钟内恢复可用，而且支持任意时间点恢复，为数据的安全可靠提供了强有力的保障。黑科技4：GaussDB与AI结合，让数据库运维更加高效、极简华为云GaussDB通过将AI技术植入到数据库内核的架构和算法中，让数据库管理更加智能与高效。如GaussDB通过利用AI 技术实现数据库自调优、自诊断、自安全、自运维、自愈等能力。典型场景如慢SQL 发现、索引推荐、基于性能指标的时序预测与异常发现、参数智能调优等，借助 AI 技术能更好地优化数据库的性能，协助DBA 降低运维难度，提升运维效率，自动调度平衡资源池。黑科技5：GaussDB支持跨 AZ/Region 部署，让数据底座更加稳定可靠在政企客户最为关注的高可用方面，华为云GaussDB提供了多种高可用方案，包括同城AZ内高可用、跨AZ高可用、异地跨Region的两地三中心容灾方案，提供跨AZ的读一致性访问，多AZ节点必须读到一致的数据，满足金融级监管要求。比如GaussDB通过独有的Switch Turbo技术，保障了同城AZ内单点故障能够快速切换，实现RPO=0，RT0小于10秒。这5大黑科技是华为云GaussDB前进路上的重大新路标，也是华为云GaussDB匠心打造领先数据库服务的重要体现。华为云GaussDB深知，在数字化时代下，企业的业务场景会更加复杂，对云数据库的要求会水涨船高，谁能抓住新一轮发展机遇，更快更好提升技术和服务，就可以在未来发展中获得更大的主动权。华为云GaussDB会不断积蓄力量，持续打造更与时俱进、更贴合企业场景的数据库服务，进一步加速企业数字化转型。详情内容可戳：cid:link_0

GaussDB是华为云推出的新一代企业级分布式数据库，在支撑传统业务的基础上，持续构建竞争力特性，为企业面向5G时代的挑战，提供了无限可能。第1期 认识华为云数据库GaussDB【直播主题】认识华为云数据库GaussDB【内容简介】华为云数据库工程师大明将为大家讲解华为云数据库 GaussDB总体架构及组件介绍【嘉宾简介】主讲老师：大明，华为云数据库内核开发工程师，PG中文社区核心委员，负责华为云PostgreSQL系列产品的设计开发。主持人：张一一，华为云数据库生态总监【直播链接】cid:link_0  第2期 GaussDB数据存储与访问【直播主题】GaussDB数据存储与访问【内容简介】1. 华为云数据库 GaussDB数据分布方式2. 华为云数据库 GaussDB读写流程3. 华为云数据库 GaussDB功能演示【嘉宾简介】主讲老师：廷哥，华为云数据库内核专家，多年数据库内核开发经验，曾参与 GaussDB多个版本的内核研发，在分布式架构、存储引擎、高可用方面有着丰富的经验，致力于openGauss及PostgreSQL在金融、互联网等行业的应用与推广。主持人：张一一，华为云数据库生态总监，2012年加入华为，从事数据库工作7年，对数据库的产业发展有深厚的理解，拥有丰富的生态工作经验，致力于推动数据库产业共识和标准化建立。【直播链接】cid:link_1 第3期 GaussDB数据加载【直播主题】GaussDB数据加载【直播简介】华为云数据库 GaussDB数据加载工具及适用场景【嘉宾简介】【直播链接】cid:link_2 第4期 GaussDB数据迁移之DRS【直播简介】DRS数据迁移功能简介、实现原理及适用场景【嘉宾简介】【直播链接】cid:link_3 第5期 GaussDB SQL优化解读【直播主题】GaussDB SQL优化解读【直播简介】介绍SQL分布式算子与分布式执行计划、分布式并行执行框架【嘉宾简介】【直播链接】cid:link_4 第6期 GaussDB华为消费者云优秀实践【直播主题】GaussDB华为消费者云优秀实践【直播简介】GaussDB华为消费者云技术方案【嘉宾简介】【课程链接】cid:link_5

我们年少时都有过这样的幻想化身侠客去闯荡江湖救人于危难之中 但你知道成为一代大侠需要经历什么吗？今天，就让我们跟随GaussDB揭秘一代数据库大侠的修炼秘笈年少习武，名师传授华为云GaussDB大家也可以叫他库大师库大师自幼被师父高斯收于门下从小立志要在高手如林的关系型数据库武林闯出一片天，成为一代大侠刻苦修炼，练就神功经过名师指导和自身刻苦修炼库大师历经十三年练就六大绝招 第一招：一剑千里-高可用两地三中心架构设计跨Region数据实时灾备无论在何地，无论多远库大师都保障数据高可用实现全栈无单点故障不仅可以做到分布式强一致，数据0丢失还能有效降低容灾成本既招招到位，又最大程度保存自身实力第二招：海纳百川-开放生态海纳百川，包容乃大库大师集众家之长并自成一派开放了openGauss生态避免了被类似传统商业数据库的封闭生态锁定同时支持和鼓励其他门派基于openGauss开放能力自创出独树一帜的武功秘籍第三招：无量神掌-极致扩展库大师基于分布式全局事务一致性优化的内功遇强则强，流量洪峰期时可按需扩展扩展性高达1000+同时支持新增分片的数据在线重分布能力PB级海量事务型存储分分钟搞定千军万马也应付自如第四招：凌波微步-卓越性能库大师拥有分布式优化器+Numa-aware技术心法加持在赫赫有名的TPC-C和TPC-H等测试排行榜中名列前茅企业级负载下性能表现卓越翩若惊鸿，婉若游龙给人轻盈飞快之感第五招：混元功-丰富的企业级特性古人云：狡兔三窟，得免其死绝招越多，实力愈大，自保能力越强库大师自创了一系列能力的混元功正是如此比如适用于HTAP混合负载、单分片部署模式等企业级场景拥有智能诊断、索引推荐等AI自治能力再复杂情况下也可以全身而退第六招：无懈可击-高安全攻是守之机，守是攻之策一个大侠应该具备进可攻退可守、攻守结合的修养库大师支持TDE透明加密、全密态、防篡改等安全技术承袭师父高斯10年+研发管理经验包括核心代码拥有100% 的知识产权对产品所有模块都具备代码级的问题修复及架构优化能力可以轻松面对各种明枪暗箭闯荡天下，升级打怪库大师下山闯荡，一路行侠仗义短时间内名声斐然，武功也不断精进于是决定约战武林两大关系型数据库高手传统关系型数据库和分布式数据库中间件 紫禁之巅，三人大战，四招定胜负GaussDB VS传统关系型数据库GaussDBVS分布式数据库中间件兼济天下，为国为民闯荡江湖多年，库大师已登顶武林巅峰偌大江湖难遇敌手于是决定效仿先贤侠之大者，为国为民向全网开放商用GaussDB的能力让金融政企等更多有识之士学习、使用和体验为企业数字化转型提供无限新动力延伸链接：cid:link_0

 说起出行定位，大家或多或少都被导航系统坑过，有人跟着系统指示在原地转了几大圈，就是找不到目的地；有人明明根据提示前方800米左转，然后走了大概200米，突然提示你已经偏离方向……于是糟心发问：定位不精准，数据反映慢，到底是谁的锅？ 额，也许是数据库没使用正确呢！ 要知道，定位业务的应用场景非常丰富，大至山川湖海、城市人文，小至楼宇屋舍、方寸天地，定位服务请求每日多达亿次，数据量增长快，且要求秒级精准响应，如果没有一个高性能的数据库作为支撑，怎么能处理好这些海量数据呢？ 所以，今天我们就来聊聊华为消费者云定位服务是如何基于数据库为用户提供精准定位的。千亿数据难处理，消费者云寻求云上突围 华为消费者云是华为针对终端用户提供围绕数据、应用、出行、娱乐等众多场景的数字生**验的功能与服务的统称，拥有数亿+终端用户，月活量高达数亿。定位服务是华为消费者云数据量最大的单体服务之一，为数亿华为设备提供定位支持，为超过1700+款APP提供定位数据。定位服务初始存量数据有上千亿行，迁移时每日数据量增长8亿左右，后来数据量已增加到原来的2倍。 随着数据量的与日俱增，如何高效处理海量数据的问题日益凸显。如何快速通过云化，让数据库根据数据量变化快速弹性扩容，成为消费者云定位服务提升服务能力的关键所在。为支撑数据体量巨大的定位服务，华为消费者云将原先使用的线下MySQL数据库系统升级替换为华为云原生分布式数据库GaussDB，而被消费者云选中的“天之骄子”GaussDB也在这场升级改造中表现卓越。超大规模集群，高效支撑日均百亿级访问 定位服务拥有华为数亿+设备的定位数据，整体单表累计数千亿行，目前每天的业务量访问次数已经达到上百亿次。面对如此巨大的访问量，华为云GaussDB通过提供高性能的大规模集群资源，支持自动负载均衡，业务高峰时有效支撑几十万TPS的并发访问，应对日均百亿次的业务压力也毫不费力，极大提升了定位服务的服务效率。在线扩容，轻松应对海量写入压力 因庞大的用户量和业务量，定位服务的高频带冲突写入峰值高达百万行每秒，对数据库的扩展能力考验极大。华为云GaussDB通过优化的存储管理和锁机制，在高比例冲突场景下upsert性能远远优于原MySQL，能高效支撑百TB级数据处理。而且华为云GaussDB支持节点扩容和磁盘扩容，扩容过程支持业务数据持续入库，确保业务不中断，平滑过渡，满足业务量逐步增加所需要的处理能力和存储空间弹性扩展的要求。GaussDB面对数据激增的浪涌弹性发放，资源灵活部署，以后出行再也不用担心定位系统闹脾气，路径输出延时了。业务高可用，故障秒级切换  定位服务需要提供实时定位，不能接受业务中断、数据丢失等故障问题。华为云GaussDB凭借卓越的高可用能力，支持多AZ部署，单分片多副本之间采用反亲和部署，最大限度降低AZ级故障以及单台宿主机故障对整个集群的影响，故障发生时可以在秒级内完成主备切换，保障业务的持续运行。 定位服务关乎人们出行、生活的基础保障，华为云原生分布式数据库GaussDB方案极大地提升了出行定位的运营效率和服务水平。数字化时代下，华为云GaussDB会持续锐意创新，以更先进的技术紧密结合定位服务的发展，让人们更快乐高效出行。  【重磅活动推荐】作为华为ICT基础设施业务面向全球开发者的年度盛会，华为开发者大会2021（Cloud）将于2021年4月24日-26日在深圳举行。本届大会以#每一个开发者都了不起#为主题，将汇聚业界大咖、华为科学家、顶级技术专家、天才少年和众多开发者，共同探讨和分享云、计算、人工智能等最新ICT技术在行业的深度创新和应用。智能时代，每一个开发者都在创造一往无前的奔腾时代。世界有你，了不起！点击阅读原文，了解大会详细信息。cid:link_1

1.前言 随着云计算规模越来越大，企业业务数据量呈指数级增长，传统数据库在海量数据存储与管理方面显得力不从心，面临“存不下，算得慢、算不准”的问题。 面对挑战，华为云数据库深度融合华为在数据库领域多年的经验，充分结合了企业级场景需求，基于openGauss自研生态推出了企业级分布式关系型数据库GaussDB。GaussDB目前支持单分片和分布式两种部署形态，在支撑传统业务的基础上，持续构建竞争力特性，为企业面向数字化转型提供了无限可能。 4月9日，由华为云主办的GaussDB系列技术直播第2期《华为云数据库 GaussDB数据存储与访问》于线上开启，直播详细介绍了GaussDB的数据分布方式和数据读写流程，为方便大家快速了解GaussDB，本文结合第2场直播内容从总体架构、数据分布方式、计算下推、数据强一致等方面进行介绍。2.分布式架构  GaussDB是一个典型的基于数据分片的双层分布式架构(share nothing)，数据通过一定的规则比如hash、list或者range等让数据打散分布到不同的数据节点上，计算时底层多个数据节点共同参与，上层协调节点负责执行计划生成和结果汇聚。3.让数据“存得下、算得快、算得准” 随着5G时代的到来，单一节点是难以应对数据规模的不断增长并确保性能的需要，业务面临“存不下、算得慢、算不准”的问题。而GaussDB可横向扩展的分布式架构可以很好满足大规模海量数据的计算存储需求，让数据“存得下、算得快、算得准”。3.1海量数据“存得下”         GaussDB支持1000+的数据节点扩展能力，数据通过一定的规则比如hash、list或者range等让数据打散分布到不同的数据节点上，让数据“存得下”。数据分布方式         GaussDB支持hash、list、range、replication分布方式，下图以hash和replication为例，示意了数据在DN节点上的分布情况。create table通过distribute by语法指定表的数据分布方式。hash分布把数据散列存储到所有DN，适合数据量比较大的表；replication分布把数据复制存储到所有DN，数据更新时，会同时更新所有DN，采用2PC(两阶段提交)保证分布式事务的一致性，适合更新频率比较低的小表。一致性hash GaussDB的hash分布采用类似一致性hash的方式，数据通过两层映射，第一层通过hash映射把数据映射到N个hash bucket中，或者叫vnode中；第二层映射把vnode映射到物理的datanode上。扩容时，只需要调整二层映射，保证数据搬迁最小：数据只会搬迁到新节点，已有节点之间不会互相搬迁数据；分布键的选择         对于数据分布来讲，分布键的选择至关重要，不合适的分布键会导致数据倾斜，导致木桶效应。分布键的选择一般遵循如下原则：尽量选择distinct值比较多的列，保证数据均匀分布。分布均匀是为了避免木桶效应，各个节点对等执行。尽量选择Join列或group 列做分布列。尽量选择Join列或group 列是为了避免数据节点之间数据流动,提高性能。数据倾斜         当我们选择了一个分布键之后，如何判断数据是否分布均匀呢？GaussDB提供了SQL语句可以方便的查询是否发生了数据倾斜。         通过如下方法，可以查询数据存储在那个DN，其中xc_node_id就是DN的内部标识，取值于系统表pgxc_node的xc_node_id列。           通过如下SQL，就可以查看表在各个DN上的数据分布情况，一般来说，DN的数据量相差10%以上，则可能发生了数据倾斜，就要考虑按照前面的原则调整分布列。SELECT a.count,b.node_name FROM (SELECT count(*) AS count,xc_node_id FROM tablename GROUP BY xc_node_id) a, pgxc_node b WHERE a.xc_node_id=b.node_id ORDER BY a.count DESC; 3.2计算下推，“算得快” GaussDB的优化器和全并行分布式执行能力，把计算下推到DN节点，减少数据移动，让数据“算得快”。数据读写流程大致执行过程：业务应用下发SQL给Coordinator ，SQL可以包含对数据的CRUD操作；Coordinator利用数据库的优化器生成执行计划，每个DN会按照执行计划的要求去处理数据；数据基于一致性Hash算法分布在每个DN，因此DN在处理数据的过程中，可能需要从其他DN获取数据，GaussDB提供三种stream流（广播流、聚合流和重分布流）实现数据在DN间的流动，使得join无需抽取到CN执行；DN将结果集返回给Coordinate进行汇总；Coordinator将汇总后的结果返回给业务应用。 华为在SQL执行优化方面有多年的沉淀，即使是复杂的SQL、事务分析混合（HTAP）的场景也能得到最佳的执行，我给大家举一些列子：基于代价的优化基数估算：Feedback增强、AI基数增强代价估算：行存/列存代价估算、网络通信代价估算搜索算法：动态规划方法、遗传算法、AI搜索分布式执行计划能力Light ProxyFast Query ShippingRemote Query Shipping自研Cascade优化器对象化处理规则应用及搜索任务基于分支限界的剪枝技术计算下推         优化器是GaussDB关键技术之一，可以把各种复杂的SQL进行下推执行，最小化数据移动，这是GaussDB相对于基于分库分表的中间件方案的核心优势（对于复杂查询，由于计算无法下推，中间件很容易成为性能瓶颈，需要业务做比较大的改造来规避）。         以下案例的表结构为：         create table t1(a int, b int, c int) distribute by hash(a);         create table t2(a int, b int, c int) distribute by hash(a);单表查询下推 单表查询，不管SQL的where条件是否带有分片键，优化器都可以生成下推的执行计划，包括sort/group by等复杂算子，都可以下推。          1）分片键上的where条件，直接下推到DN         2）非分片键where条件，DN先计算，CN做汇总，sort/group by可以直接下推到DNJoin查询下推        1）分片键上的join条件，直接下推到DN执行       2）非分片键join条件，DN直接做数据交换，避免CN成为性能瓶颈        1，Join下推到DN执行，DN之间直接进行数据重分布，交换数据，无需CN参与；CBO优化器选择小表t2做重分布；        2，Sort下推到DN，CN只需做归并排序，避免CN成为性能瓶颈；3.3数据强一致，“算得准”       数据强一致是GaussDB相对于基于分库分表的中间件方案的另一个核心优势，基于中间件的方案由于不感知事务的快照逻辑，只能做到最终一致性，部分场景需要业务做比较大的改造来规避陷阱。GaussDB提供数据强一致能力，让数据“算得准”。分布式强一致：       1）两阶段提交保证写的原子性。       2）两阶段提交对用户透明，写操作如果只涉及一个节点，无需使用两阶段提交。       3）全局CSN保证读的强一致。高性能事务管理：    GTM线程池、原子的CSN分配，中心节点无性能瓶颈。4.总结 综上所述，GaussDB基于可横向扩展的分布式架构，提供了海量存储、快速响应、数据强一致的能力，可以很好满足大规模海量数据的计算存储需求，让数据“存得下、算得快、算得准”。 值得一提的是，openGauss是开放的生态：架构开放、代码开放、技术开放和社区开放，方便企业选择开放的生态，让自己的业务具备更好的连续性。毕竟如果让企业从一个封闭的生态走向为另外一个封闭的生态，本质上并没有解决业务连续性的问题，不开放的生态是没有活力的，数据库软件尤甚，所以华为十分重视生态开放。 目前openGauss单分片版本的源代码已经开源，社区地址为：https://opengauss.org，欢迎大家自行下载、安装和体验。 Ps：错过直播的小伙伴不要灰心，点击链接回播视频看起来：cid:link_0 

5315143 484460

123123123 483276 3123123

什么是云数据库GaussDB云数据库 GaussDB，以下简称GaussDB。GaussDB是华为公司倾力打造的自研企业级分布式关系型数据库，该产品具备企业级复杂事务混合负载能力，同时支持优异的分布式事务，同城跨AZ部署，数据0丢失，支持1000+扩展能力，PB级海量存储等企业级数据库特性。拥有云上高可用，高可靠，高安全，弹性伸缩，一键部署，快速备份恢复，监控告警等关键能力，能为企业提供功能全面，稳定可靠，扩展性强，性能优越的企业级数据库服务。同时华为开源GaussDB单机主备社区版本，鼓励更多伙伴、开发者共同繁荣中国数据库生态。更多介绍请单击：初识华为云数据库GaussDB。GaussDB支持的连接方式GaussDB提供使用内网、公网和数据管理服务（Data Admin Service，简称DAS）的连接方式。各连接方式的使说明如下，您可以根据需要选择。GaussDB连接方式如下：连接方式IP地址使用场景说明DAS连接无需使用IP地址通过华为云数据管理服务（Data Admin Service，简称DAS）这款可视化的专业数据库管理工具，可获得执行SQL、高级数据库管理、智能化运维等功能，做到易用、安全、智能地管理数据库。GaussDB默认开通DAS连接权限。易用、安全、高级、智能。优先推荐使用DAS连接。内网连接内网IP地址系统默认提供内网IP地址。当应用部署在弹性云服务器上，且该弹性云服务器与GaussDB实例处于同一区域，同一VPC时，建议单独使用内网IP连接弹性云服务器与GaussDB实例。安全性高，可实现GaussDB的较好性能。如果不使用DAS连接，则推荐使用内网连接。公网连接弹性公网IP不能通过内网IP地址访问GaussDB实例时，使用公网访问，建议单独绑定弹性公网IP连接弹性云服务器（或公网主机）与GaussDB实例。降低安全性。为了获得更快的传输速率和更高的安全性，建议您将应用迁移到与您的GaussDB实例在同一子网，使用内网连接。今天，我们先来说说如何通过DAS来连接实例。通过DAS连接前提条件需要已有GaussDB实例，实例购买指导请参考购买实例。操作步骤步骤 1      进入DAS服务。在服务列表，选择数据库中的数据库管理服务DAS。步骤 2      设置DAS连接服务。选择“进入标准版”。点击“新增数据库登录”。在此设置页面，“数据库引擎”选择GaussDB，然后在“数据库来源”中就会出现当前账号下已有的GaussDB数据库实例。选中想要连接的实例。填写登录用户名及密码，单击“测试连接”。测试连接成功后会提示“连接成功”。成功后，可以选择勾选“记住密码”、“定时采集”功能，勾选完成后单击“立即新增”。步骤 3      新增完成，通过单击“登录”可以进入到相应的数据库实例。步骤 4      登录完成后，即可在DAS中完成数据库操作。----结束想知道如何通过内网及公网连接的小伙伴们，敬请期待下期哦~~~更多详细内容，赶紧戳这里，了解详情吧~~

 如果全世界的数据库一夜消失，我们的生活将会怎样？ 你会发现，银行账户无法存取钱、社保账户无法查询、电商购物车无法使用、博客无法更新、社交平台无法获得推荐内容、智能手表无法获取身体监测数据…… 数据库，这门将计算机科学和易于人类理解认知的数据管理方式完美衔接在一起的学科，自上个世界五十年代伊始就逐渐改变着世界运行方式；直至今日，大家离开数据库将寸步难行，所有的工作与生活都需要各种数据库的紧密支撑。 时光的指针不疾不徐，蓦然回首，数据库产业已是沧海桑田。从哲学博士E.F.Codd在1962年用一篇《用于大型共享数据库的关系数据模型》论文，揭开数据库产业轰轰烈烈的发展历程开始，MySQL、PostgreSQL、Redis、E.F.Codd、Bob Miner、Michael Monty Widenius、Eliot Horowits、Bruce Momjian……数据库一直都是牛人辈出、创新不止的代名词。 如今，数字化浪潮滚滚而来，云计算、大数据、AI、物联网等新技术蓬勃发展，也让数据库又开启了一个崭新的春天。毫无疑问，这是开发者们最好的时代，丰富的数据库为开发者提供一个无比精彩的舞台。 那么，数据库未来有哪些重要的发展趋势，开发者该注重哪些数据库技术？开发者在云数据库时代如何做好职业规划？华为云这位90后大咖的观点值得听听。不断跳出舒适圈的90后小哥 Kevin是一名典型的90后，性格开朗、乐于接受新生事物、热爱极限运动、喜欢独立思考。 大学所学领域跨度极大，念过法律、商学和计算机，三个硕士学位在手之后，Kevin入职全球云计算巨头，结合自身教育背景探索起云计算产品的设计和商业规划，之后回国于2019年加入华为，肩负整个华为云数据库产品的规划。 Kevin兴趣爱好广泛，喜欢健身、玩机车、拼乐高、搭模型，他认为兴趣爱好和工作并不冲突而是相辅相成，平时运动也会经常思考产品未来演进和商业思路。用Kevin自己的话，这是“思想和身体共同成长”。 截止到目前，Kevin的职业生涯可以用“跳出舒适圈，不断前进”来概括。从大学横跨法律、商学和计算机，到如今做数据库产品的规划，90后大咖Kevin直言，开发者在职业生涯需要有明确的目标，知道自己真正适合什么、对哪门技术最感兴趣，追寻未来事业和自己愉悦程度双赢。 不断跳出舒适圈的Kevin，恰恰体现出华为云在数据库领域的一种拼搏精神。去年，在数据库领域低调耕耘二十载之后，华为云对数据库战略进行了大刀阔斧地改革，集合全球七大区域、11个研究所和超过1000名数据库专业人才，以华为云为载体，瞄准了打造世界级数据库产品。 那么，作为华为云数据库产品总监，Kevin对于数据库的未来是如何思考的？云、全场景、开源是数据库必由之路 曾几何时，在以结构化数据为主的时代里，数据库All In One被认为是商业数据库时代重要发展方向；如今，在大数据、AI、物联网新技术的加持下，现代化应用井喷，数据库借此迎来了百花齐放的云数据库时代。 Kevin直言，进入到云数据库时代，云化、全场景和开源是数据库三大关键词，也是华为云打造世界级数据库的重要战略方向。 云计算是未来趋势，数据库也不例外。Garnter预测，到2021年，云数据库在整个数据库市场中的占比将首次突破50%，到2023年，将会有75%的数据库跑在云平台上。云数据库真正降低了商业数据库时代安装、部署、运维和管理等环节的复杂性，将数据库作为一种云服务提供给用户，大幅降低成本。 以美图公司为例，数据库上云之后，轻松高效应对 20 亿+客户的海量突发业务请求，这在传统商业数据库时代无法想象；此外，美图的数据库基础运维效率提升70%，核心业务数据库访问平均耗时缩短约67%，大幅提升效率并降低成本。类似的情况在不同行业迅速发生，不胜枚举。 而随着越来越多应用运行在云数据库之上，企业对于云数据库生态兼容、架构演进、软硬协同、事务一致、极致扩展等能力的呼声也愈演愈烈。“如何真正打造一款云原生的数据库产品是华为云数据库团队努力的方向。”Kevin如是说。 为此，华为云GaussDB在技术层面进行大胆创新，以存储计算分离架构为依托，支持多生态兼容、层次解耦、数据融合，解决当前云数据库容易遇到的各种挑战，并为政企用户构筑起高可用、高可靠、高扩展、高安全的企业级能力。 例如，华为云GaussDB统一采用计算资源层与存储资源层解耦的技术架构，实现分钟级弹性伸缩、秒级高可用切换；提供跨AZ的部署能力和跨AZ的读一致性访问，以及两地三中心、异地多活等能力。 其次，现代化应用大量井喷，无论是用户自身业务边界，还是业务应用类型与数据，与过去相比都发生了翻天覆地的变化，“一刀切”的关系型数据库日渐“乏力”，数据库的全场景能力正在变得至关重要。 以华为云GaussDB为例，其拥有完善的数据库产品矩阵，包括关系型数据库GaussDB(for MySQL)、GaussDB，以及非关系型数据库GaussDB NoSQL系列，已经覆盖全场景客户，满足金融、政企等各种严苛场景需求。与此同时，华为云GaussDB还广泛支持ARM、x86等多种平台，并针对不同平台进行优化，充分发挥不同架构底座的硬件资源能力，确保全场景的负载数据安全可靠。 另外，开源开放是数据库的未来。商业数据库时代，以结构化数据和关系型数据库为主；如今，数据库类型丰富，像关系型数据库、文档数据库、图数据库、时序数据库等很多都是基于开源的。正所谓独行快、众行远，面对数字世界如此丰富的应用场景，必须借助开源的力量，来构建良好生态，满足用户需求。 “开放的生态为数据库发展提供了一条大道。华为去年开源了openGauss单机社区版本代码，我们将华为多年积累的代码和沉淀分享给所有开发者。”Kevin直言道，“不管是大型公司的开发者，还是个人开发者，华为云都十分看重，我们希望所有开发者都参与进来，共同去完善数据库的大生态。” 据悉，openGauss是一款开源关系型数据库管理系统，构建一个能够融合多元化技术架构的企业级开源数据库社区。openGauss采用木兰宽松许可证（Mulan PSL v2），允许所有社区参与者对代码进行自由修改、使用和引用。 “我们的战略就是通过旗舰产品+工具生态，来打造全链路的产品家族以及生态圈。”Kevin总结道。 此刻，作为开发者的你，如果还想了解华为云GaussDB的更多内容；那么绝对不能错过4月24日与90后大咖Kevin面对面的机会。4月24日90后大咖等你来 4月24日，华为开发者大会2021（Cloud）扫地僧见面会，90后扫地僧Kevin将与开发者分享《云数据库的市场趋势和行业洞察分享》。届时，Kevin将于大家一起讨论基于云数据库的市场趋势和行业洞察、数据库性能提升与优化、云上数据管理易用性提升等内容。 “我非常希望4月24日与那么些比我还年轻、还牛的开发者们一起聊聊。”Kevin表示道。“除了数据库之外，像如何提升个人竞争力、中国IT产业未来大方向等话题也是我非常渴望与广大开发者一起交流的话题。” 欲了解华为开发者大会2021（Cloud）扫地僧见面会更多信息，可点击“阅读原文”参与报名！