由华为云数据库和Gauss松鼠会联合承办的数据库领域重要赛事，华为云GaussDB数据库挑战赛火热进行中，为帮助参赛者们顺利通关，特为参赛者准备了GaussDB知识问答及相关知识科普，get重磅题目与学习资料，轻松赢初赛！现在报名仍可参与初赛，还有华为mate40系列手机、京东卡等豪华奖金池等你哦！立即报名-> https://competition.huaweicloud.com/information/1000041405/introduction?ggw_kfz 

       6月22日，在2021ACM SIGMOD国际学术会议技术分论坛，华为GaussDB内核首席架构师任阳发表了《华为自研分布式数据库》主题演讲，分享了华为云新一代自研分布式数据库GaussDB的发展和使用现状，介绍了其5大创新技术，以及解读华为云GaussDB最新研究成果论文。华为GaussDB内核首席架构师任阳现场发表演讲任阳表示，华为从2007年开始进行数据库内核方面的开发，于2011年启动分布式数据库内核研发，2014年发布商用版本的OLAP分布式数据库，2017年发布商用版本的OLTP分布式数据库，2020年发布基于云服务的GaussDB分布式数据库。历经10+年千锤百炼，华为云GaussDB当前广泛应用于金融、政企以及大企业领域，中国头部的六家顶级银行，有四家已经选择了GaussDB分布式数据库。在全国范围内目前已经有1000+企业级客户广泛应用华为自研分布式数据库GaussDB。在华为内部，消费者云、流程IT等业务已经大量使用华为自研分布式数据库GaussDB。华为云GaussDB布局前沿技术，打造5大核心竞争力基于云化和企业2C业务的快速发展，华为将GaussDB分布式数据库的竞争力定义为五个维度，即高性能、高可用、混合负载、高安全以及易运维能力。高性能。华为云GaussDB在充分利用硬件能力基础上，如鲲鹏处理的多线程、原子指令、智能网卡的计算下推、RDMA的短时延高带宽、SCM的字节寻址持久化能力等，在软件技术领域通过动态编译、向量化引擎、SQL By Pass等能力，提供基于鲲鹏2路服务器150万tpmC，鲲鹏4路服务器230万tpmC，32节点全局强一致的1500万tpmC（基于SQL，非存储过程）能力。高可用。华为云GaussDB提供AZ内、跨AZ以及跨Region等各级的高可用能力。在单AZ内，基于无单点故障的设计，提供RPO=0，RTO < 10秒的高可用能力。在跨AZ场景下，提供同城跨AZ能力以及两地三中心能力，分别提供RPO=0，RTO < 60秒以及RPO < 10秒，RTO分钟级能力。对于有超过2000公里跨Region的需求场景，提供基于全球时钟的全球分布式能力，全局提供强一致性及五个九（999%）的可用性。混合负载。对于企业级数据库来说，混合负载是不可或缺的能力。第一，在实际系统中，很难将客户的实际业务负载区分为纯TP负载或者纯AP负载，例如我们在某银行中碰到的业务基本都是这个状况；第二，业界领先的主流商业数据库都具备混合负载能力。在华为云GaussDB分布式数据库中，我们通过全并行架构以及分布式优化器能力，可以很好地支持复杂查询能力，通过轻量级全局一致性事务协议（也叫GTM Lite）使得系统很好地支持短查询能力，同时系统具备极好的线性扩展性。高安全。云化系统需要在数据流转的整个生命周期中保证客户数据的安全性，其中包括数据传输、数据存储、数据查询以及数据正确性。对于数据传输和数据存储，这个是常规特性，可以通过传输加密和存储加密进行解决，但华为云GaussDB解决了数据查询和数据正确性方面的安全问题，通过密态查询，即在查询状态下数据始终处于加密状态解决数据查询的安全性问题。通过使用追踪链的方式，在多方状况下能够识别被篡改的数据，从而解决数据正确性问题。易运维。华为云GaussDB通过将AI能力引入数据库系统从而大幅度提升管理和运维能力，比如通过自调优，极大解放了DBA枯燥的调优工作，使其更聚焦于业务本身；通过引入索引推荐，帮助客户减少83%的索引冗余，索引占用空间减少70%；同时还使用AI技术重构了优化器、自诊断等一系列数据库核心模块。 结合AI技术实现创新，华为云GaussDB研究论文入选SIGMOD顶会在SIGMOD2021上，华为云GaussDB研究论文《Learned Cardinality Estimation for Similarity Queries》提出使用DNN进行基数预测，为了解决DNN训练问题，提出了极具创新的模型分割和数据分割解决方法，同时在此基础上提出了使用该方法进行连接操作结果集预测。该方法在BMS、GloVe300、ImageNetde等数据集上取得了很好的效果。此外，围绕AI-Native数据库主题，华为云GaussDB在SIGMOD 2022、VLDB2022以及ICDE2022上均有对应的投稿论文，基于AI技术，内容覆盖SQL生成、SQL诊断、优化器等方向。通过一系列研究，当前华为云GaussDB已经在该领域进阶到业界领先地位，并在该领域持续创新。值得一提的是，2020年，华为云GaussDB 系列数据库产品入选Gartner数据库魔力象限，其技术实力屡获权威认可。 Ps：618云数据库专场活动火热进行中，全场低至19.9元，欢迎选购>> https://activity.huaweicloud.com/dbs_Promotion/index.html 

6月20日，在ACM SIGMOD国际学术会议“中国数据库高峰论坛”，华为云数据库产品部总经理苏光牛发表了《云数据库的创新与发展》主题演讲，分享了华为云GaussDB数据库5大创新技术，坚持生态开放理念，加速千行百业数字化转型。数字化时代下，企业对云数据库提出了更高要求，既希望云数据库能满足海量业务场景下的复杂需求，又希望可以降低使用成本，提升业务效率，保障数据安全。云数据库也成为了产业升级转型和重塑产业格局的关键抓手。苏光牛提到，华为很早就开始重视数据库的投入和发展，从2007年开始研究数据库，到2020年统一数据库品牌GaussDB，华为持续战略投入数据库，并布局全球7大研究所，汇聚了一批海内外数据库领域专业人才，同时布局前沿技术，积极打造行业领先的技术竞争力。华为云数据库产品部总经理苏光牛发表演讲华为云GaussDB聚焦业务新场景，打造了以下5大核心技术竞争力：金融级高可用：华为云GaussDB提供了多种高可用方案，包括AZ内高可用、跨AZ多活、异地跨Region容灾的两地三中心容灾方案，满足金融级监管要求，并且历经银行核心关键业务严苛考验。软硬协同全栈能力：依托华为全产业链优势，垂直整合华为软硬件全栈资源，不断提升竞争力。企业级混合负载：分布式+全并行架构设计，提供事务处理与复杂查询高性能，支持1000+超大分布式集群能力，可以轻松应对海量高并发数据处理和复杂查询场景的考验。全密态数据库安全：华为云GaussDB实现从密钥处理、查询、内存、存储等全方位的安全合规和隐私保护，包括链路安全、存储安全、访问安全，同时对应用实现尽可能的透明，保证客户隐私安全。智能运维与调优：结合AI技术，实现数据库自动优化与调优等功能，让数据库管理变得更加智能高效。数据库呼唤开放的生态，华为也始终坚持开源开放理念，积极构建良好的数据库生态关系。华为云GaussDB目前已支持华为自有openGauss生态与主流开源数据库生态（如MySQL、MongoDB、Redis、InfluxDB、Cassandra等）。华为还将GaussDB部分核心能力开源到openGauss社区，鼓励合作伙伴基于开源openGauss发行属于自己的商业版本。此外，华为持续和高校联合开课，致力于培养数据库人才，繁荣数据库生态。目前，华为云GaussDB已在1000+大客户规模商用，遍布金融、政府、电信、能源、交通、电商等。另外还在SIGMOD、ICDE、VLDB等国际知名学术会议发表累计50+篇创新成果论文，内容涵盖系统架构、事务处理、AI自治、安全等。面向未来，华为云GaussDB将持续打造领先技术和服务，与更多合作伙伴一起共创时代新价值，共赢未来新机遇！

 5月18日，在华为中国生态大会2021“驱动数据创新，共建GaussDB生态”分论坛现场，华为云数据库CTO庄乾锋分享了GaussDB的全栈能力和生态合作计划，并联合行业合作伙伴共同发布了四大解决方案：迪思杰大型数据库高性能复制平台和GaussDB联合解决方案、帆软自助大数据分析平台FineBI和GaussDB联合解决方案、用友YonBIP和GaussDB联合解决方案、长亮银行分布式核心业务系统与华为云GaussDB联合解决方案，为企业数字化转型进一步注入了新动力。 驱动数据创新，共建GaussDB生态 庄乾锋表示，云数据库将加速成为市场主流，会有越来越多的政企核心业务与数据上云。数据库是专家密集型行业，需要软硬件全栈协同提升竞争力。华为云GaussDB坚持长期战略投入，布局全球7大研究所，汇聚了1000+数据库专业人才，同时立足华为云原生全栈能力，整合华为公司多元领域经验，软硬协同，打造了稳定可靠、极致性能的数据库服务。 数据库产业呼唤开放的生态，客户不希望从传统封闭生态再走向另一个封闭生态。华为云GaussDB以市场为导向，遵循“一套架构、两个生态”的理念，基于统一的计算存储分离架构，支持华为自有openGauss生态和主流开源数据库生态（如MySQL、MongoDB、Redis、InfluxDB等），实现生态兼容、层次解耦、数据融合等能力。新品金融级分布式云数据库GaussDB更是具备应对海量并发事务处理与复杂查询混合负载的能力，在和金融客户的联创考验中，证明了其出色的金融级高可用商用能力。 华为云与数据库领域合作伙伴重磅发布四大解决方案 本次论坛，华为云联合迪思杰、帆软、用友、长亮等合作伙伴共同发布了四大解决方案。方案一：迪思杰大型数据库高性能复制平台和GaussDB联合解决方案 迪思杰（北京）数据管理技术有限公司（简称DSG）总经理韩宏坤介绍道，DSG与华为云GaussDB联合打造的解决方案，通过DSG 高性能数据实时异构复制平台与华为云数据库平台合作互补，满足各种企业级数据交换场景；DSG基于数据库日志的企业级复制技术，与GaussDB开放生态、高性能等优势互补，实现数据的实时同步和满足信创需求；DSG数据采集、数据集成、数据**一体化对接GaussDB，实现了智能数据资产探测、迁移与治理一体化能力。此外，DSG与华为在数据复制和迁移领域展开了重要合作，在智慧东莞、海关总署、太平洋保险等合作项目中取得亮眼成绩。方案二：帆软自助大数据分析平台FineBI和GaussDB联合解决方案 帆软软件有限公司售前总监贺道友分享到，帆软基于华为云GaussDB数据库，联合创建了集收集、分析、管理为一体的数据平台解决方案，该方案实现了业务数据分析可视化，数据处理高效迅速，加速数据使能，充分发挥了数据价值，实现了跨部门协同沟通，提升了企业沟通效率。基于该联合方案，帆软助力正邦集团构建从数据接入到数据分析的“端到端”智能数据系统，让数据精准到业务流程每一步；实现数据统一分析、管理效果显著，节约了50%数据处理时间；同时降低开发、运维投入，成本下降50%。方案三：用友YonBIP和GaussDB联合解决方案 用友网络科技股份有限公司平台与数据智能事业部区域总监&技术专家阎翼介绍到， 为了推进企业基于数字化的商业创新，加速企业数字化转型，用友推出了YonBIP商业创新平台。YonBIP平台完成了用友云服务与华为Docker、K8s、GaussDB等基础服务的深度适配，联合打造了云原生解决方案、全栈国产化方案以及“华为云+用友企业云服务”最佳方案等系列方案。尤其在亿级数据量性能验证过程中，YonBIP平台基于GaussDB在亿级数据量下的性能测试结果优于其他云数据库，其响应更快，资源占用更少，非常适用于大数据量、高并发、高负载等企业复杂场景。方案四：长亮银行分布式核心业务系统与华为云GaussDB联合解决方案 深圳市长亮科技股份有限公司解决方案总监张杰介绍到，长亮积极携手华为投身到鲲鹏生态整体体系建设和鲲鹏生态全面融合工作中，有力保障了银行核心业务系统数据安全，为银行核心系统业务发展保驾护航。长亮分布式核心系统基于GaussDB数据库等华为云基础服务能力，构建了强有力的竞争优势。尤其在某国有大行核心系统建设过程中，华为云GaussDB数据库高度匹配长亮分布式核心系统，完成了各项性能指标的验证，获得了优异的成绩，符合客户方预期。 数据库生态建设是一个长期艰巨的过程，华为云GaussDB会始终坚持生态开放，联合更多伙伴携手共建良好数据库生态，持续助力企业智能化升级，共赢产业新机遇。

我用BenchmarksSql对opengauss进行性能测试，测试过程中打开了审计日志功能。我想对获取到的日志中的查询语句进行批量的explain操作，但是由于日志中语句的参数为$，导致explain命令无法执行。请问下有什么办法吗？比如 日志中的语句为 select * from student where name=$1 and age=$2。

删除联盟帖子测试----060101

wap联盟发帖 508065

上回文说道，如何用DAS连接数据库实例。今天，我们就来说说如何通过内网连接。GaussDB提供gsql工具远程连接数据库实例。您需要提前下载gsql工具并在ECS上安装gsql，通过gsql远程连接数据库实例。gsql工具下载请单击此处。前提条件需要已有GaussDB实例，实例购买指导请参考购买实例。已经下载gsql工具。操作步骤                                步骤 1      购买ECS，用于安装gsql工具。购买ECS指导请参考购买ECS。     gsql支持的操作系统版本如下：X86：EulerOS V2.5。鲲鹏服务器：EulerOS V2.8。                                步骤 2      在购买的弹性云服务器上，上传软件包并配置环境变量。以root用户登录弹性云服务器。创建“/tmp/tools”目录。mkdir /tmp/tools单击此处获取GaussDB软件包并解压。unzip GaussDB_opengauss_client_tools.zip根据申请的弹性云服务器的操作系统架构进入不同目录，获取“GaussDB-Kernel-xxx-EULER-64bit-gsql.tar.gz”，并上传到申请的弹性云服务器“/tmp/tools”路径下。软件包相对位置为安装时所放位置，根据实际情况填写。解压文件。cd /tmp/toolstar -zxvf GaussDB-Kernel-V500R001C00-EULER-64bit-gsql.tar.gz设置环境变量。打开“~/.bashrc”文件。vi ~/.bashrc按下i键进入INSERT模式，在其中输入如下内容后，单击“ESC”退出编辑模式，使用“:wq!”命令保存并退出。export PATH=/tmp/tools/bin:$PATHexport LD_LIBRARY_PATH=/tmp/tools/lib:$LD_LIBRARY_PATH使环境变量配置生效。source ~/.bashrc                                步骤 3      判断实例与ECS是否可以通过内网连接。如果ECS和实例在同一区域，同一可用区，说明ECS和实例网络互通，可以通过内网直接远程连接。数据库实例的区域、可用区和VPC查看方法如下。ECS的区域、可用区和VPC查看方法如下：                                步骤 4      内网连接数据库实例。查看GaussDB数据库的IP地址。然后在ECS服务器执行如下命令进行连接：gsql -d postgres -h 192.168.0.15 -U root -p 8000 -r192.168.0.15为内网IP，要替换为自己实例的IP。输入数据库root用户密码，成功登录。[root@ecs-a4e7 ~]# gsql -d postgres -h 192.168.0.168 -U root -p 8000 -rPassword for user root: gsql ((GaussDB Kernel V500R001C10 build 23636d1b) compiled at 2020-09-24 22:23:07 commit 905 last mr 1150 )SSL connection (cipher: DHE-RSA-AES128-GCM-SHA256, bits: 128)Type "help" for help. postgres=>                                步骤 5      数据库使用。postgres=> \dbs List of tablespaces Name | Owner | Location ------------+----------+---------- pg_default | rdsAdmin | pg_global | rdsAdmin | (2 rows) postgres=>----结束想知道如何通过公网连接的小伙伴们，敬请期待下期哦~~~更多详细内容，赶紧戳这里，了解详情吧~~

4月24-26日，华为开发者大会2021（HDC·Cloud）在深圳隆重举办。在名师大讲堂分会场，华为云数据库多位技术专家分享了GaussDB系列数据库全新5大黑科技，包括支持亿级时间线、千万级tpmC突破、两地三中心、AI自治等，通过技术创新不断为企业数字化转型注入新动力。黑科技1：GaussDB(for Influx)支持亿级时间线随着云计算规模越来越大，物联网（IoT）和运维监控（AIOps）领域的时序数据呈爆炸式增长，海量时序数据的存储和管理也成为一大难题。为了应对数据膨胀带来的管理、监控等挑战，华为云时序数据库GaussDB(for Influx)对内存分配、回收、单查询等功能做了大量优化，同时通过对数据分区分级、专用存储引擎、自适应压缩算法、高性能多维聚合查询、存储分析告警统一架构等技术的提升，实现亿级时间线下系统写入性能的稳定，大幅超出开源InfluxDB写入能力。华为云创新lab数据库专家现场分享黑科技2：GaussDB性能突破1500万tpmC 华为云企业级分布式数据库GaussDB基于计算存储分离架构，着重构筑传统数据库的企业级能力和互联网分布式数据库的高扩展和高可用能力。作为主打政企核心业务负载的金融级分布式数据库旗舰产品，它通过GTM-Lite技术和分布式优化器提供极致的分布式扩展能力，保证事务全局强一致，性能突破传统数据库瓶颈，实现 32节点1500万tpmC，在银行业务实测中，性能大幅度领先其他云厂商。华为云数据库首席产品经理现场分享黑科技3：GaussDB(for MySQL) 极致备份恢复能力作为华为云新一代高性能企业级分布式数据库，GaussDB(for MySQL) 通过定制的分布式存储系统，支持数据库秒级快照备份；并行高速复制下，实现数据快速备份和恢复；通过冷热数据分离，实现TB级数据最快20分钟内恢复可用，而且支持任意时间点恢复，为数据的安全可靠提供了强有力的保障。黑科技4：GaussDB与AI结合，让数据库运维更加高效、极简华为云GaussDB通过将AI技术植入到数据库内核的架构和算法中，让数据库管理更加智能与高效。如GaussDB通过利用AI 技术实现数据库自调优、自诊断、自安全、自运维、自愈等能力。典型场景如慢SQL 发现、索引推荐、基于性能指标的时序预测与异常发现、参数智能调优等，借助 AI 技术能更好地优化数据库的性能，协助DBA 降低运维难度，提升运维效率，自动调度平衡资源池。黑科技5：GaussDB支持跨 AZ/Region 部署，让数据底座更加稳定可靠在政企客户最为关注的高可用方面，华为云GaussDB提供了多种高可用方案，包括同城AZ内高可用、跨AZ高可用、异地跨Region的两地三中心容灾方案，提供跨AZ的读一致性访问，多AZ节点必须读到一致的数据，满足金融级监管要求。比如GaussDB通过独有的Switch Turbo技术，保障了同城AZ内单点故障能够快速切换，实现RPO=0，RT0小于10秒。这5大黑科技是华为云GaussDB前进路上的重大新路标，也是华为云GaussDB匠心打造领先数据库服务的重要体现。华为云GaussDB深知，在数字化时代下，企业的业务场景会更加复杂，对云数据库的要求会水涨船高，谁能抓住新一轮发展机遇，更快更好提升技术和服务，就可以在未来发展中获得更大的主动权。华为云GaussDB会不断积蓄力量，持续打造更与时俱进、更贴合企业场景的数据库服务，进一步加速企业数字化转型。详情内容可戳：cid:link_0

GaussDB是华为云推出的新一代企业级分布式数据库，在支撑传统业务的基础上，持续构建竞争力特性，为企业面向5G时代的挑战，提供了无限可能。第1期 认识华为云数据库GaussDB【直播主题】认识华为云数据库GaussDB【内容简介】华为云数据库工程师大明将为大家讲解华为云数据库 GaussDB总体架构及组件介绍【嘉宾简介】主讲老师：大明，华为云数据库内核开发工程师，PG中文社区核心委员，负责华为云PostgreSQL系列产品的设计开发。主持人：张一一，华为云数据库生态总监【直播链接】cid:link_0  第2期 GaussDB数据存储与访问【直播主题】GaussDB数据存储与访问【内容简介】1. 华为云数据库 GaussDB数据分布方式2. 华为云数据库 GaussDB读写流程3. 华为云数据库 GaussDB功能演示【嘉宾简介】主讲老师：廷哥，华为云数据库内核专家，多年数据库内核开发经验，曾参与 GaussDB多个版本的内核研发，在分布式架构、存储引擎、高可用方面有着丰富的经验，致力于openGauss及PostgreSQL在金融、互联网等行业的应用与推广。主持人：张一一，华为云数据库生态总监，2012年加入华为，从事数据库工作7年，对数据库的产业发展有深厚的理解，拥有丰富的生态工作经验，致力于推动数据库产业共识和标准化建立。【直播链接】cid:link_1 第3期 GaussDB数据加载【直播主题】GaussDB数据加载【直播简介】华为云数据库 GaussDB数据加载工具及适用场景【嘉宾简介】【直播链接】cid:link_2 第4期 GaussDB数据迁移之DRS【直播简介】DRS数据迁移功能简介、实现原理及适用场景【嘉宾简介】【直播链接】cid:link_3 第5期 GaussDB SQL优化解读【直播主题】GaussDB SQL优化解读【直播简介】介绍SQL分布式算子与分布式执行计划、分布式并行执行框架【嘉宾简介】【直播链接】cid:link_4 第6期 GaussDB华为消费者云优秀实践【直播主题】GaussDB华为消费者云优秀实践【直播简介】GaussDB华为消费者云技术方案【嘉宾简介】【课程链接】cid:link_5

我们年少时都有过这样的幻想化身侠客去闯荡江湖救人于危难之中 但你知道成为一代大侠需要经历什么吗？今天，就让我们跟随GaussDB揭秘一代数据库大侠的修炼秘笈年少习武，名师传授华为云GaussDB大家也可以叫他库大师库大师自幼被师父高斯收于门下从小立志要在高手如林的关系型数据库武林闯出一片天，成为一代大侠刻苦修炼，练就神功经过名师指导和自身刻苦修炼库大师历经十三年练就六大绝招 第一招：一剑千里-高可用两地三中心架构设计跨Region数据实时灾备无论在何地，无论多远库大师都保障数据高可用实现全栈无单点故障不仅可以做到分布式强一致，数据0丢失还能有效降低容灾成本既招招到位，又最大程度保存自身实力第二招：海纳百川-开放生态海纳百川，包容乃大库大师集众家之长并自成一派开放了openGauss生态避免了被类似传统商业数据库的封闭生态锁定同时支持和鼓励其他门派基于openGauss开放能力自创出独树一帜的武功秘籍第三招：无量神掌-极致扩展库大师基于分布式全局事务一致性优化的内功遇强则强，流量洪峰期时可按需扩展扩展性高达1000+同时支持新增分片的数据在线重分布能力PB级海量事务型存储分分钟搞定千军万马也应付自如第四招：凌波微步-卓越性能库大师拥有分布式优化器+Numa-aware技术心法加持在赫赫有名的TPC-C和TPC-H等测试排行榜中名列前茅企业级负载下性能表现卓越翩若惊鸿，婉若游龙给人轻盈飞快之感第五招：混元功-丰富的企业级特性古人云：狡兔三窟，得免其死绝招越多，实力愈大，自保能力越强库大师自创了一系列能力的混元功正是如此比如适用于HTAP混合负载、单分片部署模式等企业级场景拥有智能诊断、索引推荐等AI自治能力再复杂情况下也可以全身而退第六招：无懈可击-高安全攻是守之机，守是攻之策一个大侠应该具备进可攻退可守、攻守结合的修养库大师支持TDE透明加密、全密态、防篡改等安全技术承袭师父高斯10年+研发管理经验包括核心代码拥有100% 的知识产权对产品所有模块都具备代码级的问题修复及架构优化能力可以轻松面对各种明枪暗箭闯荡天下，升级打怪库大师下山闯荡，一路行侠仗义短时间内名声斐然，武功也不断精进于是决定约战武林两大关系型数据库高手传统关系型数据库和分布式数据库中间件 紫禁之巅，三人大战，四招定胜负GaussDB VS传统关系型数据库GaussDBVS分布式数据库中间件兼济天下，为国为民闯荡江湖多年，库大师已登顶武林巅峰偌大江湖难遇敌手于是决定效仿先贤侠之大者，为国为民向全网开放商用GaussDB的能力让金融政企等更多有识之士学习、使用和体验为企业数字化转型提供无限新动力延伸链接：cid:link_0

 说起出行定位，大家或多或少都被导航系统坑过，有人跟着系统指示在原地转了几大圈，就是找不到目的地；有人明明根据提示前方800米左转，然后走了大概200米，突然提示你已经偏离方向……于是糟心发问：定位不精准，数据反映慢，到底是谁的锅？ 额，也许是数据库没使用正确呢！ 要知道，定位业务的应用场景非常丰富，大至山川湖海、城市人文，小至楼宇屋舍、方寸天地，定位服务请求每日多达亿次，数据量增长快，且要求秒级精准响应，如果没有一个高性能的数据库作为支撑，怎么能处理好这些海量数据呢？ 所以，今天我们就来聊聊华为消费者云定位服务是如何基于数据库为用户提供精准定位的。千亿数据难处理，消费者云寻求云上突围 华为消费者云是华为针对终端用户提供围绕数据、应用、出行、娱乐等众多场景的数字生**验的功能与服务的统称，拥有数亿+终端用户，月活量高达数亿。定位服务是华为消费者云数据量最大的单体服务之一，为数亿华为设备提供定位支持，为超过1700+款APP提供定位数据。定位服务初始存量数据有上千亿行，迁移时每日数据量增长8亿左右，后来数据量已增加到原来的2倍。 随着数据量的与日俱增，如何高效处理海量数据的问题日益凸显。如何快速通过云化，让数据库根据数据量变化快速弹性扩容，成为消费者云定位服务提升服务能力的关键所在。为支撑数据体量巨大的定位服务，华为消费者云将原先使用的线下MySQL数据库系统升级替换为华为云原生分布式数据库GaussDB，而被消费者云选中的“天之骄子”GaussDB也在这场升级改造中表现卓越。超大规模集群，高效支撑日均百亿级访问 定位服务拥有华为数亿+设备的定位数据，整体单表累计数千亿行，目前每天的业务量访问次数已经达到上百亿次。面对如此巨大的访问量，华为云GaussDB通过提供高性能的大规模集群资源，支持自动负载均衡，业务高峰时有效支撑几十万TPS的并发访问，应对日均百亿次的业务压力也毫不费力，极大提升了定位服务的服务效率。在线扩容，轻松应对海量写入压力 因庞大的用户量和业务量，定位服务的高频带冲突写入峰值高达百万行每秒，对数据库的扩展能力考验极大。华为云GaussDB通过优化的存储管理和锁机制，在高比例冲突场景下upsert性能远远优于原MySQL，能高效支撑百TB级数据处理。而且华为云GaussDB支持节点扩容和磁盘扩容，扩容过程支持业务数据持续入库，确保业务不中断，平滑过渡，满足业务量逐步增加所需要的处理能力和存储空间弹性扩展的要求。GaussDB面对数据激增的浪涌弹性发放，资源灵活部署，以后出行再也不用担心定位系统闹脾气，路径输出延时了。业务高可用，故障秒级切换  定位服务需要提供实时定位，不能接受业务中断、数据丢失等故障问题。华为云GaussDB凭借卓越的高可用能力，支持多AZ部署，单分片多副本之间采用反亲和部署，最大限度降低AZ级故障以及单台宿主机故障对整个集群的影响，故障发生时可以在秒级内完成主备切换，保障业务的持续运行。 定位服务关乎人们出行、生活的基础保障，华为云原生分布式数据库GaussDB方案极大地提升了出行定位的运营效率和服务水平。数字化时代下，华为云GaussDB会持续锐意创新，以更先进的技术紧密结合定位服务的发展，让人们更快乐高效出行。  【重磅活动推荐】作为华为ICT基础设施业务面向全球开发者的年度盛会，华为开发者大会2021（Cloud）将于2021年4月24日-26日在深圳举行。本届大会以#每一个开发者都了不起#为主题，将汇聚业界大咖、华为科学家、顶级技术专家、天才少年和众多开发者，共同探讨和分享云、计算、人工智能等最新ICT技术在行业的深度创新和应用。智能时代，每一个开发者都在创造一往无前的奔腾时代。世界有你，了不起！点击阅读原文，了解大会详细信息。cid:link_1

1.前言 随着云计算规模越来越大，企业业务数据量呈指数级增长，传统数据库在海量数据存储与管理方面显得力不从心，面临“存不下，算得慢、算不准”的问题。 面对挑战，华为云数据库深度融合华为在数据库领域多年的经验，充分结合了企业级场景需求，基于openGauss自研生态推出了企业级分布式关系型数据库GaussDB。GaussDB目前支持单分片和分布式两种部署形态，在支撑传统业务的基础上，持续构建竞争力特性，为企业面向数字化转型提供了无限可能。 4月9日，由华为云主办的GaussDB系列技术直播第2期《华为云数据库 GaussDB数据存储与访问》于线上开启，直播详细介绍了GaussDB的数据分布方式和数据读写流程，为方便大家快速了解GaussDB，本文结合第2场直播内容从总体架构、数据分布方式、计算下推、数据强一致等方面进行介绍。2.分布式架构  GaussDB是一个典型的基于数据分片的双层分布式架构(share nothing)，数据通过一定的规则比如hash、list或者range等让数据打散分布到不同的数据节点上，计算时底层多个数据节点共同参与，上层协调节点负责执行计划生成和结果汇聚。3.让数据“存得下、算得快、算得准” 随着5G时代的到来，单一节点是难以应对数据规模的不断增长并确保性能的需要，业务面临“存不下、算得慢、算不准”的问题。而GaussDB可横向扩展的分布式架构可以很好满足大规模海量数据的计算存储需求，让数据“存得下、算得快、算得准”。3.1海量数据“存得下”         GaussDB支持1000+的数据节点扩展能力，数据通过一定的规则比如hash、list或者range等让数据打散分布到不同的数据节点上，让数据“存得下”。数据分布方式         GaussDB支持hash、list、range、replication分布方式，下图以hash和replication为例，示意了数据在DN节点上的分布情况。create table通过distribute by语法指定表的数据分布方式。hash分布把数据散列存储到所有DN，适合数据量比较大的表；replication分布把数据复制存储到所有DN，数据更新时，会同时更新所有DN，采用2PC(两阶段提交)保证分布式事务的一致性，适合更新频率比较低的小表。一致性hash GaussDB的hash分布采用类似一致性hash的方式，数据通过两层映射，第一层通过hash映射把数据映射到N个hash bucket中，或者叫vnode中；第二层映射把vnode映射到物理的datanode上。扩容时，只需要调整二层映射，保证数据搬迁最小：数据只会搬迁到新节点，已有节点之间不会互相搬迁数据；分布键的选择         对于数据分布来讲，分布键的选择至关重要，不合适的分布键会导致数据倾斜，导致木桶效应。分布键的选择一般遵循如下原则：尽量选择distinct值比较多的列，保证数据均匀分布。分布均匀是为了避免木桶效应，各个节点对等执行。尽量选择Join列或group 列做分布列。尽量选择Join列或group 列是为了避免数据节点之间数据流动,提高性能。数据倾斜         当我们选择了一个分布键之后，如何判断数据是否分布均匀呢？GaussDB提供了SQL语句可以方便的查询是否发生了数据倾斜。         通过如下方法，可以查询数据存储在那个DN，其中xc_node_id就是DN的内部标识，取值于系统表pgxc_node的xc_node_id列。           通过如下SQL，就可以查看表在各个DN上的数据分布情况，一般来说，DN的数据量相差10%以上，则可能发生了数据倾斜，就要考虑按照前面的原则调整分布列。SELECT a.count,b.node_name FROM (SELECT count(*) AS count,xc_node_id FROM tablename GROUP BY xc_node_id) a, pgxc_node b WHERE a.xc_node_id=b.node_id ORDER BY a.count DESC; 3.2计算下推，“算得快” GaussDB的优化器和全并行分布式执行能力，把计算下推到DN节点，减少数据移动，让数据“算得快”。数据读写流程大致执行过程：业务应用下发SQL给Coordinator ，SQL可以包含对数据的CRUD操作；Coordinator利用数据库的优化器生成执行计划，每个DN会按照执行计划的要求去处理数据；数据基于一致性Hash算法分布在每个DN，因此DN在处理数据的过程中，可能需要从其他DN获取数据，GaussDB提供三种stream流（广播流、聚合流和重分布流）实现数据在DN间的流动，使得join无需抽取到CN执行；DN将结果集返回给Coordinate进行汇总；Coordinator将汇总后的结果返回给业务应用。 华为在SQL执行优化方面有多年的沉淀，即使是复杂的SQL、事务分析混合（HTAP）的场景也能得到最佳的执行，我给大家举一些列子：基于代价的优化基数估算：Feedback增强、AI基数增强代价估算：行存/列存代价估算、网络通信代价估算搜索算法：动态规划方法、遗传算法、AI搜索分布式执行计划能力Light ProxyFast Query ShippingRemote Query Shipping自研Cascade优化器对象化处理规则应用及搜索任务基于分支限界的剪枝技术计算下推         优化器是GaussDB关键技术之一，可以把各种复杂的SQL进行下推执行，最小化数据移动，这是GaussDB相对于基于分库分表的中间件方案的核心优势（对于复杂查询，由于计算无法下推，中间件很容易成为性能瓶颈，需要业务做比较大的改造来规避）。         以下案例的表结构为：         create table t1(a int, b int, c int) distribute by hash(a);         create table t2(a int, b int, c int) distribute by hash(a);单表查询下推 单表查询，不管SQL的where条件是否带有分片键，优化器都可以生成下推的执行计划，包括sort/group by等复杂算子，都可以下推。          1）分片键上的where条件，直接下推到DN         2）非分片键where条件，DN先计算，CN做汇总，sort/group by可以直接下推到DNJoin查询下推        1）分片键上的join条件，直接下推到DN执行       2）非分片键join条件，DN直接做数据交换，避免CN成为性能瓶颈        1，Join下推到DN执行，DN之间直接进行数据重分布，交换数据，无需CN参与；CBO优化器选择小表t2做重分布；        2，Sort下推到DN，CN只需做归并排序，避免CN成为性能瓶颈；3.3数据强一致，“算得准”       数据强一致是GaussDB相对于基于分库分表的中间件方案的另一个核心优势，基于中间件的方案由于不感知事务的快照逻辑，只能做到最终一致性，部分场景需要业务做比较大的改造来规避陷阱。GaussDB提供数据强一致能力，让数据“算得准”。分布式强一致：       1）两阶段提交保证写的原子性。       2）两阶段提交对用户透明，写操作如果只涉及一个节点，无需使用两阶段提交。       3）全局CSN保证读的强一致。高性能事务管理：    GTM线程池、原子的CSN分配，中心节点无性能瓶颈。4.总结 综上所述，GaussDB基于可横向扩展的分布式架构，提供了海量存储、快速响应、数据强一致的能力，可以很好满足大规模海量数据的计算存储需求，让数据“存得下、算得快、算得准”。 值得一提的是，openGauss是开放的生态：架构开放、代码开放、技术开放和社区开放，方便企业选择开放的生态，让自己的业务具备更好的连续性。毕竟如果让企业从一个封闭的生态走向为另外一个封闭的生态，本质上并没有解决业务连续性的问题，不开放的生态是没有活力的，数据库软件尤甚，所以华为十分重视生态开放。 目前openGauss单分片版本的源代码已经开源，社区地址为：https://opengauss.org，欢迎大家自行下载、安装和体验。 Ps：错过直播的小伙伴不要灰心，点击链接回播视频看起来：cid:link_0 

5315143 484460

123123123 483276 3123123