-
DTCC2021各位技术大咖各显所长奉献了一场场精彩绝伦的视听盛宴我们收集了10位GaussDB大咖的高能金句看看哪句最能打动你
-
11月5日,第七届DAMS中国数据智能管理峰会在上海成功举办,华为云Markting部部长董理斌先生与华为云数据库解决方案架构师唐立先生出席并在会上发表了精彩的主题演讲,分享了华为云GaussDB在产品布局、商业成功、生态建设等方面的发展规划,以及在金融行业核心业务场景的应用实践,为企业数字化转型提供新动力。华为云GaussDB深耕创新与开放,提供全场景云服务在上午的峰会主会场,华为云Markting部部长董理斌与参会嘉宾分享了华为对产业趋势的理解和思考,表示随着企业的数字化建设加速进入全面云化阶段,由现在的ON CLOUD进阶到IN CLOUD,企业业务真正生于云、长于云,华为云基于“云原生基础设施2.0”陆续推出多个云原生2.0创新产品,在客户云基础设施面临的应用与资源割裂、单数据中心架构、单一应用生态等问题上提供了相关的云原生2.0解决方案,助力客户的数字化转型与升级。华为云Markting部部长董理斌数据库作为根技术之一,华为发挥软硬全栈优势,坚持长期战略投入,打造开放生态,围绕全球多活高可用、软硬深度协同、企业级混合负载、云原生、数据安全与可信以及AI-Native智能运维与调优这六大数据库关键技术方向,打造根技术竞争力。华为云GaussDB为客户提供满足其全场景业务诉求的数据库产品、生态工具以及智能管理服务,让客户“选型安心、迁移放心、管理省心“,当前已经在1500+金融政企标杆大客户中实现规模商用,包括对产品综合能力要求最为严苛的银行业,并且已经在国有6大银行中的4家核心系统部署并商用。数据库呼唤开放的生态,客户希望从封闭走向开放。华为云在积极拥抱开源生态的同时,也将GaussDB单机主备能力贡献出来,和开发者、伙伴一起共建openGauss开放社区,当前已经吸引了2000+开发者,70家头部企业,12家合作伙伴基于openGauss发布了自有品牌数据库产品。数据库产业在蓬勃发展,人才是数据库行业最大的难点之一。华为在人才方面坚持长期战略投入,全球布局,吸引全球顶尖数据库内核专家加入我们的研发团队;同时通过培训认证和人才生态合作伙伴为产业链提供人才,提升能力;并通过教育部“智能基座”、新工科等项目,深化与高校的课程建设以及学术合作,保证客户和华为自身未来的人才供给。华为云GaussDB在金融行业核心系统的商用实践在下午的金融分会场,华为云数据库解决方案架构师唐立先生通过三个典型金融场景案例,介绍了客户从传统数据库迁移到华为云GaussDB的完整过程,为金融行业核心系统迁移改造提供了新范例。华为云数据库解决方案架构师唐立近年来,随着数据量的快速增长和信息安全的战略要求,传统数据库软件已经无法满足客户诉求,从互联网到金融、政企、运营商等企业都在逐步向国产数据库迁移。但数据库迁移是一个系统工程,需要客户、数据库厂商、合作伙伴的共同参与,开发、测试、运维等多部门的合作和投入,共同解决上云迁移过程中的难点。基于多年的企业级客户服务经验,以及华为自身对云化、数字化的理解,华为云GaussDB提供全场景、全开放的完整数据生命周期解决方案,帮助客户做好数据库选型,通过数据库和应用迁移工具——UGO和数据复制服务DRS,做好数据迁移的精准迁移评估、语法转换、应用改造,并实现数据的平滑迁移,为客户提供一站式迁移解决方案,打造极致用户体验。以某国有大行改造为例,华为云GaussDB分布式数据库高效支撑大机下移和分布式改造的工作,基于“UGO+DRS” 一站式全链路迁移解决方案,在上万对象改造和百万级代码改造中,语法转换率高达98%,成本大幅降低。而且GaussDB支持超过1000+节点的扩展能力和PB级数据容量,支持同城跨AZ秒级恢复和两地三中心容灾分钟级切换,满足金融安全监管要求,替换后报表和复杂查询场景耗时从分钟级降低到秒级,实现高并发和低时延。数据库的发展需要持续投入基础研究与创新,扎实培育人才 ,更需要“产学研用”全产业链的通力协作,共创未来。华为云GaussDB希望和伙伴们一起促进数据库行业的繁荣发展。华为云数据库双十一优惠专场盛大来袭!新用户购买云数据库MySQL、PostgreSQL、DDS只需11.11元/年!4.5折超低折扣、7200元上云大礼包、消费满赠华为手机等豪礼享不停!活动详情→:https://activity.huaweicloud.com/dbs_Promotion/index.html
-
文/陶然云、AI、5G等技术驱动,数据库行业迎来新的需求,云数据库也在不断演进升级。依托华为云与华为云Stack,通过全栈软硬件优化,华为云GaussDB进行了进阶与革新,以统一的架构,支持关系型与非关系型的数据库引擎。近日,在第十二届中国数据库技术大会上,笔者有幸采访到了华为云数据库CTO庄乾锋,庄老师向我们详细解读了GaussDB如何从产品架构革新,做到支持全场景全业务,并从解决方案与案例的维度分享了华为云数据库的优秀实践。华为云数据库CTO 庄乾锋华为云GaussDB打造全场景数据库云服务如今,数字化转型已从“以资源为中心”转换成“以应用为中心”,数字化转型进入新阶段。华为云GaussDB紧随时代发展潮流,紧密结合客户业务场景,不断进行自主创新,积极打造极致性能、高可用的数据库服务。 据庄乾锋介绍,华为云GaussDB数据库在2020年升级为全场景云服务以来,取得了一系列的突出进展: 首先,华为云在今年4月份的华为开发者大会上正式发布了GaussDB新品,主打金融政企核心业务场景,是能满足最严苛金融级需求的分布式数据库。 庄老师进一步表示,今年的新版本具备应对海量并发事务处理与复杂查询混合负载的能力,通过技术与全并行架构创新,性能大幅领先对手,并具备超过1000+节点的弹性扩展能力。 同时我们还推出全球首款纯软全密态技术,保障数据传输、计算、存储全链路的安全。并且通过将AI技术植入到数据库内核的架构和算法中,让数据库管理更加智能与高效。 不仅如此,华为云并没有停止前进的步伐。据介绍,在8月份,我们又重磅推出了两个内核新特性:Ustore存储引擎和基于Paxos协议的DCF高可用组件。 Ustore存储引擎是GaussDB内核新增的一种存储模式,这种数据存储能带来更高性能、更高效率,空间利用更充分,整体系统运行更加平稳,适应更多业务场景和工作负载。 而DCF组件则使得GaussDB在保证数据一致性的同时,在高可用方面可进一步得到增强,用户不仅可以免去系统脑裂的风险,还可以提升可用性。 其次,在9月份的2021华为全联接大会上,发布了GaussDB(for MySQL)2.0全新版本及三大核心技术,在原有基础上深度整合了华为云计算全栈的独特能力,在性能、可用性、扩展性等方面都进行了创新,实现了云栈垂直集成力量的最大化,让算力更快更猛,也能更好解决客户海量数据负载场景难点,助力企业客户业务创新。 最后,今年我们在公有云上也上线了数据库和应用迁移工具UGO,这是一款专注于传统数据库的结构迁移与语法转换的利器。未来我们还将在五大技术方向上持续创新,包括云原生多主、基于Memory Pool的HTAP、云原生Serverless、AI Native、全密态。打造一个有技术、更懂客户的数据库,与客户一起深耕数字化转型。 华为云GaussDB携手伙伴共建数据库生态 华为一直坚持合作开放共赢的生态理念。一个能使能客户成功的商业产品,不仅产品要做好,还需要一个成熟健康的生态。 据庄老师介绍,华为云GaussDB积极拥抱并完全兼容和支持业界主流的关系型数据库生态,如MySQL、PostgreSQL及非关系型数据库MongoDB、Redis等生态,另一方面华为公司2020年6月30日宣布开源的openGauss也是开放的生态。 华为云GaussDB对外开源,做到架构开放、代码开放、技术开放和社区开放,不会让客户从封闭的数据库走向另外一个封闭的数据库, openGauss这种方式,能让更多的“同道中人”一起来解决缺陷,一起来理解这个架构,从而维护起来更加方便。 在人才生态方面,华为致力于培养数据库人才,发起高校人才培养计划,计划3年投入5亿人民币,通过智能基座、教育部新工科项目,持续与高校联合开课,截止目前已经投入2亿多,有80+所合作高校,每年覆盖23000多名学生。未来一年计划覆盖200所高校,8万学生。 如今,GaussDB已经广泛应用在1500+政企大客户,涵盖金融、税务、医保、能源、交通、电信运营商、互联网、电商、物流等行业。 在对数据库要求最为苛刻的金融行业,6大国有大型银行中有4家银行已经选择了GaussDB,包括工行,农行,建行,邮储,以及多家股份制银行和保险证券机构。 在财政、税务、医保、自然资源等泛政府行业,GaussDB已和22+省级,100+市级单位开展合作,支持效率提升更好服务社会。 根据国际数据公司(IDC)最新发布了《2020年下半年中国关系型数据库软件市场数据跟踪报告》。报告显示,华为云数据库凭借GaussDB以9.8%的市场份额,占据本地部署市场国产数据库份额第一,同时公有云市场数据库份额增速第一。 面向未来,华为坚持做持续创新的数据库,数据库的持续创新离不开产学研的通力合作,一方面,与合作伙伴、高校以及开发者共建开源生态,鼓励有能力的合作伙伴发展基于openGauss的自有品牌数据库产品,为上层应用提供更多数据库选择,和业界共同繁荣数据库产业生态。 另一方面,华为也基于openGauss的生态,增强分布式内核能力,发布GaussDB商业版本,通过华为云和华为云Stack,满足金融政企客户、华为消费者云、流程IT以及运营商业务对分布式数据库的高性能、高可靠、高安全的需求。目标是打造世界级的国产数据库,为客户提供更优秀、更有竞争力的产品。
-
9月底,伴随着一场线上作品答辩形式总决赛的结束,历经几个月的2021年第三届华为云GaussDB数据库挑战赛终于在如火如荼的进行中落下了帷幕。同时,华为云GaussDB参与的由教育部与华为云数据库联合命题的第七届“互联网+”大赛产业命题赛道在10月份也终于迎来了终章。至此,华为云数据库本年度两场重要大赛画上了圆满的句号。万人角逐,最强10队突出重围获终极大奖2021年第三届华为云GaussDB数据库挑战赛以GaussDB分布式数据库相关特性为重点课题,由华为云数据库和Gauss松鼠会联合承办。华为云GaussDB数据库挑战赛自举办以来,始终秉承着“综合科研教学成果及商业需求,探索数据库领域技术问题的可行性,为需求方和开发者提供联接的桥梁”的宗旨,面向全社会开放,竭力搭建一个技术交流、人才培养、机遇共创的数据库开发者平台和生态,至今已成功举办了三届。作为数据库领域的重量级赛事,比赛的报名预热阶段就吸引了无数的行业人士,从个人开发者到企业团队都跃跃欲试。整个比赛过程中,11860位选手热情参与,组成1123个参赛团队披荆斩棘,经过初赛的紧张PK,1036支团队晋级复赛,在更为激烈的较量中,最终10支团队在这场激烈的角逐中脱颖而出,斩获终极大奖,共同瓜分20万超“壕”华奖品池。2021年第三届华为云GaussDB数据库挑战赛获奖榜单本届比赛的规模也在前两届的基础上有了空前的扩大。2019年,第一届华为云数据库挑战赛由近千人组成400多支队伍展开竞争,提交了近6000次作品;2020年,第二届华为云数据库挑战赛在开发者和伙伴们的高涨呼声中再次启动,近3000人参与竞赛,涵括了250+高校、30+行业;今年的比赛参赛人数上万,组成的团队上千,提交作品1500多次。这足以证明这场比赛在数据库领域中的影响力正在快速扩大。开发者作为创新技术的主力,是企业发展的源动力,因此,数据库人才的培养和生态建设,是华为一直以来都很重视的事情。华为云GaussDB数据库挑战赛举办三届以来始终坚守初心,与行业精英和数据库爱好者共同探索数据库领域的创新技术与工程实现。在这场呼声高涨的比赛中,这些团队无一不将自己内心对大赛赛题的层层推敲和专业能力的日夜沉淀都用键盘表达在了一串串的代码中,传达给屏幕前的我们,展现他们基于GaussDB数据库内核特性开发的能力,让评委们高赞十强团队选手的实力,作品不仅满足了赛题要求的基本功能,同时还实现了代码模块设计合理,性能最优化,内存资源占用尽量最小化。强强联合,联手教育部首次共创全新赛制10月中旬,由教育部牵头主办的第七届中国国际“互联网+”大学生创新创业大赛落下帷幕,至此,教育部联合华为云数据库共创的全新赛事——第七届“互联网+”大赛产业命题赛道·华为云GaussDB命题比赛也迎来了终结的篇章。本届大赛的产业命题赛道,是七届大赛以来的首创之举,目的是为了推进赛事组织的线上线下融合,推进高校创新创业教育与破解产业实际技术难题相结合,真正落实大赛“以赛促教,以赛促学,以赛促创”的重要任务。本次教育部联合华为云数据库以实际场景出发,以产业为主体,共创这样的全新赛道,为比赛的举办注入了全新的活力,开放、灵活的竞赛空间为这些朝气蓬勃的参赛者们提供了更多的机遇。作为本届大赛产业赛道的重要命题之一,华为云GaussDB命题深度融合“产、学、研”的技术创新体系,以此次教育部发起的互联网+大赛为载体,加强与高校、初创企业的创新合作,通过给定式命题“基于GaussDB(for MySQL)数据库实现高性能、高扩展性的bufferpool(缓冲池)”倡导参赛者基于企业实际业务场景思考并解决数据库领域技术问题,提高参赛者对数据库的理解、掌握与实际场景应用能力,从而促进数据库专业人才培养和产业升级。此次华为云数据库与教育部强力的联合共创,一方面丰富了国家、高校和企业对数据库人才培养的渠道和方式,能够有效提高人才培养的质量,另一方面通过企业和高校的紧密联动合作来提升开发者的实际业务场景应用能力和创新能力,有助于数据库人才和生态的双重建设。强力后援,专家坐镇为参赛者们保驾护航不管是第三届华为云GaussDB数据库挑战赛还是强强联合下的 “互联网+”大赛产业命题赛道,为了让参赛者们发挥出最好的水平,华为云数据库大赛组都做足了准备,提前向参赛者们提供了相关的学习资料,以确保有充分的准备应对知识闯关。不仅如此,大赛组还成立了由五位华为云数据库高级技术专家组成的权威专家团,全程为参赛者们保驾护航。从比赛开始,专家团就在为各位参赛者随时答疑解惑,从交流群疑难的答复,到日常的技术交流,都为选手们的参赛提供了充分的知识储备。为了让参赛者更好地了解赛题设计思路和命题方向,大赛组还精心准备了命题攻略和线上技术直播解读,华为云数据库资深架构师苏斌在直播间详细解读了GaussDB命题攻略,通过剖析数据库关键技术和赛题考点,助力选手们在比赛中稳操胜券。大赛组权威专家团成员近年来,国家的数字化进程不断加快,企业快速适应数字化的发展模式已经成为必然趋势,在这背后,是企业大量的业务需求对于行业新技术的高要求,技术的革新则是第一生产力,其核心开发者便成为其中重要一环。多年来,华为一直致力于数据库人才的培养,为开发者提供技术交流和机遇共创的舞台,携手更多伙伴共建合作、开放、共赢的生态。虽然目前两大赛事已经画上圆满的句号,不过接下来十一月份即将启动的华为云GaussDB海外亚太区域赛将会更加精彩,让我们拭目以待! 华为云数据库双十一优惠专场盛大来袭!新用户购买云数据库MySQL、PostgreSQL、DDS只需11.11元/年!4.5折超低折扣、7200元上云大礼包、消费满赠华为手机等豪礼享不停!活动详情→:cid:link_0
-
10月18日,以“数造未来”为主题的第12届中国数据库技术大会(DTCC2021)在北京举办,华为云数据库CTO庄乾锋携华为云数据库多位技术专家和优秀合作伙伴共同参会并发表了重要主题演讲,分享了GaussDB立足数据库6项基础研究,持续打造根技术,加速数字技术与业务的进一步融合创新。华为云数据库CTO庄乾锋现场发表演讲 在上午的大会主会场,华为云数据库首席架构师冯柯表示:“数字化转型已从'以资源为中心'转换成'以应用为中心',数字化转型进入新阶段。华为云GaussDB将深耕数字化下半场,坚持在金融级高可用、云栈垂直整合、密态数据库等6大基础研究上投入,打造根技术竞争力。同时将产品能力应用到更多商业实践,为客户提供更多高效可用的解决方案,做企业核心数据上云信赖之选。” 华为云GaussDB紧随时代发展潮流,紧密结合客户业务场景,不断进行自主创新,积极打造极致性能、高可用的数据库服务。华为云数据库CTO庄乾锋表示:“基于客户业务需求,华为云GaussDB在云原生多主、基于Memory Pool的HTAP、云原生Serverless、AI自治、全密态数据库等方面进行了巨大创新,同时还联合梦饷、消费者云、迪思杰等合作伙伴联合创新,打造更多、更优的数据库服务能力,满足客户多种复杂场景需求。” 华为云GaussDB立足云原生,提升高可用能力 云原生在互联网领域逐渐成为主流,越来越多的互联网应用基于云原生架构运行。华为云数据库技术专家彭立勋介绍到:华为云GaussDB面向互联网云原生场景,构建了自己独特的云原生能力,以高可用为例,GaussDB致力于向全场景透明应用连续性方向持续演进,提供最佳的云原生数据库体验。 云原生高可用能力可以让企业摆脱扩展难、稳定性差等痛点,让企业更聚焦业务价值创造,实现业务新一轮发展。厚仁科技技术研发部副部长杨喜帅表示:“厚仁科技在线教育平台基于GaussDB提供的高可用、高性能、易扩展、低时延等能力,流量暴涨下平台依旧稳定,在线服务提供更及时,用户体验更佳。” 华为云GaussDB存储引擎创新,探索更高可用方案 高可用作为数据库根技术之一,影响着企业业务的持续稳定运行,对业务发展至关重要。华为GaussDB技术专家王磊表示:“GaussDB通过将磁盘引擎和内存引擎结合,提供了高性能/高扩展的并发控制事务系统、高可靠/高可用的日志系统、灵活的表级存储格式/引擎、统一的行存访存接口等能力,面对大容量、追求极致性能的业务场景表现更优。” 当前该能力已在部分行业落地实践,华为消费者云数据库技术专家张中靖表示:“消费者云服务业务覆盖全球180+国家/地区、亿级终端用户,需要具备高性能、高可靠、 大容量的分布式数据存储服务。消费者云服务基于华为云GaussDB分布式数据库技术构建了单集群PB级、万亿记录、跨AZ高可用的扩展能力,实现简化业务开发、快速构筑开发者生态。” 华为云生态工具革新,为企业提供更快上云方式 近年来,去“O”的呼声越来越大,大量的传统企业开始脱离“IOE”集中式架构,进行分布式改造,迈向云端。华为云数据库技术专家窦德明表示:“针对去‘O’,华为云GaussDB推出了数据复制服务DRS+数据库和应用迁移UGO专属解决方案,提供简单易用、高效可靠的迁移服务。目前该方案已在某金融头部企业中实施,并经受住海量存储过程改造、TB级数据在线迁移等业务实践考验。而作为语法转换利器的UGO,目前也开始正式商用了。” 作为华为优秀生态合作伙伴和数字服务提供商,迪思杰在信息化创新、数字化转型的大背景下,对数据管理技术和产品进行了多方位革新。迪思杰副总裁王浩表示:“迪思杰打造了全套数据生命周期管理解决方案,还联合华为推出了面向GaussDB的数据生态产品和解决方案,以及面向华为云的数据**系列产品和解决方案,积极构建国产数据库生态,共创数字化繁荣。” 数字化创新之路还在继续,华为云GaussDB会继续携手更多合作伙伴,打造更优、更专业高效的数据库服务,加速企业数字化转型,创造数据库新未来!【GaussDB技术专场预告】10月19日下午和20日上午还有华为云GaussDB金融核心业务去“O”实践介绍,以及GaussDB NoSQL技术演进内容分享,精彩依旧,干货满满,千万不要错过啦!
-
9月24日,在华为全联接2021华为云Stack分会场,华为云数据库金融行业解决方案总监徐冰发表了“GaussDB数据库在金融分布式新核心的应用与实践”主题演讲,分享了华为云GaussDB的云原生能力优势和优秀应用实践,为金融行业数字化转型提供了丰富的改造思路。金融行业数字化转型痛点当前,越来越多企业都在积极依托云化技术实现业务转型和数字化智能升级,业务云化大势所趋,云原生数据库将是数据库产业升级的转折点。传统金融行业客户的核心业务过去主要是构建在DB2 大型机或者IOE的集中式架构上,跨入云时代后,越来越多金融客户选择自主可控的云化分布式数据库,尤其是当前的互联网金融类和创新类业务等。在金融客户场景下,面对互联网金融业务和核心系统分布式改造,我们常见的主要难题是:扩展难:传统集中式数据库面向互联网金融业务时,无法弹性扩展快速响应业务要求。高可用:金融监管要求核心系统提供两地三中心、同城双活的高可用能力。高性能:支持混合负载的高性能要求。GaussDB立足云原生,让技术更贴合业务场景针对金融客户的需求,华为云提供了新一代云原生企业级分布式数据库——GaussDB。它是华为云核心战略、华为全自研产品,跟硬件优势紧密结合;同时拥有华为强大的专家团队,为技术持续创新提供可靠保障。其提供的云原生能力如下:支持多种部署形态:拥有集中式主备版本和分布式版本两种部署形态,其中分布式版本拥有业内众多竞争力技术创新,在海量事务型场景方面提供了极具竞争力、稳定可靠的数据库底座能力。生态开放:GaussDB开源了主备版本,积极拥抱开源,支持多元化业务合作开发,提供了更开放的生态。 丰富的企业级特性:全局数据结构NUMA分区化改造,减少了跨Die、跨处理器竞争冲突,性能提升50%以上;基于分布式架构的分布式优化器,可以进行谓词下推等操作,充分利用集群整体的处理能力;基于无锁并行日志恢复的技术,主备切换可在10s内快速完成。紧贴金融行业场景,推动业务新发展应用实践方面,华为云GaussDB历经金融客户严苛场景考验,提供了极致稳定的数据库服务能力。以某国有大行分布式核心改造项目为例,华为云GaussDB团队结合业务场景和客户需求,量身制定了一套迁移方案:如数据量小、业务负载轻的场景,使用GaussDB主备数据库进行承载;数据量大且对一致性要求高,存在跨分片事务、跨库复杂查询的场景,则使用GaussDB分布式数据库承载。经过双方努力,该项目最终构建了基于华为云全栈云的同城跨AZ双活部署的多套数据库集群,实现了RPO=0、RTO秒级,且异地构建相应的容灾集群,满足银行监管要求。其中最大的单集群当前能支持超10万大并发连接,万级TPS峰值负载,支撑TB到PB级的数据管理规模。上线以来,该客户在联机交易类场景与原有传统IOE、DB2架构性能持平,在报表分析类场景下性能普遍提升10倍以上。数字化浪潮势不可挡,华为云GaussDB紧随大势,积极抢占先机,不断破解数据库产业发展瓶颈与难题,以云原生、AI驱动等技术为抓手,推动金融客户业务创新发展,助力金融数字化转型建设迈上新台阶。更多精彩内容,欢迎点击链接进行回顾:cid:link_0
-
导读:近期,受墨天轮平台邀请,华为云数据库业务负责人苏光牛先生接受了其策划的“国产数据库”话题专访,就一些与国产数据库相关的社会讨论度较高、网友较为关心的问题做了分享,阐释了华为云数据库的产品策略,并从数据库产品负责人的角度给出了一些更深层次的独到见解。华为云数据库业务负责人苏光牛负责华为云数据库业务的战略制定与发展,数据库云服务产品与解决方案研发、运营、运维和交付等。— 以下为采访全文 —1:介绍下贵公司的数据库产品及优势,以及主要的目标用户是谁?苏光牛:华为数据库GaussDB首先定位是云数据库,其次定位为分布式数据库,云和分布式的结合是数据库的未来。GaussDB首要的任务是解决华为的业务连续性需求,能不受任何约束地使用数据库,所以从一开始就思考如何完全的自主可控,从每一行代码、从生态,从电信的可靠、可用及性能等要求出发,再和云技术相结合,打造企业级分布式数据库。在当前的形势下,GaussDB上述定位更加符合金融、泛政府、电信、能源、交通、医疗、物流等重要行业的需求,真正能帮助客户实现数字化转型。GaussDB是一个产品系列,在整体架构设计上,体现了多模的设计理念。具体包括:关系型数据库:基于openGauss生态的分布式数据库GaussDB,是自主生态的分布式数据库基于MySQL生态的分布式数据库GaussDB(for MySQL),我们100%兼容MySQL,让更多的客户可以无缝迁移上来,同时这也是分布式数据库,不再是单机的主备的MySQL非关系型NoSQL数据库:基于文档的分布式数据库GaussDB(for Mongo),100%兼容Mongo的接口,解决了开源的协议风险,用3副本解决9副本的可靠性基于时序协议的分布式数据库GaussDB(for Influx),分布式方案解决了开源只有主备的容量问题基于宽表Cassandra的GaussDB(for Cassandra),解决了Java的GC抖动的严重问题,数据强一致基于KV接口的GaussDB(for Redis), 当前100%兼容Redis,未来可以兼容更多的KV协议,数据强一致,超大容量10TB+,解决了开源主备脱节等问题此外,还有一些重要的组件,如:数据迁移——DRS (Data Replication Service);应用结构的转换——UGO (Database and Application Migration UGO) (愚公移山);分布式数据库中间件——DDM (Distributed Database Middleware),中间件这一层完全自主开发,让整体具备分布式<分库分表>能力,满足需要MySQL生态但对可信要求不高的客户的诉求。华为云GaussDB全栈产品以及解决方案,目的是让客户:选型安心(自主生态,开源生态,NoSQL,分布式统一的架构,性能卓越)、迁移放心(从数据的在线迁移到应用的结构转换,让迁移的担忧不复存在)、生态无忧(无论基于开源的生态,还是对自主生态的要求,都能满足)。2: 贵司的数据库目前取得了哪些成绩?苏光牛:GaussDB汇聚全球资源,依托分布在全球7大区域的研究所、约2000+数据 库/数据仓库/大数据的高级内核引擎、算法、性能等专家与专业人才,持续战略投入10多年:市场份额:金融政企市场,GaussDB本地部署(即HCS的方案)取得国产数据库第一的市场份额(来源:2020下半年IDC中国关系型数据库软件市场数据跟踪报告);同时,全球DBMS市场份额进入了前十名(来源:Gartner Market Share Analysis: Database Management Systems, Worldwide, 2020)标杆客户:已在1500+金融政企与泛互联网标杆大客户取得规模商用,以金融业为例,GaussDB已经和工商银行、建设银行、招商银行、邮政储蓄银行、永安保险、众惠财产相互保险社、证券交易所等多家银行、保险与证券公司展开合作。学术研究:华为先后在SIGMOD、VLDB、ICDE三大顶级国际学术会议上发表数据库论文36篇。尤其在AI-Native方向,2021年新入选SIGMOD国际顶级会议的《Learned Cardinality Estimation for Similarity Queries》创新地提出了模型分割和数据分割解决方法来解决DNN训练难题。除此之外,GaussDB数据库每年举办数据库性能挑战大赛,设置实习生计划和优才招聘计划,提供华为和行业伙伴实习机会。从理论教学、动手实验、大赛历练、职业认证、人才招聘全流程支持,长期培养和输送GaussDB人才!高校生态:与教育部联合建设“智能基座”基地,GaussDB已与72所国内双一流高校建立合作关系,同时在教育部“新工科”项目的54所高校中开设GaussDB数据库课程。在高职、专科院校,通过实践实训培养面向社会的应用型人才。开课之外,华为数据库每年定期开展师资培训,联合多所顶尖高校教授出版GaussDB数据库教材、教辅,持续完善GaussDB数据库的人才培养体系!开发者生态:华为将GaussDB的核心能力贡献出来,形成openGauss的开源版本和openGauss的生态,当前有1700+开发者参与openGauss开源项目,20000+社区用户,来自全球74个国家506个城市的29万的下载量,10家厂商发行了基于openGauss开源内核的自主品牌商业数据库产品,民生银行、中国电信等43家头部企业加入社区。以华为云开发者社区为基础,提供39个GaussDB技术课程,发布和更新GaussDB初级、中级培训认证;和国内10+数据库以及开发者社区建立合作关系,积极支持和参与线上线下技术活动,和业界共同繁荣数据库社区,累计赋能15万以上开发者。合作伙伴生态:数据库产业的发展离不开上下游生态伙伴的支持,经过测试和认证,华为云GaussDB已和100+伙伴的产品形成联合解决方案,并推荐到华为云严选商城,共享市场机会,涵盖:a) 生态工具伙伴:迪思杰、英方、数见、航天壹进制、鼎甲等异构数据同步工具、数据库灾备工具b) 金融、政府等行业解决方案伙伴:例如神码融信、长亮科技等c) 咨询服务类伙伴:海量数据、云和恩墨等d) SaaS伙伴:金蝶、用友、甄云、泛微、致远互联等e) 基础设施伙伴:如麒麟OS和统信OS3: 贵司的数据库产品未来有什么规划,或者重点突破的方向苏光牛:未来,华为云数据库将在以下几个方面持续投入和布局:做好数据库生态:数据库要跟随华为云进入千行百业,离不开数据库生态的建设。除了构建openGauss自主可控的生态外,我们也积极拥抱并完全兼容业界主流的如关系型的MySQL、PostgreSQL及非关系型的Mongo、Redis、Cassandra和InfluxDB等生态。在伙伴生态建设上,认证多家ISV作为我们的伙伴,提供迁移、容灾等数据库上云解决方案,为更多的客户提供服务。促进联合创新:金融行业是对数据库稳定可靠、性能等各方面要求极为苛刻的典型行业,有上亿用户和高并发海量交易等丰富的应用场景,华为和工行等头部客户坚持长期联创,通过这些不可多得的严苛而丰富的场景和应用,帮助GaussDB数据库快速孵化提升能力,也帮助这些企业完成数字化的转型等任务。服务华为自身业务:华为GaussDB系列数据库已经规模承载了华为终端云服务和内部流程IT的业务,华为这2个业务有着苛刻的要求。GaussDB帮助了华为自身这种既有传统业务又有新型业务实现了数字化转型,这是一个非常好的范本。核心竞争力打造:多Region多活:支持全球化企业数据就近访问,全球多活容灾,数据多点写入;软硬协同:全面支持多样化算力,具备从算力到服务器、存储、操作系统、数据库的E2E研发能力,发挥数据库软硬协同、性能调优的独特优势;企业级分布式能力:交易型的数据容量从M到G,再到TB,几十TB,决定了分布式数据库是大势所趋,华为云数据库着力面向分布式场景打造极致的可靠性和扩展性;数据安全与可信:随着各行各业对数据安全和隐私保护的重视,GaussDB会通过全密态数据库为客户消除数据泄露的风险。AI-Native:上万台服务器,数据库数千个实例,100TB+的数据,海量节点规模下的数据的高效管理是必须面对的难题。华为致力于打造具备自感知,自恢复,自优化等能力的云数据库,实现高度自治,降低数据库运维成本4: 针对数据库行业,您认同“得DBA者得天下”这句话?苏光牛:本质上这句话的含义是:得生态者得天下。DBA是可以培养的,一个好的生态更容易培养出DBA,所以生态才是最重要的。当前的大环境形势,给了数据库及生态机会,我们要打造一个开放的、易学习易上手的生态,例如:openGauss,我们从2020年6月30日开始开源,从每一行代码开始来打造,同时尽可能兼容一个生态,这样就让大家更容易学习。目前国内有10家ISV已经基于openGauss打造了自己的数据库,我相信越来越多企业和个人会感受到openGauss在生态上的优势。5: 对于新手来说在学习GaussDB数据库方面有没有什么好的学习建议苏光牛:GaussDB推出了一系列学习资料,帮助大家从零开始学习和使用GaussDB, 主要包括:GaussDB的入门:注册华为云,进入华为云学院,在“学习路径”中找到“数据库学习路径“;同时,申请GaussDB实例进行调测,与实战相结合,熟悉云数据库方案设计与调优;GaussDB精品课:进入华为云学院,在“在线课程”中找到“数据库“,这里有内核专家精心录制的视频,每期围绕1个主题内容,详解1个业务难题。GaussDB慕课:登录中国大学MOOC网,由东北师范大学李雁翎教授团队与GaussDB专家团队联合开发,《数据库原理 GaussDB云数据库》已上线;培训认证:华为云同步推出了GaussDB初级以及高级课程以及认证,进入华为云学院,选择“职业认证”。同时也建议大家下载openGauss,购买《openGauss数据库核心技术》结合代码深入理解数据库内核,为社区做贡献,提升自己的影响力,成为大咖。华为云数据库产品团队不断推出新的线上学习课程,举办数据库训练营、挑战赛等,请大家关注微信公众号“GaussDB数据库”获取最新活动信息。6: 目前国内外对于数据库开源都有不同的意见。一些国产数据库也逐步进行了开源,那开源到底好不好?以及开源是否能带来直观的收益。苏光牛:数据库是讲究生态的产业,生态需要耐心持续的投入。华为积极参与和推进产业生态,2020年6月30日,华为开源openGauss, 与合作伙伴、高校以及开发者共建开源生态,鼓励有能力的合作伙伴发展基于openGauss的自有品牌数据库产品,为上层应用提供更多数据库选择,和业界共同繁荣数据库产业生态。GaussDB是华为基于openGauss的生态和部分内核增强了分布式能力的商业版本,通过华为云和华为云Stack(HCS),满足政企客户对分布式数据库的高性能、高可靠、高安全的需求。开源对数据库生态的帮助,整体来讲,是正向的积极的。但是开源需要真的开源,需要安全的开源和合规的开源,开源涉及大量第三方依赖包括专利的优化和调整,而不是代码放开就是开源;所以从这个意义上来讲,开源也要负责任,开源不是终点,更不是被迫的应对措施,开源需要帮助更多的伙伴能真正的用起来。同时,华为也积极拥抱并兼容和支持业界主流的生态如MySQL、PostgreSQL及非关系型数据库Mongo、Redis等生态,我们会把这些软件生态和华为的分布式存储、软硬件协同起来,让客户既能获得生态的好处,又能获得更高的性能、可靠性,这才是我们认为的真正符合客户需要的数据库产品。7: 您认为数据库国产化目前的难点是什么,或者说国产数据库发展的主要瓶颈有哪些?苏光牛:当前数据库产业的核心难点之一是人才,实际上芯片、操作系统和数据库这些根技术上都缺乏人才,其中一个原因也是因为一直以来普遍都更加关注应用开发,例如:很多大学生主要学习JAVA等高级开发语言作为未来的职业的主要语言,但这些根技术普遍还是C语言,这些系统级的软件需要C语言的精深的掌握,仅仅是这一条就让很多人不选择系统级的软件开发岗位;同时,这些根技术的入门台阶很高,学习了JAVA语言开发一个APP可能24小时就可以了,但数据库不行,特别是内核的开发可能需要半年,甚至更长的时间,这会让更多人即使进入后也会打退堂鼓;最后,长期以来交易数据库很重要,是IT系统的核心的核心,但数据库实际的营收却并不高,这里面有复杂的因素,但确实让很多企业望而却步,因为收益可能是未来的可能是隐形的,加上人才难以获得,很多企业就难以长期坚持下去。GaussDB从发展初期开始,对人才培养和获取就基于全球多个区域进行布局,同时长期坚持战略投入,解决上述2个因素带来的不利影响。8: 聊聊您对国产数据库未来的展望和寄语。苏光牛:在当前的大环境下,给中国的数据库带来了机遇,所以整体来讲,对数据库从业者来讲是一个好事。我们知道数据库的大体的理论框架和架构实际上经过了40年的发展,基本上是比较成熟的,核心挑战是工程化的难度,所以这是考验耐力和恒心的时刻,长期坚持战略投入是最基础的保障;同时当前的开源软件为开发数据库内核提供了原型式的范本,但这个直接拿来做一些简单的增强就希望成为“企业级”的数据库,实际上有很大的差距,本着为客户着想,其实需要做很多的工作;最后,国产数据库做到自主可控,每个企业每个人对自主可控的理解都可能不太一样,比如说:通过某个开源软件+一个中间件,到底算不算自主可控,到底算不算分布式数据库,这可能仁者见仁智者见智,不过,本着为服务的企业负责任的态度,我们要保证自己的业务连续(坚持做数据库,10年100年还做数据库),同时也要为客户负责,任何情况下,自己开发的软件符合安全和合规的要求,客户的业务才能连续。GaussDB首要的任务是解决华为的业务连续性的需求,同时也是要确保使用GaussDB的客户的业务能够连续,所以我们坚持战略投入,坚持从每一行代码,坚持从生态开始来构建整个数据库体系。
-
9月3日-7日,以“数字开启未来,服务促进发展”为主题的2021中国国际服务贸易交易会(简称服贸会)在北京举行。华为云GaussDB首次亮相大会,并在会上展示了GaussDB云原生创新技术及金融行业的数字化探索和实践,积极打造坚实的数字人民币数据处理底座,推动千行百业数字化发展。2021服贸会华为云GaussDB展区图 聚焦金融领域,打造坚实的数字人民币数据处理底座 与往届不同的是,今年服贸会聚焦行业热点和发展趋势,突出数字经济和数字贸易,在开幕会上,国家决策者还宣布设立北京证券交易所,打造服务创新型中小企业主阵地。这对于深化金融改革,促进科技与资本融合,推动金融创新发展具有重要意义。 作为服务过众多企业数字化转型的利器,华为云GaussDB早在2019年11月,中国人民银行数字货币研究所与华为签署的合作备忘录中,作为数字货币的坚实数据处理底座参与金融科技建设。华为云GaussDB面向金融行业提供了一系列企业级能力,并希望借助服贸会这一国际平台,与更多来自国内外的伙伴交流分享,助力数字领域的全球化合作和数字经济社会的发展,同时响应国家号召,为数字人民币提供坚实的数据处理底座,为企业提供创新型数字服务。 以云原生技术为抓手,推动金融行业数字化转型 华为云GaussDB是华为基于金融政企经验、华为内部流程IT与云底座深耕10年以上的数据库内核研发优化能力,结合云原生与AI技术倾力打造的金融级分布式数据库,满足客户对高性能、高扩展、高可用、高安全的要求,广泛应用于金融、电力、政府、智慧城市等领域。 高性能:具备企业级复杂事务混合负载能力,支持极佳的线性弹性扩展。在银行实测中,GaussDB通过单节点Numa-Aware和分布式GTM-Lite技术,32节点处理能力达1500万tpmC;基于云原生分布式优化器以及节点/算子/指令全并行架构,复杂查询时延降低82%;而且在1000+节点超大分布式集群弹性扩展方面有很好的线性性能提升。 高可用:通过Switch Turbo技术,实现在同城AZ(可用区)内、同城AZ之间、以及异地跨Region之间快速切换,数据0丢失,满足金融级两地三中心高可用诉求。 高安全:基于业界首个纯软全密态数据库技术,实现了数据在内存中的运算态加密,保证全链路数据安全、数据主权遵从以及应用透明。 华为云GaussDB当前已经助力国有银行在其核心交易系统、渠道以及办公系统中完成分布式改造,保障业务安全合规,支持跨AZ/Region容灾;同时利用华为云UGO(数据库和应用迁移)+DRS(数据复制服务)数据迁移组合解决方案,帮助降低了70%存储过程改造成本,极大加速了银行等金融企业的数字化转型进程。 成功不是一蹴而就的,在GaussDB能力背后,是华为在数据库领域布局全球研究、软硬能力协同、坚持10+年战略投入的结果。展望未来,华为公司有能力、有信心在数据库和数据赛道传承华为优良传统,打造以“解决客户实际问题”为原则的世界级产品,助力金融领域数字人民币高质量发展及企业快而好地完成数字化转型,实现互利共赢,共享服务贸易发展机遇,共促数字贸易发展。更多GaussDB详情了解,欢迎前往华为云官网:https://www.huaweicloud.com/product/dbs.html
-
近期,上海英方软件股份有限公司(简称“英方软件”)宣布加入华为云沃土云创计划,同时基于i2Stream(数据流复制管理软件)产品服务,联合提出GaussDB数据同步解决方案,并成功入驻华为云严选商城,通过华为云平台进一步拓宽商业变现之路,实现更大商业成功。随着金融行业海量数据增长和线上业务系统不断拓展,金融客户的数字化挑战逐渐升级。其需求也不再局限于数据安全、业务双活等,而是更多地关注数据处理的时效性和准确性。针对客户需求,英方软件推出的i2Stream产品基于数据库SQL语义级复制技术,通过全同步导出源库的数据字典和自动化增量同步,能够实现异构数据库、大数据平台、消息队列等平台间的数据同步和分发,很好的满足了金融客户对数据处理的高效性和准确性要求。i2Stream面向不同的数据库,采用日志抽取分析和数据库数据流实时同步技术,将数据发送至不同的目标端数据库、消息队列、大数据平台、文件等。在数据同步的过程中,能实现全量、增量同步无缝衔接,且整个过程源端、目标端均为打开状态,应用可无间断对外服务。i2Stream通过部署 Kafka 消息引擎,作为消息中转通道, 使得其架构更具灵活性,尤其很好支持同一源数据对接多个不同目标库。该产品广泛适用于大数据平台数据同步、异构数据库同步等场景,并凭借强大的实时同步能力在富国基金、海通证券等企业成功实践。基于openGauss数据复制全景图为了更好助力金融及其它行业用户迎接数字化转型升级,英方软件联合华为云GaussDB数据库,推出了全新的异构数据库和GaussDB同步解决方案,通过结合双方产品的技术优势,为证券、银行等金融行业用户提供了更快速、更灵活的两地三中心数据库数据同步方案。基于openGauss的两地三中心数据同步方案该方案可通过对数据库日志文件的采集、解析、传输、执行等操作,有效实现 GaussDB到 GaussDB之间的数据实时同步,以及各类数据库与 GaussDB之间的数据互通,满足用户异/同构数据库、大数据平台及非结构化数据的实时同步需求,帮助更多的金融用户打破“数据孤岛”,实现分散、异构数据的快速汇聚,加速金融及其他行业的数字化转型和服务升级。目前,英方软件i2Stream产品服务已上架华为云严选商城,想体验更高性能、高效同步、高准确性的数据同步服务,欢迎移步华为云官网:cid:link_0
-
8月20日,华为云GaussDB正式推出重大内核新特性——Ustore存储引擎,为企业级用户提供更高性能的数据库服务,进一步为企业数字化转型注入新动力。 Ustore存储引擎,又名In-place Update存储引擎(原地更新),是GaussDB内核新增的一种存储模式。GaussDB内核此前的版本使用的行存储引擎是Append Update(追加更新)模式。追加更新对于业务中的增、删以及HOT(Heap Only Tuple) Update(即同一页面内更新)有很好的表现,但对于跨数据页面的非HOT UPDATE场景,垃圾回收不够高效,因此,Ustore存储引擎应运而生。 Ustore存储引擎设计原理 Ustore存储引擎将最新版本的“有效数据”和历史版本的“垃圾数据”分离存储。将最新版本的“有效数据”存储在数据页面上,并单独开辟一段UNDO空间,用于统一管理历史版本的“垃圾数据”,因此数据空间不会由于频繁更新而膨胀,“垃圾数据”集中回收效率更高。Ustore存储引擎采用NUMA-Aware的UNDO子系统设计,使得UNDO子系统可以在多核平台上有效扩展;同时采用多版本索引技术,解决索引清理问题,有效提升了存储空间的回收复用效率。 Ustore存储引擎结合UNDO空间,可以实现更高效、更全面的闪回查询和回收站机制,能快速回退人为“误操作”,为GaussDB提供了更丰富的企业级功能。Ustore数据存储示意图:最新数据在原page页,旧数据在undo空间单独管理Ustore存储引擎核心优势高性能:对插入、更新、删除等不同负载的业务,性能以及资源使用表现相对均衡。更新操作采用原地更新模式在频繁更新类的业务场景下可拥有更高、更平稳的性能表现。适应“短”(事务短)、“频”(更新操作频繁)、“快”(性能要求高)的典型OLTP类业务场景。高效存储:支持最大限度的原位更新, 极大节约了空间;将回滚段、数据页面分离存储,具备更高效、平稳的IO使用能力,UNDO子系统采用NUMA-ware设计,具有更好的多核扩展性,UNDO空间统一分配,集中回收,复用效率更高,存储空间使用更加高效、平稳。细粒度资源控制:Ustore引擎提供多维度的事务“监管”方式,可基于事务运行时长、单事务使用UNDO空间大小、以及整体UNDO空间限制等方式对事务运行进行“监管”,防止异常、非预期内的行为出现,方便数据库管理员对数据库系统资源使用进行规范和约束。Ustore存储引擎可以在数据频繁更新场景下性能依旧稳如泰山,使业务系统运行更加平稳,适应更多业务场景和工作负载,特别是对性能和稳定性有更高要求的金融核心业务场景。技术无止境,未来GaussDB将结合AI自治技术,对Ustore存储引擎进行更智能、更安全、更高效的技术优化,为客户打造更领先、更优质的数据库服务。更多GaussDB详情了解请移步华为云官网:cid:link_0
-
之前我们讲了如何连接数据库实例,那连接数据库后如何使用数据库呢?那么我们今天就带大家了解一下GaussDB,以下简称GaussDB的基本语法。关于如何连接数据库,请戳这里。学习本节课程之后,您将可以完成创建数据库、创建表及向表中插入数据和查询表中数据等操作。前提条件• GaussDB实例正常运行。• 已通过DAS或gsql连接数据库实例。操作步骤1. 通过DAS或gsql连接数据库实例。2. 创建数据库用户。 默认只有创建实例时的管理员用户可以访问初始数据库,您还可以手动创建其他数据库用户帐号。postgres=# CREATE USER joe WITH PASSWORD "xxxxxxxx"; xxxxxxxx需要替换为指定的密码,当结果显示为如下信息,则表示创建成功。CREATE ROLE 如上创建了一个用户名为joe,密码为xxxxxxxxx的用户。 如下命令为设置joe用户为系统管理员。postgres=# GRANT ALL PRIVILEGES TO joe; 使用GRANT命令进行相关权限设置,具体操作请参考GRANT。 引申信息:GaussDB对于用户可以进行灵活的权限控制,想要了解请戳管理用户及权限。3. 创建数据库。postgres=# CREATE DATABASE db_tpcds; 当结果显示为如下信息,则表示创建成功。CREATE DATABASE 创建完db_tpcds数据库后,就可以按如下方法退出postgres数据库,使用新用户连接到此数据库执行接下来的创建表等操作。当然,也可以选择继续在默认的postgres数据库下做后续的体验。postgres=# \q gsql -d db_tpcds -p 8000 -U joe Password for user joe: gsql compiled at 2020-05-08 02:59:43 commit 2143 last mr 131) Non-SSL connection (SSL connection is recommended when requiring high-security) Type "help" for help. db_tpcds=> 4. 创建表。 • 创建一个名称为mytable,只有一列的表。字段名为firstcol,字段类型为integer。db_tpcds=> CREATE TABLE mytable (firstcol int); 未使用“DISTRIBUTE BY”指定分布列时,系统默认会指定第一列为哈希分布列,且给出提示。系统返回信息以“CREATE TABLE”结束,表示创建表成功。NOTICE: The 'DISTRIBUTE BY' clause is not specified. Using 'firstcol' as the distribution column by default. HINT: Please use 'DISTRIBUTE BY' clause to specify suitable data distribution column. CREATE TABLE • 向表中插入数据:db_tpcds=> INSERT INTO mytable values (100); 当结果显示为如下信息,则表示插入数据成功。INSERT 0 1 • 查看表中数据:db_tpcds=> SELECT * from mytable; firstcol ---------- 100 (1 row) 引申信息:默认情况下,新的数据库对象是创建在“$user”模式下的,例如刚刚新建的表。关于模式的更多信息请参考创建和管理schema。关于创建表的更多信息请参见创建和管理表。除了创建的表以外,数据库还包含很多系统表。这些系统表包含集群安装信息以及GaussDB上运行的各种查询和进程的信息。可以通过查询系统表来收集有关数据库的信息。请参见查看系统表。----结束
-
1.前言在关系型数据库中,优化器是数据库的核心组件之一,由于一些列因素都会影响语句的执行,优化器综合权衡各个因素,在众多的执行计划中选择认为是最佳的执行计划。随着大数据时代的到来,像电商、游戏、电信等行业都大规模的应用,单一数据库节点是难以应对数据规模的不断增长并确保性能的需要,业务面临“存不下、算得慢、算不准”的问题。而GaussDB采用了可横向扩展的分布式架构,可以很好满足大规模海量数据的存储和计算的需求,其通过目标SQL执行计划的CBO成本,从目标SQL的诸多执行计划中选取成本值最小的执行路径为其执行计划,各执行路径的成本值是根据目标SQL中涉及到的表、索引、列等相关对象的统计信息计算出来的,实际反应执行目标SQL所要消耗的I/O、CPU和网络资源的一个估计值。I/O资源:把表的数据从磁盘读入内存时所需代价CPU资源:处理内存中表的数据所需的代价网络资源:需要DN间数据交互的分布式SQL,在实际执行时所需要的数据并不在本地DN中(需要从其他DN中取数据),便会将网络资源消耗折算成对等的I/O资源消耗再进行估算。本文结合第5场直播内容从分布式并行执行框架、分布式执行计划等方面进行介绍。2.分布式并行执行框架2.1执行器:PIPELINE模型GaussDB的执行器特点是:按照查询计划树从底往上执行,基于火山模型执行,即每个节点执行返回一行记录给父节点。火山模型的最大优点就是可以按需请求,每次只取出一条元组,在处理本条元组后,系统将会取出下一条满足条件的元组,直到取出所有满足条件的元组为止。从这种方式的运行机制可以看出,其每次执行时对于系统资源的需求都非常小。2.2 高性能分布式查询引擎GaussDB充分利用当前多核特点,通过多线程并发执行,提高系统吞吐量。众所周知,在传统的分布式 MPP 数据库中,因数据的重分布,也就是数据shuffle的代价非常昂贵,从而限制了用户使用场景范围。GaussDB能充分利用当前多核特点,采用并行执行机制,在SQL执行优化方面有多年的沉淀,并提供了三种stream流(广播流、聚合流和重分布流)来降低数据在DN节点间的流动,突破了传统分布式 MPP 数据库因为数据shuffle代价高昂带来的用户使用场景限制,即使是复杂的SQL、事务分析混合(HTAP)场景也能得到最佳执行。GaussDB的大致执行过程:业务应用下发SQL给Coordinator ,SQL可以包含对数据的CRUD操作;Coordinator利用数据库的优化器生成执行计划,每个DN会按照执行计划的要求去处理数据;数据基于一致性Hash算法分布在每个DN,因此DN在处理数据的过程中,可能需要从其他DN获取数据,GaussDB提供三种stream流(广播流、聚合流和重分布流)实现数据在DN间的流动,使得join无需抽取到CN执行;DN将结果集返回给Coordinate进行汇总;Coordinator将汇总后的结果返回给业务应用。3.分布式执行计划CN根据表的分布列信息和关联列信息进行判定,SQL语句是否可以直接在各个DN上执行而且不需要数据交流,如果是,CN采用LIGHT_QUERY或FQS_QUERY流程,保持了事不关己的态度,你发给我什么我就下发什么,直接将整个query命令下发给DN执行,执行完成后直接输出;如果需要在各个DN之间进行数据交互,则会选择使用stream算子;如果发现无法使用stream算子时,就回到了原始的PGXC流程。3.1 LIGHT_QUERY - 场景:语句可以直接在一个DN执行(单shard语句,点查场景)。 - 原理:CN直接下发语句QPBE报文到对应DN,这样的做的好处是,执行效率高,线性扩展比好。create table t1 ( col1 int, col2 varchar ) distribute by hash(col1); create table t2 ( col1 int, col2 varchar ) distribute by hash(col1);3.2 FQS_QUERY - 场景:当语句可以完全下推到多个DN上执行,且DN之间不需要数据交互时。 - 原理:CN不通过优化器,直接生成RemoteQuery计划,走执行器逻辑下发到DN,各DN根据下推语句生成执行计划并进行执行,执行结果在CN上进行汇总。create table t1 ( col1 int, col2 varchar ) distribute by hash(col1); create table t2 ( col1 int, col2 varchar ) distribute by hash(col1);LIGHT_QUERY和FQS_QUERY的最大异同点在于,虽然CN都是经过判定后直接把收到的query下发给DN进行处理,但是LIGHT_QUERY只涉及到单DN进行操作,而FQS_QUERY涉及到多个DN分别进行操作,它们都不会涉及到DN间的数据交互。3.3 STREAM GATHER - 场景:需要各DN之间进行数据交互。 - 原理:CN根据原语句通过优化器生成带stream算子的执行计划,下发给DN进行执行,DN执行过程中存在数据交互(stream节点),stream算子在DN之间建立连接进行数据交互,CN汇总执行结果并承担大部分计算。create table t1 ( col1 int, col2 varchar ) distribute by hash(col1); create table t2 ( col1 int, col2 varchar ) distribute by hash(col2);3.4 STREAM REDISTRIBUTE - 场景:需要各DN之间进行数据交互。 - 原理:CN根据原语句通过优化器生成带stream算子的执行计划,下发给DN进行执行,各DN执行过程中存在数据交互(stream节点),stream算子在DN之间建立连接进行数据交互,CN汇总执行结果并承担大部分计算。create table t1 ( col1 int, col2 varchar ) distribute by hash(col1); create table t2 ( col1 int, col2 varchar ) distribute by hash(col2);3.5STREAM BROADCAST - 场景:需要各DN之间进行数据交互。 - 原理:CN根据原语句通过优化器生成带stream算子的执行计划,下发给DN进行执行,各DN执行过程中存在数据交互(stream节点),stream算子在DN之间建立连接进行数据交互,CN汇总执行结果并承担大部分计算。create table t1 ( col1 int, col2 varchar ) distribute by hash(col1); create table t2 ( col1 int, col2 varchar ) distribute by hash(col2);使用REDISTRIBUTE算子时,数据进行重分布可以充分利用多个节点的算力,而BROADCAST算子主要用于stream的子计划产生的数据量较少的情况,此时BROADCAST的代价较少。3.6 PGXC - 场景:不能满足前面处理方式的极端场景,性能非常差。 - 原理:CN通过优化器把原语句中的部分语句生成RemoteQuery计划,把每个RemoteQuery下发到DN,DN执行后把中间结果数据发送给CN,CN收集后进行剩余执行计划的执行计算,CN承担了大部分计算。总结综上所述,GaussDB作为自主研发的新一代金融级分布式关系型数据库,采用可横向扩展的分布式架构,通过SQL优化器生成分布式算子以及分布式执行计划,提供了三种stream流(广播流、聚合流和重分布流)来降低数据在DN节点间的流动;执行引擎是一个分布式并行执行框架,支持节点间并行和节点内并行能力,充分利用当前多核特点,通过并发执行,提高系统吞吐量,具备大数据下高性能查询能力。 Ps:更多精彩内容,请点击回播链接进行观看:cid:link_0
-
上回文说道,如何用内网连接数据库实例。今天,我们就来说说如何通过公网连接。GaussDB提供gsql工具远程连接数据库实例。您需要提前下载gsql工具并在ECS上安装gsql,通过gsql远程连接数据库实例。gsql工具下载请单击此处。公网连接的判断方式:如果安装gsql的ECS和数据库实例不在同一区域,同一可用区,则需要通过绑定弹性公网IP进行连接。前提条件需要已有GaussDB实例,实例购买指导请参考购买实例。已经下载gsql工具。操作步骤步骤 1、购买ECS,用于安装gsql工具。购买ECS指导请参考购买ECS。 gsql支持的操作系统版本如下:X86:EulerOS V2.5。鲲鹏服务器:EulerOS V2.8。步骤 2、在购买的弹性云服务器上,上传软件包并配置环境变量。以root用户登录弹性云服务器。创建“/tmp/tools”目录。mkdir /tmp/tools单击此处获取GaussDB软件包并解压。unzip GaussDB_opengauss_client_tools.zip根据申请的弹性云服务器的操作系统架构进入不同目录,获取“GaussDB-Kernel-xxx-EULER-64bit-gsql.tar.gz”,并上传到申请的弹性云服务器“/tmp/tools”路径下。软件包相对位置为安装时所放位置,根据实际情况填写。解压文件。cd /tmp/tools tar -zxvf GaussDB-Kernel-V500R001C00-EULER-64bit-gsql.tar.gz设置环境变量。打开“~/.bashrc”文件。vi ~/.bashrc按下i键进入INSERT模式,在其中输入如下内容后,单击“ESC”退出编辑模式,使用“:wq!”命令保存并退出。export PATH=/tmp/tools/bin:$PATH export LD_LIBRARY_PATH=/tmp/tools/lib:$LD_LIBRARY_PATH使环境变量配置生效。source ~/.bashrc步骤 3、判断实例与ECS是否需要通过公网连接。如果安装gsql的ECS和数据库实例不在同一区域,同一可用区,则需要通过绑定弹性公网IP进行连接。数据库实例的区域、可用区和VPC查看。ECS的区域、可用区和VPC查看方法如下:步骤 4 、为实例绑定公网IP。在实例基本信息页单击“绑定”,选择IP后进行绑定,如果账户下没有公网IP,需要去购买。步骤 5 、为ECS绑定公网IP,具体请参考ECS绑定弹性公网IP。步骤 6 、公网连接数据库实例。查看GaussDB数据库的公网IP地址,具体如下:然后通过公网登录ECS,并在ECS服务器执行如下命令进行连接:gsql -d postgres -h 10.154.217.136 -U root -p 8000 -r10.154.217.136为公网IP,要替换为自己实例绑定的公网IP。输入数据库root用户密码,成功登录。[root@ecs-a4e7 ~]# gsql -d postgres -h 10.154.217.136 -U root -p 8000 -r Password for user root: gsql ((GaussDB Kernel V500R001C10 build 23636d1b) compiled at 2020-09-24 22:23:07 commit 905 last mr 1150 ) SSL connection (cipher: DHE-RSA-AES128-GCM-SHA256, bits: 128) Type "help" for help. postgres=>步骤 7、数据库使用。postgres=> \dbs List of tablespaces Name | Owner | Location ------------+----------+---------- pg_default | rdsAdmin | pg_global | rdsAdmin | (2 rows) postgres=>----结束想知道如何通过公网连接的小伙伴们,敬请期待下期哦~~~更多详细内容,赶紧戳这里,了解详情吧~~
-
由华为云数据库和Gauss松鼠会联合承办的数据库领域重要赛事,华为云GaussDB数据库挑战赛火热进行中,为帮助参赛者们顺利通关,特为参赛者准备了GaussDB知识问答及相关知识科普,get重磅题目与学习资料,轻松赢初赛!现在报名仍可参与初赛,还有华为mate40系列手机、京东卡等豪华奖金池等你哦!立即报名-> https://competition.huaweicloud.com/information/1000041405/introduction?ggw_kfz
-
6月22日,在2021ACM SIGMOD国际学术会议技术分论坛,华为GaussDB内核首席架构师任阳发表了《华为自研分布式数据库》主题演讲,分享了华为云新一代自研分布式数据库GaussDB的发展和使用现状,介绍了其5大创新技术,以及解读华为云GaussDB最新研究成果论文。华为GaussDB内核首席架构师任阳现场发表演讲任阳表示,华为从2007年开始进行数据库内核方面的开发,于2011年启动分布式数据库内核研发,2014年发布商用版本的OLAP分布式数据库,2017年发布商用版本的OLTP分布式数据库,2020年发布基于云服务的GaussDB分布式数据库。历经10+年千锤百炼,华为云GaussDB当前广泛应用于金融、政企以及大企业领域,中国头部的六家顶级银行,有四家已经选择了GaussDB分布式数据库。在全国范围内目前已经有1000+企业级客户广泛应用华为自研分布式数据库GaussDB。在华为内部,消费者云、流程IT等业务已经大量使用华为自研分布式数据库GaussDB。华为云GaussDB布局前沿技术,打造5大核心竞争力基于云化和企业2C业务的快速发展,华为将GaussDB分布式数据库的竞争力定义为五个维度,即高性能、高可用、混合负载、高安全以及易运维能力。高性能。华为云GaussDB在充分利用硬件能力基础上,如鲲鹏处理的多线程、原子指令、智能网卡的计算下推、RDMA的短时延高带宽、SCM的字节寻址持久化能力等,在软件技术领域通过动态编译、向量化引擎、SQL By Pass等能力,提供基于鲲鹏2路服务器150万tpmC,鲲鹏4路服务器230万tpmC,32节点全局强一致的1500万tpmC(基于SQL,非存储过程)能力。高可用。华为云GaussDB提供AZ内、跨AZ以及跨Region等各级的高可用能力。在单AZ内,基于无单点故障的设计,提供RPO=0,RTO < 10秒的高可用能力。在跨AZ场景下,提供同城跨AZ能力以及两地三中心能力,分别提供RPO=0,RTO < 60秒以及RPO < 10秒,RTO分钟级能力。对于有超过2000公里跨Region的需求场景,提供基于全球时钟的全球分布式能力,全局提供强一致性及五个九(999%)的可用性。混合负载。对于企业级数据库来说,混合负载是不可或缺的能力。第一,在实际系统中,很难将客户的实际业务负载区分为纯TP负载或者纯AP负载,例如我们在某银行中碰到的业务基本都是这个状况;第二,业界领先的主流商业数据库都具备混合负载能力。在华为云GaussDB分布式数据库中,我们通过全并行架构以及分布式优化器能力,可以很好地支持复杂查询能力,通过轻量级全局一致性事务协议(也叫GTM Lite)使得系统很好地支持短查询能力,同时系统具备极好的线性扩展性。高安全。云化系统需要在数据流转的整个生命周期中保证客户数据的安全性,其中包括数据传输、数据存储、数据查询以及数据正确性。对于数据传输和数据存储,这个是常规特性,可以通过传输加密和存储加密进行解决,但华为云GaussDB解决了数据查询和数据正确性方面的安全问题,通过密态查询,即在查询状态下数据始终处于加密状态解决数据查询的安全性问题。通过使用追踪链的方式,在多方状况下能够识别被篡改的数据,从而解决数据正确性问题。易运维。华为云GaussDB通过将AI能力引入数据库系统从而大幅度提升管理和运维能力,比如通过自调优,极大解放了DBA枯燥的调优工作,使其更聚焦于业务本身;通过引入索引推荐,帮助客户减少83%的索引冗余,索引占用空间减少70%;同时还使用AI技术重构了优化器、自诊断等一系列数据库核心模块。 结合AI技术实现创新,华为云GaussDB研究论文入选SIGMOD顶会在SIGMOD2021上,华为云GaussDB研究论文《Learned Cardinality Estimation for Similarity Queries》提出使用DNN进行基数预测,为了解决DNN训练问题,提出了极具创新的模型分割和数据分割解决方法,同时在此基础上提出了使用该方法进行连接操作结果集预测。该方法在BMS、GloVe300、ImageNetde等数据集上取得了很好的效果。此外,围绕AI-Native数据库主题,华为云GaussDB在SIGMOD 2022、VLDB2022以及ICDE2022上均有对应的投稿论文,基于AI技术,内容覆盖SQL生成、SQL诊断、优化器等方向。通过一系列研究,当前华为云GaussDB已经在该领域进阶到业界领先地位,并在该领域持续创新。值得一提的是,2020年,华为云GaussDB 系列数据库产品入选Gartner数据库魔力象限,其技术实力屡获权威认可。 Ps:618云数据库专场活动火热进行中,全场低至19.9元,欢迎选购>> https://activity.huaweicloud.com/dbs_Promotion/index.html
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新,构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间,华为云展示了Serverless与MCP融合创新的解决方案,本期访谈直播,由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持,华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中,探讨处理器生态的关键要素及其联系,分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源,3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源,3步轻松管理成本,帮助提升日常管理效率!
回顾中
热门标签