• [技术干货] 这年头怕数据泄露?全密态数据库:无所谓,我会出手
    吊炸天的全密态数据库,到底是个啥?藏不住了,这全密态数据库真上头!有一种数据泄露的死敌,叫全密态!数据被标价售卖莫名其妙接到诈骗电话企业数据泄露事件让人恐慌......表面上看似乎是个人数据信息的泄露再深究其实是掌握着个人数据信息的企业面临的数据泄露、数据篡改等风险越来越多作为数据的核心载体数据库,该如何提供安全保障?这就需要一项能支持数据端到端加密的技术我们称之为:全密态今年2月,中国信通院已经联合华为等企业共同制定并发布了业内首个全密态数据库产品标准标准包含全周期数据库密态、密态数据处理加密算法与密钥管理、数据库基本能力四大能力域共计30个测试项有人问,全密态技术是做什么的?其实,把信息系统安全等级分解开来可以归为三点而全密态,指向的就是其中的“C”也就是在数据流动的整个过程中如何做到数据的完全机密性从而避免数据泄露和数据篡改的风险听着很厉害,背后的逻辑是啥?首先,一份数据会经历采集、传输、存储、处理、交换、销毁这样一个完整的流程环节多,数据被恶意获取的几率也大而全密态数据库除了有数据库的功能外还可以额外对数据进行加密保护用户自己掌握数据加解密密钥加解密过程仅在客户侧完成其他的查询运算在服务端完成因为从源头开始就直接对数据上了锁所以数据在整个流程中都是以密文的形态存在环节再多也不怕!如此一来不管在哪个环节,攻击者都只能碰壁信息泄露、数据篡改问题都迎刃而解了用户隐私和数据全生命周期的安全自然也不在话下对企业和用户来说这无疑是数据隐私安全风险的大救星!首先,用户信任 get √全密态让数据全流程高度安全因为客户自己掌握加密密钥企业也更容易获取用户的信任其次,个人隐私保护法律法规 get √假如没有全密态,就要在应用层加密企业要做大量的应用改造而且,加密之后无法直接进行数据的查询和处理数据库只能做单纯的存储查询处理数据时只能将数据从数据库中取出来再解密使用,累!有了全密态,直接对数据做加密保护企业遵守个人隐私保护法律法规,省心了用户使用也更放心再次,跨地域数据可信流动 get √很多项目都需要跨地域、跨企业运行比如东数西存数据的存储和结果在不同地域全密态相当于从源头就加上了一层带密码的保护罩跨企业、跨地域的数据可信自由流动也不是事儿了全密态这么能,国内到底哪家强?这就不得不提华为云GaussDB数据库了日前,华为云GaussDB 100%全量完成了中国信通院首批“全密态数据库”产品能力评测GaussDB凭啥做到业界领先?必须是强硬的技术实力!20年+投入,1000+人才投入不是吹的听说,今年华为的数据库团队还要增加到2000多人!难点一:如何让用户在使用上完全无感?还不需要修改原有的SQL语句、数据类型?GaussDB的处理方式是语法可以自动解析而且将语法解析工作内置到客户端驱动中不仅用户无感,还省力难点二:如何摆脱加密硬件的依赖?能不能只靠纯软件的方式来实现?答案是:能!GaussDB支持纯软方案全程以密文形式存储并且通过数学算法在密文空间直接进行查询和运算堪称安全领域的高精尖技术了!绝对是yyds!难点三:如何让全密态下的性能损耗是可控的?大家都知道,加解密必然导致性能的损耗GaussDB通过软硬结合数学算法可以直接在密文形态下进行查询而不需要在可信硬件环境下进行加解密过程传递从而极大减少了硬件IO和额外加解密时的性能损耗一个字,绝!当然,光说不练假把式是骡子是马,还得拉出来遛遛近日,华为宣布实现自主创新的MetaERP系统的研发完成对旧ERP系统的替换这场攻坚战是华为有史以来牵涉面最广、复杂性最高的项目这其中,GaussDB全密态技术至关重要支撑着华为这个业务遍布170+国家,服务于30亿人口的世界500强大企业的所有核心账务绝密数据的密文查询和计算筑起了数据安全保护墙从各个环节避免数据泄露简言之,全密态技术就像为用户数据从头到尾上了一把牢固的锁只有用户自己才有解锁的钥匙如此,数据安全威胁就再也“飙”不起来了!
  • [技术干货] 技术驱动,数据赋能,华为云GaussDB给世界一个更优选择
    5月16日,“数智深耕 让美好发生 2023华为云城市峰会广州站”成功举行。大会聚集了众多城市管理者、产业领袖、企业家和媒体,共同探讨工业数字化发展新趋势,共谋工业数字化发展之路。华为公司副总裁、华为云中国区总裁张修征,华为云生态解决方案部部长肖苡亮相大会,围绕行业数字化发展和华为科技创新实践进行了精彩演讲。聚焦实践,共建行业数字化与科技创新高地张修征说,在数字化转型中,战略驱动是根本、数据治理是基础、数据智能是方向,数与智融合的深度决定了一个企业迈入数字化新阶段的速度。华为在工业领域深耕了30多年,深刻理解工业数字化的关键,同时,华为也是数字化的赋能者,把自身数字化转型实践中的技术、方法、流程等经验沉淀在华为云上,叠加上云转型的方法论,赋能给工业领域的伙伴和客户。华为云GaussDB就是华为基于多年研发经验,结合数据库云化改造技术,打造出的企业级分布式数据库,为行业数字化转型提供一个安全可靠、性能强劲、自主创新的数据处理底座,并且历经华为内部和外部的实践考验,已经非常成熟。在内部,GaussDB支撑MetaERP系统实现了全面替换,完成系统迁移,这是华为有史以来牵涉面最广、复杂性最高的项目,还规模承载了华为终端云服务的业务。在外部,华为云GaussDB已经在工行、邮储、建行等多家国有大行上线,是金融政企科技自主创新的不二之选,希望为广东金融政企客户数字化转型和业务可持续长期发展提供一个更优选择。华为云GaussDB支撑华为MetaERP系统全面替换会上,肖苡围绕华为在工业领域的数字化建设和多年来的创新成果进行了分享,并详细介绍了华为内部MetaERP全面替换的成功实践。目前,MetaERP已经覆盖了华为公司100%的业务场景和80%的业务量。华为云GaussDB作为重要的智能数据底座,支撑MetaERP实现了存储空间的弹性扩展,轻松应对海量数据存储和并发访问压力,整体性能提升了10%以上;通过高可用容灾部署,保障了数据强一致,让业务不掉线;结合华为云数据复制服务DRS,在35小时内完成了高度关联的3200亿行数据搬迁验证,在不影响企业正常运转的情况下让整个过程高效、无感、安全。上线后的新ERP系统马力全开,各项性能和指标远远超过预期,轻松支撑起ERP系统5倍业务压力性能保持线性,10倍压力下系统不崩溃,采购履行耗时从90分钟下降到了15秒,端到端订单履行耗时从23分钟下降到了9秒,端到端业务效率得到了10倍提升。华为云GaussDB拥抱新技术,给世界一个更优选择GaussDB是华为主打政企核心业务负载的企业级分布式数据库产品,采用行业先进的全并行分布式架构,支持1000+超大分布式集群和PB级海量存储,具备应对海量并发事务处理与复杂查询混合负载的能力;跨中心多集群方案支持同城的两个数据中心完全部署两套独立的数据库软件,真正做到软硬件故障完全隔离、7*24小时服务不间断、双集群下RPO=0,以及极致的同步性能;在安全上,GaussDB已经做到了数据从传输、计算到存储的全流程加密,从而实现数据全生命周期内的安全保护,还通过了数据库领域国际CC EAL4+安全认证,做到源码级安全,是当前国内数据库在该领域获得的最高级别认证。当前,华为云GaussDB已在多家大客户中规模商用,历经华为终端云、华为流程IT、全球TOP银行、政企等严苛场景的考验。数字化时代下,各行各业更需要发挥数据的最大价值,通过核心技术创新来赋能产业智能化升级。华为云GaussDB有多年的技术实力和全场景、全开放的数据库服务,在这个数字化转型的关键时刻,将一如既往地深入打造数据库根技术,为千行百业科技创新提供坚实数据底座。
  • [技术干货] 宝兰德应用服务器软件与华为云GaussDB完成兼容互认证
    近日,北京宝兰德软件股份有限公司(简称:宝兰德)携手华为云完成宝兰德应用服务器软件9.5(BES Application Server 9.5)与GaussDB数据库兼容性测试,并获得华为云授予的技术认证书。宝兰德应用服务器软件( BES Application Server )是遵循最新JavaEE、JakartaEE 规范的企业级中间件,提供了规范定义的关键容器和服务,包括 Web 容器、EJB 容器、JMS 容器、事务服务、JNDI 服务等,为企业级应用提供一个稳定、安全、高效、基于标准的管理和运行平台,可帮助客户降低企业级应用的开发难度,支撑应用更加稳定、可靠、高性能、安全的运行。华为云GaussDB是华为自主创新研发的分布式关系型数据库,面向金融政企打造了企业级复杂事务混合负载能力,支持1000+超大分布式集群和PB级海量存储,同城双集群RPO=0业界领先,确保数据0丢失;实现数据全⽣命周期安全,是国内唯一一款满足国际CC EAL4+安全标准的数据库产品,为企业提供了功能全面,稳定可靠,扩展性强,性能优越的企业级数据库服务。宝兰德与华为云结合双方产品优势,基于宝兰德应用服务器软件9.5(BES Application Server 9.5)与GaussDB数据库共同打造了领先的联合解决方案。该方案对中间件数据访问层进行了多样优化,包括:数据库连接池化管理,分布式数据节点动态感知、自动负载管理、事务管理接口优化、SQL缓存优化等,通过这些机制帮助业务系统更好应对海量数据访问处理的需要,提供更高的访问效率、更高的数据可用性。目前,该解决方案已经在某大型国有银行的多个重要业务系统成功上线使用,并获得了客户的高度认可。随着企业数字化转型进入深水区,企业面临的业务场景更加复杂,华为云将继续携手产业伙伴一起构建更加高效、敏捷的数据服务,共同为各行各业提供高价值的数据库解决方案,助力企业数字化转型成功。
  • [问题求助] 【GaussDB】GaussDB死元组清理有方法吗?
    我们有个表,因为更新频繁,现在表膨胀了250%,空间占得比较多,浪费空间。
  • [技术干货] 华为云GaussDB入选“2022年数字技术融合创新应用解决方案”
    近日,在第六届数字中国建设峰会数字技术融合创新应用研讨会上,工业和信息化部网络安全产业发展中心(工业和信息化部信息中心)公布了 2022年数字技术融合创新应用解决方案征集工作成果,华为云GaussDB金融交易型数据库解决方案入选“2022年数字技术融合创新应用解决方案(典型解决方案)”。数字技术融合创新应用解决方案奖项是由工业和信息化部网络安全产业发展中心(工业和信息化部信息中心)牵头设立的,旨在进一步激发产业自主创新活力,高效促进供需协同发展,加强区域联动和资源整合。华为云GaussDB金融交易型数据库解决方案,面向金融政企核心交易和企业生产系统等复杂场景,通过在分布式领域创新,支持1000+超大分布式集群和PB级海量存储,同城双集群RPO=0业界领先,确保数据0丢失;实现数据全⽣命周期安全,是国内唯一一款满足国际CC EAL4+安全标准的数据库产品,已经构建起了完全独立的技术创新能力,解决了传统数据库在高性能、高可用、高扩展、高安全等方面的挑战,能够满足企业当下以及未来对数据库的需求。凭借卓越的技术能力,华为云GaussDB已经在工商银行、邮储银行等国有大行,以及多家股份制银行和保险证券公司,积累了非常多的成功经验。在邮储银行新一代个人业务分布式核心系统建设中,华为云GaussDB通过分布式、单元化架构设计,打破了容量瓶颈,提升了可扩展性,增强了业务连续性,实现了基于大型银行核心级场景产品能力的快速提升,为金融服务转型提供了技术支撑,具备高峰期每秒6.7万笔的交易处理能力,能满足邮储银行超6.5亿客户、18亿账户的服务需要。投产以来运行平稳,各项指标表现优异,全天联机交易处理时间仅需65毫秒,比原系统减少30%;日终处理耗时从273分钟减至197分钟,降低28%;季度结息总时长从140分钟减至25分钟,降低82%。华为云GaussDB此次入选,表明技术实力再次被权威认可,也更加坚定了其持续战略投入、技术创新的决心,未来将继续做好金融政企核心业务云化的智能数据底座,为千行百业提供更专业贴心的服务。
  • [问题求助] 【GaussDB】请问下GaussDB支持INSERT .. ON CONFLICT语法吗?
    请问下GaussDB支持INSERT .. ON CONFLICT语法吗?
  • [问题求助] 【GaussDB】GaussDB创建视图后,无法对视图进行删除数据的动作吗?
    GaussDB创建视图后,无法对视图进行删除数据的动作吗?
  • [技术干货] 数字化转型下,我国分布式数据库应用挑战及发展建议
    本文作者丨数据库领域科学家、华为云数据库GaussDB首席专家  冯柯当前,金融等重点行业都在进行数字化转型,而分布式数据库作为数据承载工具,为数字化转型提供了有力的支撑。分布式数据库近年来发展迅猛,在产品成熟度上有了很大提升,但在行业应用和生态建设上仍有很多挑战。本文分析了分布式数据库发展情况、分布式数据库应用的主要问题,从行业应用的角度给出了分布式数据库发展的建议。一、发展情况过去三十年,以金融业为代表的核心信息系统架构依托IOE(即IBM、Oracle、EMC)技术,构建了一套集中、专用、封闭的稳态技术体系。但是,随着互联网及云化时代的到来,企业业务架构产生巨大变化,以银行为代表的金融业需加速构建敏态体系,推动底层数据库的分布式改造和互联网金融业务创新。分布式数据库具有满足行业关键应用的高扩展性、高性能、高可用性及软硬件解耦等特性,是金融等重点行业信息系统数字化转型的基石。(一)产品成熟度提升随着分布式数据库在金融等重点行业的不断应用,产品成熟度得到很大提升。一是新技术的不断发展使得分布式数据库在自身固有的优势领域,如扩展性、高可用等方面进一步强化,已有多个应用在重点行业核心业务中落地。二是国产分布式数据库的性能已经实现了与其他商业数据库持平甚至超越,这在多个大型企业机构产品准入测试及业内国际基准测试(如在线交易场景TPCC、在线分析场景TPCH等)中得到充分证明,可对行业核心业务起到重要的支撑作用。三是更多厂商开始提供对主流国产分布式数据库的功能支持,产品的兼容性取得显著进展。管理控制软件、迁移工具等配套设施逐渐完善,极大地降低了数据库的使用门槛和迁移成本。(二)生态逐步完善一是加快推动分布式数据库在重点行业落地,主流分布式数据库厂商纷纷与众多大型银行、企业等开展联合创新活动,取得了许多突破性的成果。以某厂商的分布式数据库为例,在与大型商业银行的联创过程中,已完成10个以上业务系统的分布式数据库替 换,覆盖银行A类到C类全场景业务。二是通过一站式的迁移解决方案,实现以较小的业务改造工作量从传统数据库向分布式数据库转型,迁移成本相对较低。而且使用分布式数据库后,业务系统运行稳定,可靠性和扩展性有所增强,从各项指标看,已基本具备承接Oracle及DB2大机下移的能力。三是分布式数据库相关的行业标准和评价体系逐步健全,对产品发展起到较强的规范引领作用。(三)总体发展情况向好当前国产分布式数据库已经渡过了“能用”阶段,正在迈向“好用、易用”阶段。横向来看,我国分布式数据库的发展基本与国际同步,tpcc、sysbench等性能指标和RTO、RPO等可靠性指标甚至具有优势,在应用领域取得些许领先。纵向来看,以金融业为例,分布式数据库应用取得较大进展,不管是在互联网新核心业务,还是传统核心业务中,分布式数据库行业应用落地数量大幅增加,有逐步替代集中式数据库的趋势。二、面临的主要问题(一)主体改造意愿不强,行业实践尚不充分一方面,原有数据库系统改造为分布式数据库,对用户及应用单位提出了较高的要求。改造所面临的成本问题,以及改造完成后分布式运维实施的复杂性,使得部分金融机构对于全面应用分布式还存在有一定的疑虑,主动改造意愿不强。另一方面,分布式数据库在行业典型应用场景中的落地仍处于摸索阶段。由于部分项目中存在一定的需求定制化,应用解决方案与产品的边界不够清晰,产品的规模化复制能力仍有待加强,行业最佳实践相对缺乏。这些因素也影响了金融机构对迁移采用分布式数据库技术的积极性。(二)分布式数据库的生态建设仍需加强生态建设是当前我国基础软件相对薄弱的一环,特别是对分布式数据库厂商而言,虽然在实现技术和产品方面实现突破,但在生态建设方面仍需积极应对投入转化慢、门槛高、市场接受程度低等挑战。一方面,部分产品的技术体系相对封闭,用户无法从市场快速获取合格的开发运维人员,导致业务改造及生产运维仍严重依赖原厂,规模化复制效应较差。另一方面,部分产品的开放性仍有待提升,与其他平台数据互联互通的能力不足在客观上造成了业务“上车容易下车难”的现实困境,增加了用户被锁定的风险。(三)可持续发展的盈利模式需进一步探索我国数据库的发展可以追溯到30多年前,在这样一个相对较长的发展周期内,技术和产品都取得了显著进展,但在产业化方面,知识产权的保护不够充分等诸多问题造成部分参与主体的市场化盈利能力较弱,产业整体规模难以做大。分布式数据库虽然已取得了一定进展,但“池子深才能养大鱼”,如何依托当前政策窗口,真正形成可持续发展的商业模式,还需进一步探讨。三、行业的应用建议尽管存在一些问题,但我们坚信分布式是数据库未来的发展趋势。如果将分布式数据库和单机数据库类比为“高铁”和“轿车”,因两者定位不同,期望“高铁”像“轿车”一样简单易用既不现实也不科学。所以应避免将分布式数据库的应用简单地理解为对单机或者集中式数据库的一对一替 换,而要深入考虑如何充分发挥分布式数据库的技术优势。遵循以上思路,我们对于分布式数据库在金融等重点行业的应用提出以下几点建议:(一)通过技术创新和最佳实践,推动行业应用不断深入一方面,要探索利用人工智能等新技术提升产品服务效能。人工智能技术可实现自动数据分区规划、故障自动诊断和自愈、自动负载均衡、面向混合负载的自调优等功能。目前人工智能技术在分布式场景已经有了一些单点突破,但距离全场景落地、实现整体成本的全面降低还有很长的一段路要走,需要继续加以积极的行业引导,推进技术交流和产业落地。另一方面,需充分发挥好示范项目效应。在金融等重点行业典型应用场景如分布式架构设计、多地多中心容灾等,形成最佳解决方案,并在行业推广落地。在此过程中,提炼出更适合分布式数据库的开发、运维、硬件建设等相关要求,研究制定数据库开发、运维、应用方面的标准规范,提高行业的标准化水平,引导各参与主体规范应用分布式数据库,推进行业转型。同时应约束不必要的定制化需求,减少无序竞争,实现技术聚焦。(二)积极推进生态建设,发挥产业引领作用从软件发展历史看,生态建设是基础软件产业化的重要一环。任何一款商业上真正成功的软件产品,无一不是生态建设上获得广泛认可的成功案例。首先,充分发挥产业联盟桥梁纽带作用,推动产业发展。在行业内积极进行资源引流,逐步提升技术营运效率及影响力,搭建高端对话平台,促进分布式数据库应用方、应用开发方及厂商更好地交流,共同面对分布式转型下的业务及技术挑战,推进行业生态繁荣;加强与分布式中间件、分布式服务框架的合作与交流,通过开源、社区等形式建立广泛的赋能体系;鼓励应用软件厂商全面向分布式架构转型,建立相应的培训体系和检测认证体系。其次,完善技术生态,鼓励引入第三方软件垂直提供商。在运维管控、工具端以及解决方案层面实现更多差异化的平台能力,加厚行业整体的技术底盘;鼓励第三方产品服务化和上下游集成,推进各产品的互联互通,打造良好技术生态,促进行业健康发展。再次,建立基础软件开放生态体系,推动开源建设。应鼓励有研发实力的厂商基于国产开源数据库做发行商,有运维能力的厂商基于优质的国产数据库打造适用于自主可控要求的数据库解决方案。数据库厂商和合作伙伴应基于数据库代码开源、产品开放等形式,使数据库产业从封闭商业生态走向产业共赢的开放生态,共同打造开放的数据库生态体系。最后,进一步推进政产学研合作,加强人才储备。明确人才发展战略,梳理多层次行业人才资源地 图。加强厂商与各科研院所合作,推进高校在包括数据库在内的基础软件方面专业投入,鼓励有条件的厂商和高校开展课程共建、实践共建,为联合推进分布式数据库关键技术在理论和实践层面的难点问题攻关储备智力资源。(三)全面拥抱云,开展行业可持续发展的尝试与探索数据库上云已逐步成为产业共识。发展云数据库,不仅是对技术和产品的重要升级,更是对数据库良性健康发展的商业模式有益探索,对于实现主体可控、支撑行业长期稳定发展具有重要的现实意义。分布式数据库与单机数据库不同,需要更大的集群规模才能实现资源的更有效利用。分布式数据库与云计算是天然伴生关系,通过云化部署,能够帮助分布式数据库扬长避短,充分发挥分布式数据库在扩展性、资源调度方面的灵活性和优势,在提升资源利用效率同时,显著降低运维成本,实现真正业务价值。一是云化基础设施可以通过智能调度、运维系统高效管理更为丰富的应用,并通过多云及边缘计算将应用扩展到多种场景中。二是软硬协同可为应用提供更好的性能,提升应用隔离性等。三是云数据库和云基础设施结合,如利用云基础设施本身的能力实现数据库的跨数据中心访问等,可使存储具备理解、预处理数据库语义的能力。基于以上,一是建议扩大云数据库在金融行业的应用规模。云数据库已经在互联网、电子政务等各行业得到了广泛应用,在金融行业的应用及推广也在稳步推进中。应引导重点用户单位与厂商尝试在行业落地云数据库及云平台,鼓励技术共创,共同探索基于现代云平台的分布式数据库运维及业务开发体系。二是建议推进行业云发展以提高行业标准化程度。在满足合规营运的前提下,应实现底层基础设施共享,降低中小用户对于分布式数据库的使用门槛和人才需求,减少重复投资,实现集约化营运,充分发挥分布式数据库的规模化优势。厘清各参与主体运营职责与边界,依托业内现有的成熟云平台技术,形成一个或若干个云技术底座,鼓励传统非云数据库厂商根据自身产品技术特点完成与云平台的对接,最终形成行业的云上产品集市,逐步简化并统一运维及交付界面,降低行业应用门槛,提高行业标准化程度。
  • [技术干货] 数字化转型下,我国分布式数据库应用挑战及发展建议
    本文作者丨数据库领域科学家、华为云数据库GaussDB首席专家  冯柯当前,金融等重点行业都在进行数字化转型,而分布式数据库作为数据承载工具,为数字化转型提供了有力的支撑。分布式数据库近年来发展迅猛,在产品成熟度上有了很大提升,但在行业应用和生态建设上仍有很多挑战。本文分析了分布式数据库发展情况、分布式数据库应用的主要问题,从行业应用的角度给出了分布式数据库发展的建议。一、发展情况过去三十年,以金融业为代表的核心信息系统架构依托IOE(即IBM、Oracle、EMC)技术,构建了一套集中、专用、封闭的稳态技术体系。但是,随着互联网及云化时代的到来,企业业务架构产生巨大变化,以银行为代表的金融业需加速构建敏态体系,推动底层数据库的分布式改造和互联网金融业务创新。分布式数据库具有满足行业关键应用的高扩展性、高性能、高可用性及软硬件解耦等特性,是金融等重点行业信息系统数字化转型的基石。(一)产品成熟度提升随着分布式数据库在金融等重点行业的不断应用,产品成熟度得到很大提升。一是新技术的不断发展使得分布式数据库在自身固有的优势领域,如扩展性、高可用等方面进一步强化,已有多个应用在重点行业核心业务中落地。二是国产分布式数据库的性能已经实现了与其他商业数据库持平甚至超越,这在多个大型企业机构产品准入测试及业内国际基准测试(如在线交易场景TPCC、在线分析场景TPCH等)中得到充分证明,可对行业核心业务起到重要的支撑作用。三是更多厂商开始提供对主流国产分布式数据库的功能支持,产品的兼容性取得显著进展。管理控制软件、迁移工具等配套设施逐渐完善,极大地降低了数据库的使用门槛和迁移成本。(二)生态逐步完善一是加快推动分布式数据库在重点行业落地,主流分布式数据库厂商纷纷与众多大型银行、企业等开展联合创新活动,取得了许多突破性的成果。以某厂商的分布式数据库为例,在与大型商业银行的联创过程中,已完成10个以上业务系统的分布式数据库替换,覆盖银行A类到C类全场景业务。二是通过一站式的迁移解决方案,实现以较小的业务改造工作量从传统数据库向分布式数据库转型,迁移成本相对较低。而且使用分布式数据库后,业务系统运行稳定,可靠性和扩展性有所增强,从各项指标看,已基本具备承接Oracle及DB2大机下移的能力。三是分布式数据库相关的行业标准和评价体系逐步健全,对产品发展起到较强的规范引领作用。(三)总体发展情况向好当前国产分布式数据库已经渡过了“能用”阶段,正在迈向“好用、易用”阶段。横向来看,我国分布式数据库的发展基本与国际同步,tpcc、sysbench等性能指标和RTO、RPO等可靠性指标甚至具有优势,在应用领域取得些许领先。纵向来看,以金融业为例,分布式数据库应用取得较大进展,不管是在互联网新核心业务,还是传统核心业务中,分布式数据库行业应用落地数量大幅增加,有逐步替代集中式数据库的趋势。二、面临的主要问题(一)主体改造意愿不强,行业实践尚不充分一方面,原有数据库系统改造为分布式数据库,对用户及应用单位提出了较高的要求。改造所面临的成本问题,以及改造完成后分布式运维实施的复杂性,使得部分金融机构对于全面应用分布式还存在有一定的疑虑,主动改造意愿不强。另一方面,分布式数据库在行业典型应用场景中的落地仍处于摸索阶段。由于部分项目中存在一定的需求定制化,应用解决方案与产品的边界不够清晰,产品的规模化复制能力仍有待加强,行业最佳实践相对缺乏。这些因素也影响了金融机构对迁移采用分布式数据库技术的积极性。(二)分布式数据库的生态建设仍需加强生态建设是当前我国基础软件相对薄弱的一环,特别是对分布式数据库厂商而言,虽然在实现技术和产品方面实现突破,但在生态建设方面仍需积极应对投入转化慢、门槛高、市场接受程度低等挑战。一方面,部分产品的技术体系相对封闭,用户无法从市场快速获取合格的开发运维人员,导致业务改造及生产运维仍严重依赖原厂,规模化复制效应较差。另一方面,部分产品的开放性仍有待提升,与其他平台数据互联互通的能力不足在客观上造成了业务“上车容易下车难”的现实困境,增加了用户被锁定的风险。(三)可持续发展的盈利模式需进一步探索我国数据库的发展可以追溯到30多年前,在这样一个相对较长的发展周期内,技术和产品都取得了显著进展,但在产业化方面,知识产权的保护不够充分等诸多问题造成部分参与主体的市场化盈利能力较弱,产业整体规模难以做大。分布式数据库虽然已取得了一定进展,但“池子深才能养大鱼”,如何依托当前政策窗口,真正形成可持续发展的商业模式,还需进一步探讨。三、行业的应用建议尽管存在一些问题,但我们坚信分布式是数据库未来的发展趋势。如果将分布式数据库和单机数据库类比为“高铁”和“轿车”,因两者定位不同,期望“高铁”像“轿车”一样简单易用既不现实也不科学。所以应避免将分布式数据库的应用简单地理解为对单机或者集中式数据库的一对一替换,而要深入考虑如何充分发挥分布式数据库的技术优势。遵循以上思路,我们对于分布式数据库在金融等重点行业的应用提出以下几点建议:(一)通过技术创新和最佳实践,推动行业应用不断深入一方面,要探索利用人工智能等新技术提升产品服务效能。人工智能技术可实现自动数据分区规划、故障自动诊断和自愈、自动负载均衡、面向混合负载的自调优等功能。目前人工智能技术在分布式场景已经有了一些单点突破,但距离全场景落地、实现整体成本的全面降低还有很长的一段路要走,需要继续加以积极的行业引导,推进技术交流和产业落地。另一方面,需充分发挥好示范项目效应。在金融等重点行业典型应用场景如分布式架构设计、多地多中心容灾等,形成最佳解决方案,并在行业推广落地。在此过程中,提炼出更适合分布式数据库的开发、运维、硬件建设等相关要求,研究制定数据库开发、运维、应用方面的标准规范,提高行业的标准化水平,引导各参与主体规范应用分布式数据库,推进行业转型。同时应约束不必要的定制化需求,减少无序竞争,实现技术聚焦。(二)积极推进生态建设,发挥产业引领作用从软件发展历史看,生态建设是基础软件产业化的重要一环。任何一款商业上真正成功的软件产品,无一不是生态建设上获得广泛认可的成功案例。首先,充分发挥产业联盟桥梁纽带作用,推动产业发展。在行业内积极进行资源引流,逐步提升技术营运效率及影响力,搭建高端对话平台,促进分布式数据库应用方、应用开发方及厂商更好地交流,共同面对分布式转型下的业务及技术挑战,推进行业生态繁荣;加强与分布式中间件、分布式服务框架的合作与交流,通过开源、社区等形式建立广泛的赋能体系;鼓励应用软件厂商全面向分布式架构转型,建立相应的培训体系和检测认证体系。其次,完善技术生态,鼓励引入第三方软件垂直提供商。在运维管控、工具端以及解决方案层面实现更多差异化的平台能力,加厚行业整体的技术底盘;鼓励第三方产品服务化和上下游集成,推进各产品的互联互通,打造良好技术生态,促进行业健康发展。再次,建立基础软件开放生态体系,推动开源建设。应鼓励有研发实力的厂商基于国产开源数据库做发行商,有运维能力的厂商基于优质的国产数据库打造适用于自主可控要求的数据库解决方案。数据库厂商和合作伙伴应基于数据库代码开源、产品开放等形式,使数据库产业从封闭商业生态走向产业共赢的开放生态,共同打造开放的数据库生态体系。最后,进一步推进政产学研合作,加强人才储备。明确人才发展战略,梳理多层次行业人才资源地图。加强厂商与各科研院所合作,推进高校在包括数据库在内的基础软件方面专业投入,鼓励有条件的厂商和高校开展课程共建、实践共建,为联合推进分布式数据库关键技术在理论和实践层面的难点问题攻关储备智力资源。(三)全面拥抱云,开展行业可持续发展的尝试与探索数据库上云已逐步成为产业共识。发展云数据库,不仅是对技术和产品的重要升级,更是对数据库良性健康发展的商业模式有益探索,对于实现主体可控、支撑行业长期稳定发展具有重要的现实意义。分布式数据库与单机数据库不同,需要更大的集群规模才能实现资源的更有效利用。分布式数据库与云计算是天然伴生关系,通过云化部署,能够帮助分布式数据库扬长避短,充分发挥分布式数据库在扩展性、资源调度方面的灵活性和优势,在提升资源利用效率同时,显著降低运维成本,实现真正业务价值。一是云化基础设施可以通过智能调度、运维系统高效管理更为丰富的应用,并通过多云及边缘计算将应用扩展到多种场景中。二是软硬协同可为应用提供更好的性能,提升应用隔离性等。三是云数据库和云基础设施结合,如利用云基础设施本身的能力实现数据库的跨数据中心访问等,可使存储具备理解、预处理数据库语义的能力。基于以上,一是建议扩大云数据库在金融行业的应用规模。云数据库已经在互联网、电子政务等各行业得到了广泛应用,在金融行业的应用及推广也在稳步推进中。应引导重点用户单位与厂商尝试在行业落地云数据库及云平台,鼓励技术共创,共同探索基于现代云平台的分布式数据库运维及业务开发体系。二是建议推进行业云发展以提高行业标准化程度。在满足合规营运的前提下,应实现底层基础设施共享,降低中小用户对于分布式数据库的使用门槛和人才需求,减少重复投资,实现集约化营运,充分发挥分布式数据库的规模化优势。厘清各参与主体运营职责与边界,依托业内现有的成熟云平台技术,形成一个或若干个云技术底座,鼓励传统非云数据库厂商根据自身产品技术特点完成与云平台的对接,最终形成行业的云上产品集市,逐步简化并统一运维及交付界面,降低行业应用门槛,提高行业标准化程度。
  • [问题求助] 【GaussDB】GaussDB序列函数nextval(regclass)有两种调用方式,性能差异大吗?
    GaussDB 序列函数nextval(regclass)有两种调用方式,性能差异大吗? gaussdb=# select nextval('seqDemo');   nextval ---------        2 (1 row) gaussdb=# select seqDemo.nextval;   nextval ---------        2 (1 row)
  • [问题求助] 【GaussDB】GaussDB的wait available td这种等待事件是什么意思呢?
    GaussDB的wait available td这种等待事件是什么意思呢?
  • [技术干货] 共筑数字化未来 金山办公携手华为云完成文档中心和GaussDB适配
    近日,金山办公携手华为云完成金山办公自主研发的“WPS文档中心系统”与华为云GaussDB相互兼容性测试认证,并获得华为云授予的《技术认证书》。作为一家源自中国的科技公司,金山办公秉持“绽放智慧的力量”这一品牌理念,在过去35年持续深耕办公赛道,从开创计算机“中文字处理时代”,到引领未来办公新方式,始终致力于为人们提供高效可靠、轻松愉悦的办公体验,为智慧的表达与传递创建高效平台。凭借以WPS、金山文档等为代表的办公产品,金山办公为来自全球220多个国家和地区的用户提供办公服务。在组织级市场,金山办公连续多年为包括党政机关、金融、能源、航空、医疗、教育等领域在内众多行业提供定制化的办公产品和服务,帮助政府和企业加速实现数字化、智能化办公,提升企业生产力。在中小企业市场,金山办公借助以“云化、协作化”为特征的灵活产品服务方案,助力中小微企业降本增效,更好发展。华为云面向金融政企打造了GaussDB分布式数据库,提供高可用、高性能、高安全、简单易用的数据库服务,充分满足企业业务连续性的要求。技术层面,GaussDB已经构建起了完全独立的技术创新能力,支持1000+超大分布式集群和PB级海量存储,同城双集群RPO=0业界领先,确保数据0丢失;实现数据全⽣命周期安全,是国内唯一一款满足国际CC EAL4+安全标准的数据库产品。目前,华为云GaussDB已经在工商银行、邮政储蓄银行等国有大行,以及多家股份制银行和保险证券公司,积累了非常多的成功经验。同时与100+合作伙伴达成适配认证与深度合作,积极推动数据库生态发展,持续打造根技术竞争力,给世界一个更优选择。金山办公和华为云在技术创新领域始终保持良好的合作关系。WPS文档中心和华为云GaussDB的成功适配,充分展示了双方在文档处理技术、数据库技术等方面的实力。此次合作标志着金山办公与华为云的强强联合,将为企业提供更加高效、智能的数字办公解决方案,助力企业数字化转型。某商行采用适配华为云GaussDB的WPS文档中心解决方案,成功解决了该行在文档处理和管理上的痛点。WPS文档中心解决方案提供的在线编辑、云端协作功能,为行内员工节省了大量时间,提高了工作效率。WPS文档中心可支持多种文件格式,包括文字、表格、演示、PDF等,可实现对文档的预览、编辑、协作和存储。同时,通过WPS原生加密技术,有效地保障了用户数据的安全性,降低数据泄露风险。该数字办公方案可支持多终端设备的访问,为用户提供更加便捷的使用体验。该行信息中心负责人表示:“WPS文档中心帮助我们既提高工作效率,又保障数据安全,同时客户成功团队也提供了优质的技术服务,我们对这次合作非常满意。”未来,金山办公和华为云还将持续深化合作,共同推动技术创新,为企业带来更优秀的数字办公解决方案,为企业的数字化转型提供坚实的技术支持和服务,助力企业实现更高质量的发展。
  • [开发应用] jdbc 代码执行sql,连接中断,任务没有停,这种怎么通过代码停止?
    jdbc 代码执行sql,连接中断,任务没有停,这种怎么通过代码停止?
  • [技术干货] GaussDB全密态数据库应用案例:为华为公司流程IT ERP项目保驾护航
    搜索关键词“数据库安全事件”,“史上十大数据泄露事件及其教训”、“2022年国内十大信息泄露事件”等字样就跳入了眼帘。打开任意一个链接,以亿为计数单位的用户信息被泄露在网上,包括谷歌、万豪国际、西北工业大学等这些我们耳熟能详的知名校企,触目惊心的数字让人不寒而栗。这些有着强大安全防御系统且被重点关注的校企,发生数据泄露能被大家看到的仅仅是冰山一角,更不要提那些没有被曝光出来、隐性的数据泄露的情况了,因此数据安全之路任重道远。那如何避免数据被泄露?数据的存储离不开数据库。近年来,本地数据库向云上迁移成为一大发展趋势,云数据库成为数据库市场增长的最快的领域。而相较于传统数据库,云数据库的部署网络由“私有环境”向“开放环境”转变,传输、存储、运维所处的运行态,都有可能遭受来自攻击者的攻击,面临的风险更加复杂和多元。因此,保护数据在云上全生命周期的隐私安全,是整个云数据库面临的首要安全挑战。解决方案的设想是:如果当数据离开客户端时,在用户侧对数据进行加密,且不影响服务端的检索与计算,从而实现敏感数据保护,此时即便数据库管理员也无法接触到用户侧的密钥,进而无法获取明文数据。这样就极大可能的降低了数据被泄露的风险。俗话说,钥匙掌握在自己手里才是最安全的,这就是全密态数据库解决方案。全密态数据库技术的优势在全密态数据库方案中,用户自己持有数据加解密密钥,加解密过程仅在客户侧完成,数据在存储、传输、查询整个生命周期过程中均以密文形态存在,并在服务端完成查询运算。因此,无论数据处于何种状态,攻击者都无法获取到有效信息,从而保障了企业数据全生命周期的隐私安全。全密态数据库不仅继承普通数据库基本功能,还额外提供了在数据密文上进行查询和计算的能力,这也是全密态技术成为各大厂商去全力攻克的主要原因。GaussDB全密态数据库技术华为的GaussDB全密态数据库,不断突破软硬融合密态数据处理、可搜索加密等根技术,主要有三方面的优势:一是,实现用户使用全密态数据库时完全的无感知,不需要修改他原有的SQL语句、数据类型等。GaussDB可以做到语法自动解析,应用无感知,将语法解析内置到驱动中,这种实现方式投入大,较难实现,华为在这方面有专利。二是,不依赖专有的加密硬件,靠纯软件的方式来实现。GaussDB支持纯软方案,全程存储密文,通过数学算法在密文空间直接查询运算,属于安全领域的技术高精尖。三是,加密必然导致性能的损耗,保障在全密态下性能牺牲在一个可控范围内。GaussDB通过软硬结合可以将部分算法不进行加解密过程传递,减少硬件IO。通过数学算法,直接对密文进行查询,极大减少加解密时的性能损耗,华为在这方面已有专利。GaussDB全密态数据库的应用GaussDB密态数据库已经在华为公司流程IT ERP项目中投入应用,通过信息安全存储,实现核心账务数据的密文查询和计算。GaussDB全密态数据库能够在华为公司流程IT ERP项目中使用,一方面是GaussDB 是华为重磅打造的企业级原生分布式关系型数据库,在华为公司内部经过了3年多的全密态技术的测试和迭代,针对价值数据的机密性保护这一点已经相当成熟。另一方面是,华为公司跟信通院合作,发布了全密态数据库标准,并且100%全量完成了中国信通院组织的首批“全密态数据库”产品能力评测。该评测依据《大数据 全密态数据库技术要求》进行,对标准中所有的四个能力域共计三十个能力项进行测试,全周期数据密态、密态数据处理、加密算法与密钥管理、以及数据库基本能力等。目前,除了华为云的流程IT ERP项目以外,GaussDB全密态数据库项目已经在金融行业进行实践,相信在不久的将来,GaussDB全密态数据库将在各个行业遍地开花。
  • [问题求助] 【GaussDB】GaussDB 执行SQL语句时,提示Lock wait timeout waiting for AccessExclusiveLock on relation,怎么处理
    GaussDB 执行SQL语句时,提示Lock wait timeout waiting for AccessExclusiveLock on relation,怎么处理
总条数:1518 到第
上滑加载中