-
近日,Gartner最新发布Gartner Peer Insights 《Voice of the Customer for Cloud Database Management Systems,2023》报告,华为云成为全球唯一获得云数据库管理系统“客户之选”的云厂商,客户满意和推荐度高达98%。报告显示,华为云在本年度Peer Insights平台共收获89条评论,获得4.8分综合评分(满分5分)。这些评价结果充分体现了华为云数据库管理类产品在综合竞争力、部署体验、规模商用成熟度、销售服务品质等方面获得全球客户的高度认可。“我司是开源数据库解决方案和数据处理技术的提供商,但分布式数据库重构能力相对薄弱。为满足业务拓展的需要,我们选择与华为云GaussDB数据库合作,面向制造业和金融行业共同打造了分布式数据库解决方案。我们在共建分布式数据库的基础上,根据客户的特定场景定制数据平台,帮助客户解决业务与数据库耦合过大、数据利用不便等问题。同时,打破了现有的数据库性能瓶颈,有效地实现了数据处理和管理。”------------银行大客户经理链接“我们使用MRS构建一站式用户画像,实现精准的用户营销,节省了大量的时间和成本,极大地改善了客户体验。” -----------商务总监链接“我们综合金融平台的业务数据库基于GaussDB(DWS)构建,帮助我们全面监控核心业务,集中管理全省数据。” ------------政府软件发展部门链接华为云面向金融政企领域自主创新研发的分布式关系型数据库GaussDB,为企业提供了高可用、高安全、高性能、高弹性、高智能、易部署、易迁移的企业级数据库服务,并在工商银行、邮储银行等国有大行,以及多家股份制银行和保险证券公司,积累了丰富的成功经验。其中邮储银行基于GaussDB数据库,具备了为全行6.5亿个人客户、4万多个网点提供日均20亿笔、峰值6.7万笔/秒的交易处理能力。华为云GaussDB(DWS)数据仓库,作为云上企业级数据仓库,提供标准数仓、实时数仓以及IoT数仓三种产品,广泛用于汽车、制造、零售、物流、互联网、政府、电信等行业的分析和决策系统。截至2023年第一季度,华为云GaussDB(DWS)在国有大行和股份制银行中的市占率高达66.7%,在金融数仓本地部署中排名第一。其中,招商银行已于去年成功完成数仓迁移,并建立了国内首个大规模金融云数仓,批量数据处理完成进度整体提前2小时以上,业务用户查询时长缩短75%,有效支撑了“人人用数”大数据发展战略落地。华为云MRS云原生数据湖为客户提供Hudi、ClickHouse、Spark、Flink、Kafka、HBase等Hadoop生态的高性能大数据组件,支持数据湖、数据仓库、BI、AI融合等能力,是政企客户大数据平台首选。当前,80%的TOP60金融客户和70%的TOP50互联网客户都选择了华为云MRS数据湖,其中在工商银行已建成同业最大的大数据单集群,总规模达4000+节点,支撑行内外200+应用,并通过MRS HetuEngine数据虚拟化引擎,分析效率提升50倍,实现全行1.3万名分析师即时BI新体验。随着千行百业数字化转型的深入,企业面临的业务场景会更复杂,对云数据库管理系统的诉求也会越来越高。未来,华为云将持续深耕根技术,不断创新、精进和突破,将更多产品能力应用到更多商业实践,帮助各行各业构建更优质、更敏捷高效的智能数据底座。关于Gartner Peer Insights™Gartner Peer Insights™是一个由全球IT决策者和从业者对其使用的设备和服务进行评级与评论的平台。Gartner指出:“‘Voice of Customer’是一份综合了Gartner Peer Insight中的评论,为IT决策者提供见解的文件。这种经过汇总后的同行观点以及详细的个人评论是对Gartner专家研究的补充,并且关注的是同行们实施和操作解决方案的直接经验,能够在您购买的过程中发挥关键作用。”资料来源:Gartner, Voice of the Customer for Cloud Database Management Systems, Published 29 May 2023免责声明:“Gartner Peer Insights客户之选”徽章是Gartner, Inc.和/或其附属公司的商标,经许可在此使用。保留所有权利。Gartner Peer Insights™内容由个人最终用户根据自己的经验提出的主观意见,不应被视为事实陈述,也不代表Gartner或其附属公司的观点。Gartner对该内容中所述的任何供应商、产品或服务不做任何带有明示或暗示意义的担保,包括对适销性或特定用途适用性的担保。该图形由 Gartner, Inc. 发布,作为更大的研究文档的一部分,应在整个文档的背景下进行评估。Huawei可应要求提供 Gartner 文档。
-
ERP系统在帮助企业优化业务流程、实现数字化管理方面有重要作用,可以说企业所有的业务流转都需要在核心系统ERP上完成。所以,一旦ERP系统中的数据丢失或泄露,会给企业造成巨大损失。因此,ERP系统的数据安全成为企业稳定经营管理的重中之重。前段时间,华为宣布实现了自主创新的MetaERP研发,并且完成了对旧ERP系统的全面替换,这其中,就采用了华为云GaussDB数据库特有的全密态技术,对ERP系统中的绝密数据进行加密保护,从而保障了数据的安全。ERP绝密数据需要一颗“定心丸”华为管理着上千亿元的存货,分布于运营商业务、企业业务、终端业务、智能汽车解决方案、华为云计算、数字能源等多个产业,包含研发、采购、生产制造、子公司销售、备件等各种业务类型,这些存货流转于多家法人公司之间,而且与ERP中产品主数据、采购、库存、生产、应收、应付等多个产品集成,在不同产业、类型、公司间交易模式的交织下,成本核算场景非常复杂。除了场景复杂,成本核算的数据量也非常大。过去20多年,华为公司300多万个物料每年会发生10亿以上的交易量,产生近百亿的账务核算分录,其中的制造型公司,一次物料成本的发布更新涉及千万物料明细、BOM(物料清单)行。MetaERP的成本核算模块的核算单总数据量高达66.24亿,单表最大量级超过了30亿,总容量高达6TB以上,数据量巨大,并且都是公司的绝密数据,整个ERP链路需要达到万级TPS。由此可见,成本核算模块不仅要将物料成本核算准确,还需要高效实时地计算出结果,是企业财报核算的关键一环。而物料成本的流转、存储、消费等每一个场景,都有可能导致这些绝密数据的泄露,企业声誉、公司竞争力和企业业务都会受到沉痛打击。因此,引入一套能够支撑海量数据高效存储的安全管理方案迫在眉睫,而支撑ERP系统运行的数据库成为关键。GaussDB全密态方案守护“成本核算”绝密数据经过研发团队的努力,MetaERP成功部署了自主创新的GaussDB数据库,引入了密态存储方案,为数据安全筑起了一道坚实可靠的防御线。作为中国首个获得国际CC EAL4+级别认证、首个通过中国信通院防篡改评测和首批全密态评测的数据库系统,GaussDB以纯软密态查询的创新技术,直接在客户端对数据进行加解密,数据源头有保障;数据在传输、查询、处理、存储等全流程中都以密文形式处理,极大减小了敏感信息泄露的攻击面;通过数学算法可以直接在密文空间进行查询和运算,减少了额外加解密带来的性能损耗;还支持语法自动解析,通过将语法解析工作内置到客户端驱动中,实现了业务层面无感知。现在,GaussDB已经全面支撑MetaERP上线并完成全栈自主创新,通过GaussDB高安全的特性,实现了绝密数据的安全可信,新系统各项指标远超预期。每一次成功都是下一次挑战的开始,华为云GaussDB将继续坚持技术创新道路,聚焦行业难题,研磨数据库根技术,推动行业数据安全治理,全程为企业信息安全和业务稳定运行保驾护航。
-
gaussdb for opengauss的分布式版本里面,通过服务器上的命令 gs_om -t status --detail 可以拿到各种组件的状态、所属AZ区域、主备关系等, 是否可以通过sql查询其内部视图也能拿到状态、所属AZ区域、主备关系相关信息 , 谢谢!
-
ERP系统在帮助企业优化业务流程、实现数字化管理方面有重要作用,可以说企业所有的业务流转都需要在核心系统ERP上完成。所以,一旦ERP系统中的数据丢失或泄露,会给企业造成巨大损失。因此,ERP系统的数据安全成为企业稳定经营管理的重中之重。前段时间,华为宣布实现了自主创新的MetaERP研发,并且完成了对旧ERP系统的全面替换,这其中,就采用了华为云GaussDB数据库特有的全密态技术,对ERP系统中的绝密数据进行加密保护,从而保障了数据的安全。ERP绝密数据需要一颗“定心丸”华为管理着上千亿元的存货,分布于运营商业务、企业业务、终端业务、智能汽车解决方案、华为云计算、数字能源等多个产业,包含研发、采购、生产制造、子公司销售、备件等各种业务类型,这些存货流转于多家法人公司之间,而且与ERP中产品主数据、采购、库存、生产、应收、应付等多个产品集成,在不同产业、类型、公司间交易模式的交织下,成本核算场景非常复杂。除了场景复杂,成本核算的数据量也非常大。过去20多年,华为公司300多万个物料每年会发生10亿以上的交易量,产生近百亿的账务核算分录,其中的制造型公司,一次物料成本的发布更新涉及千万物料明细、BOM(物料清单)行。MetaERP的成本核算模块的核算单总数据量高达66.24亿,单表最大量级超过了30亿,总容量高达6TB以上,数据量巨大,并且都是公司的绝密数据,整个ERP链路需要达到万级TPS。由此可见,成本核算模块不仅要将物料成本核算准确,还需要高效实时地计算出结果,是企业财报核算的关键一环。而物料成本的流转、存储、消费等每一个场景,都有可能导致这些绝密数据的泄露,企业声誉、公司竞争力和企业业务都会受到沉痛打击。因此,引入一套能够支撑海量数据高效存储的安全管理方案迫在眉睫,而支撑ERP系统运行的数据库成为关键。GaussDB全密态方案守护“成本核算”绝密数据经过研发团队的努力,MetaERP成功部署了自主创新的GaussDB数据库,引入了密态存储方案,为数据安全筑起了一道坚实可靠的防御线。作为中国首个获得国际CC EAL4+级别认证、首个通过中国信通院防篡改评测和首批全密态评测的数据库系统,GaussDB以纯软密态查询的创新技术,直接在客户端对数据进行加解密,数据源头有保障;数据在传输、查询、处理、存储等全流程中都以密文形式处理,极大减小了敏感信息泄露的攻击面;通过数学算法可以直接在密文空间进行查询和运算,减少了额外加解密带来的性能损耗;还支持语法自动解析,通过将语法解析工作内置到客户端驱动中,实现了业务层面无感知。现在,GaussDB已经全面支撑MetaERP上线并完成全栈自主创新,通过GaussDB高安全的特性,实现了绝密数据的安全可信,新系统各项指标远超预期。每一次成功都是下一次挑战的开始,华为云GaussDB将继续坚持技术创新道路,聚焦行业难题,研磨数据库根技术,推动行业数据安全治理,全程为企业信息安全和业务稳定运行保驾护航。
-
请问gaussdb for opengauss的分布式版本里面,PGXC_NODE里面的nodeis_active只能是CN的状态,对DN无效,如何使用SQL查询DN节点的状态 ?谢谢!
-
create table gen5( c1 int, c2 int, c3 int generated always as (c1 + c2) stored ) partition by list(c3)( partition js values('3200'), partition sd values('3700') );
-
近日,NineData 企业级 SQL 开发平台正式成为华为云“联营联运”商品。通过联营联运模式,双方将在产品、解决方案和生态等多个方面开展深度合作,共同提供高效、智能、安全的数据管理服务,帮助客户轻松构建一站式云端数据库管理平台。NineData入驻华为云联营商品“联营商品”是华为云打造的云上精品市场,秉承“优中选优,精中选精”的理念,多方面综合考虑企业的行业影响力、技术水平和服务质量等要素,统一制定严格的准入门槛,从源头上严格把控提供软件和应用的服务商的技术、研发和服务实力,旨在为用户提供优质的云上生态应用服务。此次,NineData 入驻华为云联营,是华为云对 NineData 产品和服务的充分认可。▋ 华为云数据库服务产品部总经理苏光牛表示:“我们很高兴 NineData 能够加入华为云'联营联运'商品,华为云一直专注于提供稳定可靠、安全可信、可持续发展的云服务,基于华为云领先技术以及服务保障,通过华为云数据库和 NineData 的联营合作,共同为企业的数字化转型提供高效、智能的数据管理服务,为行业带来更多创新发展机遇。”众所周知,华为云数据库是专为企业打造的核心数据安全上云、稳定高效处理与分析的服务,它基于华为多年的数据库研发和运维经验,结合了数据库云化改造技术,大幅优化了传统数据库的性能和可用性。其中GaussDB是华为自主创新研发的行业领先的国产原生分布式数据库,面向金融政企客户打造企业核心业务云化的智能数据底座。深耕技术创新的同时,GaussDB 也在持续扩大伙伴生态圈,联合更多伙伴为企业提供有竞争力的创新解决方案。NineData 提供的企业级数据库开发平台,可以帮助企业实现SQL审核、数据库规范、敏感数据保护、数据复制、数据备份等能力。同时,NineData 依托华为云数据库的高可用、高可靠、高安全、高性能、即开即用、便捷运维和弹性伸缩等数据库能力,为客户提供了全链路的数据安全保障和高效的数据管理能力。此次 NineData 加入华为云联营联运计划,也将开启 SaaS 服务销售新模式。目前,NineData 客户已覆盖制造业、地产、金融科技、云厂商等行业,持续为客户提供极具竞争力的解决方案,帮助不同行业的客户更好地达成业务目标。▋ 玖章算术创始人&CEO叶正盛表示:“随着数字化时代的加速推进,企业已经逐渐意识到多云数据管理的重要性。NineData 将以华为云平台为底座,与行业领先者同行,帮助客户不断提升技术团队的开发效率,高效利用多云基础设施与数据安全。”近日,一家以安全著称的国际知名豪华汽车制造商,在全面使用云计算加速企业数字化、智能化转型,该企业使用了华为云数据库、玖章算术 NineData 提供的完整的云端数据库方案,华为云数据库提供了自主创新、高性能、稳定的云数据库能力,NineData 则向用户提供了稳定、高效的数据库 SQL 开发平台,共同帮助企业实现更加高效的业务流程。关于NineDataNineData SQL 开发是一款支持多云、多源数据库的强大工具。面向企业,NineData 提供了高效安全的 SQL 审核、数据库规范、敏感数据保护、定时发布等能力,面向开发者提供 SQL开发窗口、可视化表结构设计和数据导入导出等功能,NineData 还基于内置的 Al,基于自然语言的SQL服务,提升72%的SQL开发效率;智能化SQL优化,提升企业系统的稳定性;通过自然语音对话查询数据,可以向企业提供了更加广泛、高效的数据访问服务。同时,NineData 同时还提供数据复制、数据对比、数据备份等功能,支持 MySQL、ClickHouse、PolarDB、GaussDB、Redis、SQL Server、Kafka、ElasticSearch 等多种数据源管理,可以帮助企业实现平滑的数据上云、跨云迁移、ETL 等需求。NineData X 华为云未来,NineData 将与华为云深度合作,基于合作创新与能力共享的联营联运新模式,共同为企业提供更加全面、高效、智能的数据管理服务,帮助企业更好地应对数字化转型的挑战,让每个人用好数据和云。
-
1.gaussdb云数据库的可用区id从那块可以看到
-
本人使用gaussDB主备式方案,在数据库中执行 ` select pg_encoding_to_char(collencoding) as encoding,collname,collcollate,collctype from pg_collation where encoding='SQL_ASCII';` 可以得到但是使用binary 创建数据库`create database "test" WITH OWNER="root" ENCODING='SQL_ASCII' LC_COLLATE='binary' LC_CTYPE='binary' CONNECTION LIMIT=-1 TEMPLATE template0`却得到了 ERROR: invalid locale name: "binary" 问题请问这是为什么
-
接上篇 【FAQ合集贴】GaussDB "常见问题" 及 "解决方案"(1 —— 30)cid:link_0接上篇 【FAQ合集贴】GaussDB "常见问题" 及 "解决方案"(31 —— 40)cid:link_1接上篇 【FAQ合集贴】GaussDB "常见问题" 及 "解决方案"(41 —— 50)cid:link_251. 高斯数据库varchar能兼容中文吗?create table t (name varchar(1)); insert into t values('a'); insert into t values('中');答:postgres中:字符集是UTF8,varchar中文和字符数字一样占用1个字符 但是GaussDB不一样,Gaussdb中,中文占3个字符,英文占1个字符。 因此,可以修改下数据类型,使用nvarchar2来代替高斯数据库报错怎么处理 错误为:duplicate key value violates unique constraint "pk_p"答:不要在一个事务里DELETE + insert同一条记录 ,直接用insert on duplicate do nothingGaussDB删除存储过程的的语法是啥?答:语法格式DROP PROCEDURE [ IF EXISTS ] [schema_name.]procedure_name;参数说明IF EXISTS 使用IF EXISTS时,如果要删除的存储过程不存在,删除操作能够执行成功,不会报错。schema_name 存储过程所有者。procedure_name 要删除的存储过程的名称。示例:DROP PROCEDURE IF EXISTS p_no_param;高斯支持gin索引不答:astore支持gin索引,ustore目前只支持btree索引GIN(Generalized Inverted Index)通用倒排索引。设计为处理索引项为组合值的情况,查询时需要通过索引搜索出出现在组合值中的特定元素值。例如,文档是由多个单词组成,需要查询出文档中包含的特定单词。 使用item表示索引的组合值,key表示一个元素值。GIN用来存储和搜索key,而不是item。 GIN索引存储一系列(key,posting list)键值对,这里的posting list是一组出现key的行ID。由于每个item都可能包含多个key,同一个行ID可能会出现在多个posting list中,而每个key值只被存储一次,所以在相同的key在item中出现多次的情况下,GIN索引是非常简洁的。 因为GIN索引的访问方式不需要了解他的运行方式,所以GIN索引是通用的。GIN索引使用为特殊数据类型定义的策略。策略定义了如何从索引选项和查询条件中抽出key,以及如何确定在查询中包含某些key值的行是否实际满足查询条件。 官方文档:cid:link_3opengauss支不支持逻辑复制槽failover答:gaussdb 是支持逻辑复制槽failover,但是物理复制槽好像是不支持的。 openGauss除了流复制主备双机外,还支持逻辑复制。在逻辑复制中把主库称为源端库,备库称为目标端数据库。源端数据库根据预先指定好的逻辑解析规则对WAL文件进行解析,把DML操作解析成一定的格式的逻辑日志(例如可以解析成标准SQL语句)。源端数据库把逻辑日志发给目标端数据库,目标端数据库收到后进行回放,从而实现数据同步。逻辑复制只有DML操作。逻辑复制可以实现跨版本复制、异构数据库复制、双写数据库复制、表级别复制等。
-
数字经济时代下,数据成为继土地、劳动力、资本、技术四大生产要素之后的第五大生产要素。如何更好管理数据,对企业尤为关键,ERP这一管理信息化的核心系统也愈发受到重视。而作为企业OTC(订单到回款)业务流中的“最后一站”,“收入成本”产品既承担着海量数据的汇入,又处于库存交易和交易核算的数据流中转,因而收入成本想要与海量数据打交道,必然需要一个“大容量”的数据库作为底层支撑。日前,华为宣布实现自主创新的MetaERP研发,完成对旧ERP系统的替换,目前已覆盖了华为公司100%的业务场景和80%的业务量。其中,基于华为云GaussDB,MetaERP构建了“收入成本”产品,进行收入成本集中管理,高效支撑了华为公司运营商业务、企业业务、终端业务、智能汽车解决方案业务、华为云计算、数字能源等多种业务的统一、实时收入成本核算。01 “收入成本”产品面临亿级数据量难题ERP作为华为企业经营最核心的系统,伴随着华为20多年的快速发展,支撑了每年数千亿产值的业务以及全球170+国家业务高效经营。因而,想要实现MetaERP的替换,就必须面对华为极度复杂的业务、巨大的账本业务量,以及千万级流量洪峰。其中,收入成本确认核算单总数据量为66.24亿。面对如此大的数据量,如何保证业务系统零故障、零延时、零调账是MetaERP收入成本产品团队的最大难题。“这是因为‘收入成本’产品的使用特殊性。一般每月月底最后一天,业务都会进行冲刺,在最后1个小时极有可能出现100W+的收入成本核算行。此前基于旧ERP系统,业务处理完100W的收入成本核算单预计需要8小时左右,如果当晚18点之后才处理完成,相应的收入核算只能计入到下一个会计期,从而导致关账不及时,影响财务报表出具的及时性和准确性。”产品团队解释道。亿级数据量、瞬时百万级峰值,这让MetaERP的替换攻坚难度陡增,也对数据库这一“收入成本”产品底层技术支撑的容量和可用性提出了更高要求。02 GaussDB按需弹性扩展,包容海量数据面对如此高要求,什么样的数据库能够完美胜任?开源的MySQL或PG数据库在数据量达到2.4TB后,一定几率会出现IO瓶颈导致业务性能下降;并且2.4TB数据量后高概率无法在业务低峰期完成全量备份,导致全量备份失败并进一步抢占业务IO;这些问题和限制都无法满足华为ERP业务的诉求。当时团队面临两个选择:第一个选择,由应用自己做分库分表,但是ERP因为其特殊性,可能有不少跨数据库的操作,比如数据归集或者合并等等。这些请求如果是通过分库分表来做,会非常复杂;另一个选择是找到一个功能强大的原生分布式数据库,既能满足业务场景,又能满足安全可信的要求。而华为云GaussDB就是那个选择。基于此,研发团队选择了GaussDB, GaussDB也用其硬核实力很好回应了MetaERP“收入成本”产品构建的技术要求。具体而言,GaussDB单库容量可达24TB,一方面轻松支撑ERP系统的存储需求,另一方面采用缓冲区淘汰算法、并行逻辑复制(突破300MB/s)等技术,确保大容量下性能表现依旧稳定强劲;基于备机快照备份,实现永久增量备份,解决备份抢占业务IO痛点问题;并且可以根据业务压力动态伸缩读节点,读吞吐量提升2倍,主/读节点间数据同步秒级时延,轻松应对ERP月底、年底冲刺期间亿级数据量、瞬时百万级峰值的并发访问压力,足以支撑华为ERP超过200+子公司的业务体量。有了GaussDB的强力加持,MetaERP成功构建了“收入成本”产品,稳定支撑华为公司运营商业务、企业业务、终端业务、智能汽车解决方案业务、华为云计算、数字能源等多种业务的实时收入成本核算。同时,MetaERP“收入成本”产品通过将收入核算、成本核算统一解耦到“收入成本”产品进行集中管理,实现核算规则的抽象和标准化,核算入口支持灵活可配,并已在华为公司中国区、海外切换中得到了充分实践验证。值得一提的是,在本次MetaERP系统迁移中,华为云GaussDB从老ERP系统完整迁移和装载了超过168TB (ERP)的数据,为上层业务实现无感和可靠切换提供了最基础的数据保障。如今,GaussDB已全面支撑MetaERP,上线包括收入成本在内的9大核心产品,实现稳定运行无问题,端到端业务效率10倍提升。事实上,在MetaERP这场被称为“强渡大渡河”的3年技术突破中,华为云GaussDB作为智能数据底座,在成功支撑华为集团新MetaERP系统实现全栈自主创新的同时,更依靠其“高性能、高可用、高安全”的技术特性,全面支持华为业务需求快速响应、经营决策科学高效、应用数据安全可信。面向未来,华为云GaussDB也将持续技术创新,用技术力量提升企业服务质量、效率、体验,保障企业业务稳定运行。
-
1、目前集群3节点状态都正常2、也没有处于锁状态3、集群暂无磁盘满的告警,而且查看了3个节点的磁盘使用情况,目前只有一个节点上media文件夹满4、【补充信息】目前DDL操作一直报“cannot execute *** in a read-only transaction”。还请各位大神抽空帮忙看看指点一下解决办法
yd_266440722
发表于2023-05-23 11:29:59
2023-05-23 11:29:59
最后回复
yd_266440722
2023-05-24 11:24:46
249 10 -
近日,华为联合新意科技、掌数科技在华为东莞松山湖基地共同举办了“证券、基金行业DBA走进华为——GaussDB赋能培训”活动。本次培训有近30家证券、基金等行业机构的DBA积极参与,旨在分享华为自身GaussDB数据库经验,帮助客户用好数据库,与伙伴建立深度合作,共同打造数据库生态,推动国产数据库在企业落地。共建数据库生态,DBA是推动数据库行业发展的关键华为云数据库服务产品部部长苏光牛在开班典礼上致辞表示:华为公司必须做数据库,而且要坚定不移地做下去。今年华为公司继续加大数据库研发投入,攻克数据库中的重难点。DBA是企业能否突破数据库局限的关键,加强DBA人才的培养力度,打造GaussDB数据库生态,让GaussDB数据库成为世界最优选。华为云全球生态部软件伙伴发展部总经理李欣表示:DBA是一群真正懂数据库、且有能力推动数据库行业发展的人。华为在国产数据库领域长期努力已经取得了一定成果,希望大家通过本次培训提升使用GaussDB数据库的技术与能力,成为华为云GaussDB开发者、专家和DBA,一起推动数据库产业发展。本次培训联合主办单位掌数科技总经理刘建,代表新意科技和掌数科技两家公司共同致辞,表达了掌数科技、新意科技与GaussDB、行业客户共同发展的愿景。同时,结合自己在数据库行业21年的从业经验,分享DBA成长发展、理论结合实践以及学习长期主义的重要性。GaussDB数据库势不可挡,学员学习热情高涨 数据库是连接上层应用和底层基础资源的重要纽带,也是国家“核高基”项目重点攻关的领域之一。GaussDB结合华为在数据库领域长期的技术沉淀和业界独有的软硬件全栈能力,持续聚焦技术创新,与行业TOP ISV强强联合,共同服务行业客户,打造坚实数据底座。本次培训讲师由数十位华为云GaussDB数据库专家组成,通过体系化的GaussDB课程设计,围绕DBA日常实际应用场景,结合华为集团质量与流程IT部的成功经验,帮助客户DBA学好、用好GaussDB!三天的培训课程干货满满,学员们学习热情高涨,与讲师积极互动,不断碰撞出思维的火花,培训结束后主动加入GaussDB开发者认证,持续提升DBA核心竞争力。此外,结班仪式上还举行了颁奖,为优秀学员颁发证书,纪念此次难忘的学习之旅,为期三天的培训在轻松愉悦的松山湖园区游览中圆满落幕。华为与伙伴共建数据库繁荣生态,持续体系化赋能行业DBA 数据库是需要长期投入的产业,技术创新是立足之本,生态构建是繁荣的关键。随着云计算、人工智能、大数据等技术的蓬勃发展,数据库及DBA也将迎来了更多的机遇。在数据库生态建设方面,华为通过产学研用深度融合,联合伙伴、高校一起推动数据库人才培养,保障客户及华为自身业务发展的人才供给。华为将继续联合更多像掌数科技、新意科技等这样的合作伙伴举办此类培训,持续为行业客户培养GaussDB专业人才,为客户在GaussDB的方案构建、项目应用等方面提供坚实的保障。生态是数据库竞争的终极战场,华为云GaussDB携手DBA和生态伙伴,持续打造领先的技术和服务,助力行业数字化转型,共创数据库生态繁荣。
-
近日,华为联合新意科技、掌数科技在华为东莞松山湖基地共同举办了“证券、基金行业DBA走进华为——GaussDB赋能培训”活动。本次培训有近30家证券、基金等行业机构的DBA积极参与,旨在分享华为自身GaussDB数据库经验,帮助客户用好数据库,与伙伴建立深度合作,共同打造数据库生态,推动国产数据库在企业落地。共建数据库生态,DBA是推动数据库行业发展的关键华为云数据库服务产品部部长苏光牛在开班典礼上致辞表示:华为公司必须做数据库,而且要坚定不移地做下去。今年华为公司继续加大数据库研发投入,攻克数据库中的重难点。DBA是企业能否突破数据库局限的关键,加强DBA人才的培养力度,打造GaussDB数据库生态,让GaussDB数据库成为世界最优选。华为云全球生态部软件伙伴发展部总经理李欣表示:DBA是一群真正懂数据库、且有能力推动数据库行业发展的人。华为在国产数据库领域长期努力已经取得了一定成果,希望大家通过本次培训提升使用GaussDB数据库的技术与能力,成为华为云GaussDB开发者、专家和DBA,一起推动数据库产业发展。本次培训联合主办单位掌数科技总经理刘建,代表新意科技和掌数科技两家公司共同致辞,表达了掌数科技、新意科技与GaussDB、行业客户共同发展的愿景。同时,结合自己在数据库行业21年的从业经验,分享DBA成长发展、理论结合实践以及学习长期主义的重要性。GaussDB数据库势不可挡,学员学习热情高涨 数据库是连接上层应用和底层基础资源的重要纽带,也是国家“核高基”项目重点攻关的领域之一。GaussDB结合华为在数据库领域长期的技术沉淀和业界独有的软硬件全栈能力,持续聚焦技术创新,与行业TOP ISV强强联合,共同服务行业客户,打造坚实数据底座。本次培训讲师由数十位华为云GaussDB数据库专家组成,通过体系化的GaussDB课程设计,围绕DBA日常实际应用场景,结合华为集团质量与流程IT部的成功经验,帮助客户DBA学好、用好GaussDB!三天的培训课程干货满满,学员们学习热情高涨,与讲师积极互动,不断碰撞出思维的火花,培训结束后主动加入GaussDB开发者认证,持续提升DBA核心竞争力。此外,结班仪式上还举行了颁奖,为优秀学员颁发证书,纪念此次难忘的学习之旅,为期三天的培训在轻松愉悦的松山湖园区游览中圆满落幕。华为与伙伴共建数据库繁荣生态,持续体系化赋能行业DBA 数据库是需要长期投入的产业,技术创新是立足之本,生态构建是繁荣的关键。随着云计算、人工智能、大数据等技术的蓬勃发展,数据库及DBA也将迎来了更多的机遇。在数据库生态建设方面,华为通过产学研用深度融合,联合伙伴、高校一起推动数据库人才培养,保障客户及华为自身业务发展的人才供给。华为将继续联合更多像掌数科技、新意科技等这样的合作伙伴举办此类培训,持续为行业客户培养GaussDB专业人才,为客户在GaussDB的方案构建、项目应用等方面提供坚实的保障。生态是数据库竞争的终极战场,华为云GaussDB携手DBA和生态伙伴,持续打造领先的技术和服务,助力行业数字化转型,共创数据库生态繁荣。
-
最近看到一篇《我说MySQL每张表最好不要超过2000万数据,面试官让我回去等通知》的文章,非常有趣。文中提到,他朋友在面试的过程中说,自己的工作就是把用户操作信息存到MySQL里,因为数据量超大(5000万条左右),需要每天定时生成3张表,然后将数据取模分别存到这三张表里。下面是两人的对话:面试后续暂且不论,不过,互联网江湖上的确流传着一个说法:单表数据量超过500万行时就要进行分表分库,已经超过2000万行时MySQL的性能就会急剧下降。那么,MySQL一张表最多能存多少数据?今天我们就从技术层面剖析一下,MySQL单表数据不能过大的根本原因是什么?猜想一:是索引深度吗?很多人认为:数据量超过500万行或2000万行时,引起B+tree的高度增加,延长了索引的搜索路径,进而导致了性能下降。事实果真如此吗?我们先理一下关系,MySQL采用了索引组织表的形式组织数据,叶子节点存储数据,非叶子节点存储主键与页面号的映射关系。若用户的主键长度是8字节时,MySQL中页面偏移占4个字节,在非叶子节点的时候实际上是8+4=12个字节,12个字节表示一个页面的映射关系。MySQL默认是16K的页面,抛开它的配置header,大概就是15K,因此,非叶子节点的索引页面可放15*1024/12=1280条数据,按照每行1K计算,每个叶子节点可以存15条数据。同理,三层就是15*1280*1280=24576000条数据。只有数据量达到24576000条时,深度才会增加为4,所以,索引深度没有那么容易增加,详细数据可参考下表:索引深度最大数据量(行数)115219200 (15*1280)324576000 (15*1280*1280)431457280000 (15*1280*1280*1280)搜索路径延长导致性能下降的说法,与当时的机械硬盘和内存条件不无关系。之前机械硬盘的IOPS在100左右,而现在普遍使用的SSD的IOPS已经过万,之前的内存最大几十G,现在服务器内存最大可达到TB级。因此,即使深度增加,以目前的硬件资源,IO也不会成为限制MySQL单表数据量的根本性因素。那么,限制MySQL单表不能过大的根本性因素是什么?猜想二:是SMO无法并发吗?我们可以尝试从MySQL所采用的存储引擎InnoDB本身来探究一下。大家知道InnoDB引擎使用的是索引组织表,它是通过索引来组织数据的,而它采用B+tree作为索引的数据结构。B+Tree操作非原子,所以当一个线程做结构调整(SMO,Struction-Modification-Operation)时一般会涉及多个节点的改动。SMO动作过程中,此时若有另一个线程进来可能会访问到错误的B+Tree结构,InnoDB为了解决这个问题采用了乐观锁和悲观锁的并发控制协议。InnoDB对于叶子节点的修改操作如下:方式一,先采用乐观锁的方式尝试进行修改对根节点加S锁(shared lock,叫共享锁,也称读锁),依次对非叶子节点加S锁。如果叶子节点的修改不会引起B+Tree结构变动,如分裂、合并等操作,那么只需要对叶子节点进行加X锁(exclusive lock,叫排他锁,也称为写锁)即可完成修改。如下图中所示 :方式二,采用悲观锁的方式如果对叶子结点的修改会触发SMO,那么会采用悲观锁的方式。采用悲观锁,需要重新遍历B+Tree,对根节点加全局SX锁(SX锁是行锁),然后从根节点到叶子节点可能修改的节点加X锁。在整个SMO过程中,根节点始终持有SX锁(SX锁表示有意向修改这个保护的范围,SX锁与SX锁、X锁冲突,与S锁不冲突),此时其他的SMO则需要等待。因此,InnoDB对于简单的主键查询比较快,因为数据都存储在叶子节点中,但对于数据量大且改操作比较多的TP型业务,并发会有很严重的瓶颈问题。在对叶子节点的修改操作中,InnoDB可以实现较好的1与1、1与2的并发,但是无法解决2的并发。因为在方式2中,根节点始终持有SX锁,必须串行执行,等待上一个SMO操作完成。这样在具有大量的SMO操作时,InnoDB的B+Tree实现就会出现很严重的性能瓶颈。解决方案目前业界有一个更好的方案B-Link Tree,与B+Tree相比,B-Link Tree优化了B+Tree结构调整时的锁粒度,只需要逐层加锁,无需对root节点加全局锁。因此,可以做到在SMO过程中写操作的并发执行,保持高并发下性能的稳定。B-Link Tree主要改进点有2个:1.中间节点增加link指针,指向右兄弟节点;2.每个节点内增加字段high key,存储该节点中最大的key值。新增的link指针是为了解决SMO过程中并发写的问题,在SMO过程中,B-Link Tree对修改节点逐层加锁,修改完一层即可放锁,然后去加上一层节点的锁继续修改。这样在InnoDB引擎中被SMO阻塞的写操作可以有机会在SMO操作过程中并发进行。如下图所示,在节点2分裂为节点2和4的过程中,只需要在最后一步将父节点1指向新节点4时,对父节点1加锁,其他操作均无需对父节点加锁,更无需对root节点加锁,因此,大大提升了SMO过程中写操作的并发度。由此可见,与B+Tree全局加锁对比,B-Link Tree在高并发操作下的性能是显著优于B+Tree的。GaussDB当前采用的就是B-Link Tree索引数据结构。InnoDB的索引组织表更容易触发SMO索引组织表的叶子节点,存储主键以及应对行的数据,InnoDB默认页面为16K,若每行数据的大小为1000字节,每个叶子节点仅能存储16行数据。在索引组织表中,当叶子节点的扇出值过低时,SMO的触发将更加频繁,进而放大了SMO无法并发写的缺陷。目前业界有一个堆组织表的数据组织方案,也是华为云数据库GaussDB采用的方案。它的叶子节点存储索引键以及对应的行指针(所在的页面编号及页内偏移),堆组织表叶子节点可以存更多的数据,分析可得在同样的数据量与业务并发量下,堆组织表会比索引组织表发生SMO概率低许多。性能对比 在8U32G的两台服务器分别搭建了MySQL(B+Tree和索引组织表)与GaussDB(B-Link Tree和堆组织表)的环境,进行了如下性能验证:实验场景:在基础表的场景上,测试增量随机插入性能。1.基础表总大小10G,包含主键随机分布的1000w行数据,每行数据1k;2.插入主键随机分布的1000w行数据,每行数据大小1k,测试并发插入性能。结论:随着并发数的上升,GaussDB能稳步提升系统的TPS,而MySQL并发数的提高并不能带来TPS的显著提升。综上所述,MySQL无法支持大数据量下并发修改的根本原因,是由于其索引并发控制协议的缺陷造成的,而MySQL选择索引组织表,又放大了这一缺陷。所以,开源MySQL数据库更适用于主键查询为主的简单业务场景,如互联网类应用,对于复杂的商业场景限制比较明显。相比之下 ,采用B-Link Tree和堆组织表的GaussDB数据库在性能和场景应用方面更胜一筹。
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新,构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间,华为云展示了Serverless与MCP融合创新的解决方案,本期访谈直播,由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持,华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中,探讨处理器生态的关键要素及其联系,分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源,3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源,3步轻松管理成本,帮助提升日常管理效率!
回顾中
热门标签