• [技术干货] 全量通过!华为云GaussDB首批完成信通院全密态数据库评测
    100%全量通过!基于全栈创新计算架构的全密态数据库华为云GaussDB,完成了中国信通院组织的首批“全密态数据库”产品能力评测,标志着GaussDB可以为用户数据提供全生命周期的安全能力,突破数据库密态计算领域挑战,实现全面创新。该评测依据《大数据 全密态数据库技术要求》进行,对标准中所有的四个能力域共计三十个能力项进行测试,全周期数据密态、密态数据处理、加密算法与密钥管理、以及数据库基本能力等。此次参与评测的GaussDB 是华为重磅打造的企业级原生分布式关系型数据库,在传统企业级安全能力基础上开拓进取,针对价值数据的机密性保护这一挑战,不断突破软硬融合密态数据处理、可搜索加密等根技术,成为一款易开发、全功能、高性能的全密态数据库。结合全栈创新计算架构的优势,实现数据加密场景下的全SQL功能支持;突破硬件可信计算资源调度技术,实现基于可信执行区算子级隔离防护技术;深度打磨端侧驱动密文处理引擎,实现全流程加密的业务“零”改造;基于高强度密码学防护,实现数据网络传输、查询处理、云上存储全流程安全。架构创新:全栈创新计算架构华为云GaussDB基于鲲鹏芯片,EulerOS(欧拉服务器操作系统) 和 iTrustee (华为可信执行环境操作系统)安全系统等全栈创新计算架构,构建了全密态数据库能力。通过软硬件的垂直整合,GaussDB全密态已经具备良好的功能、性能、安全等表现。基于鲲鹏芯片提供的安全执行环境,可以让任何第三方都看不到明文数据,让用户真正放心的将数据存放在数据库中;通过与EurlerOS、iTrustee协同构建的内存零切换技术,实现了数据库与TEE的快速交互,可以大幅提升数据在密文状态下的处理性能。软硬融合全密态解决方案华为云GaussDB支持软硬两种密态模式,并具备软硬融合全密态处理能力。结合了密态查询与TEE机密计算各自的优缺点,能够支持多场景下的应用,包括公有云、混合云等模式,并实现数据全流程加密对开发者接入的透明无感知。在硬件模式下,GaussDB支持多硬件平台能力,且针对华为创新研发的鲲鹏TEE进行了深度优化;实现了最小粒度的隔离级别,将攻击面最小化,并通过一系列的密钥安全保障机制,包括密钥管理体系、可信传输通道、会话级密钥管理机制,提升了硬件环境中的数据及密钥安全。在无法进行TEE解密的场景下,GaussDB也能够支持软件模式的密态查询能力,通过对多种密码学算法的深度性能优化,构建出不同的密态查询引擎,以完成不同的检索和计算功能,实现数据等值查询、范围查询、模糊查询等能力。高度安全:高强度的密钥体系,保障用户密钥安全整个密态数据库解决方案中除数据本身具有敏感性质外,最为敏感的信息就是数据加解密密钥,一旦密钥泄露,将给用户数据带来严重风险。特别是在硬件模式下,密钥需离开用户侧,传输到云侧可信硬件环境中,其安全保护至关重要。GaussDB通过实现三层密钥体系,让各层密钥各司其职,真正做到密钥高强度的安全保护。GaussDB 三层高强度密钥体系,第一层数据密钥,可以针对不同的字段将采用不同的密钥;第二层用户密钥,实现了用户之间的加密隔离,用户密钥永远不会离开用户可信环境,因而包括管理员在内的其他用户,都无法解密明文数据。第三层设备密钥,实现了设备之间的加密隔离,大大提升整体安全性。不仅如此,在硬件模式下,需要将字段级密钥传输给硬件TEE使用。GaussDB在该场景下采取了更高强度的保护措施:采用了基于TEE内置密钥的高安全协议,可以构建用户侧与TEE之间的可信通道,保证密钥安全可信的加密传输,防止中间人攻击;其次,密钥不会以任何形式离开TEE,会话结束将立刻删除,以最小化数据密钥生命周期,防止因硬件漏洞或异常情况引起的密钥泄露。关于华为云GaussDBGaussDB融合了华为在数据库领域16年多的耕耘经验与战略投入成果,是基于分布式理论打造的行业领先的原生分布式关系型数据库,采用行业先进的全并行分布式架构,有应对海量并发事务处理与复杂查询混合负载的能力;还有同城跨AZ、两地三中心、数据0丢失等多种高可用方案,出色的金融级高可用商用能力全方面满足金融级监管要求。当前,华为云GaussDB已在2500+大客户中规模商用,覆盖金融、政府、电信、能源、交通、物流、电商等各行各业。随着企业数字化转型进入深水区,未来企业对数据库的要求会不断增长,华为云数据库将矢志创新,历久弥坚,汇聚更多数据库产业力量,持续打造企业核心业务云化的智能数据底座,助推更多企业数字化升级。
  • [运维管理] 【执行报错】The authentication type 10 is not supported
    【报错现象】用户使用开源jdbc连接Gauss(DWS)数据库,报The authentication type 10 is not supported. Check that you have configured the pg_hba.conf file to include the client's IP address or subnet, and that it is using an authentication scheme supported by the driver.​【问题根因】客户设置数据库服务器的密码加密策略为sha256,开源odbc不支持使用sha256的方式进行密码加密。【原理说明】password_encryption_type密码存储格式支持驱动2sha256******必须使用gauss驱动1sha256******md5******gauss驱动(用sha256)或开源驱动(用md5)都可0md5******gauss驱动或开源驱动都可,都用md5password_encryption_type设置为2时,仅支持使用sha256方式对密码进行加密,必须使用gauss的驱动。使用sha256方式对密码进行加密存储,是当前业界比较安全的策略。推荐使用这种方式。password_encryption_type设置为1时,把sha256和md5两种加密的密码同时存储,使用何种方式校验密码取决于客户选择的驱动。gauss驱动使用sha256方式,开源驱动使用md5方式。password_encryption_type设置为0时,仅支持使用md5方式对密码进行加密,使用gauss驱动和开源驱动都可以。md5加密方式容易被破解,不建议使用。【推荐方案】在数据库端将password_encryption_type设置为2,全部使用gauss驱动。
  • [运维管理] 【执行报错】none of the server's SASL authentication mechanisms are supported
    【报错现象】用户使用开源odbc连接Gauss(DWS)数据库,报none of the server's SASL authentication mechanisms are supported【问题根因】客户设置数据库服务器的密码加密策略为sha256,开源odbc不支持使用sha256的方式进行密码加密。【原理说明】password_encryption_type密码存储格式支持驱动2sha256******必须使用gauss驱动1sha256******md5******gauss驱动(用sha256)或开源驱动(用md5)都可0md5******gauss驱动或开源驱动都可,都用md5password_encryption_type设置为2时,仅支持使用sha256方式对密码进行加密,必须使用gauss的驱动。使用sha256方式对密码进行加密存储,是当前业界比较安全的策略。推荐使用这种方式。password_encryption_type设置为1时,把sha256和md5两种加密的密码同时存储,使用何种方式校验密码取决于客户选择的驱动。gauss驱动使用sha256方式,开源驱动使用md5方式。password_encryption_type设置为0时,仅支持使用md5方式对密码进行加密,使用gauss驱动和开源驱动都可以。md5加密方式容易被破解,不建议使用。【推荐方案】在数据库端将password_encryption_type设置为2,全部使用gauss驱动。
  • [技术干货] 全面数字化时代,国有大型银行如何走好金融创新之路?
    近些年来,金融行业数字化转型不断推进,可以看到,金融业务线上化、服务场景生态化成为当前金融业发展的新常态,金融服务链开始与各行业社会服务链产生深度的融合和交织,金融业务的多元和复杂,让金融应用系统面临处理海量数据、超高并发、超高峰值等一系列挑战。在金融创新压力下,传统集中式数据库的短板逐渐凸显出来,比如弹性伸缩能力缺乏、安全可控水平不高、灾备能力不足等等,基于传统集中式数据库构建的信息系统也因此面临着较大的不确定性风险,越来越难以适应金融行业快速发展滋生的更多需求,唯有加速核心系统的升级和转型,将应用迁移到更具有可持续演进支撑能力的数据库上,才能解决根本问题。携手共创大胆实践,蹚出转型新路某国有银行是中国最大的商业银行之一。早在2014年,我们就开始和该行进行联创,一起深入洞察金融科技发展趋势和金融业务创新需求,积极开展分布式数据库联合创新和应用创新,在实践过程中积累了非常多的实战经验,并且初步形成了以GaussDB分布式数据库为基础的金融级数据库转型解决方案。2019年以来,该行陆续将GaussDB引入到实物贵金属、中间业务系统等三十多个业务系统中上线,覆盖了各类典型业务场景,比如办公系统、一般业务系统、关键业务系统,初步形成了一套涵盖主要商用交易型数据库的转型方案。2022年,双方再度联合,在全球信贷大型业务系统传统集中式数据库转型领域持续开展技术攻关,形成一整套系统性的技术资产和解决方案,不仅开拓了传统集中式数据库转型工作的新思路、新方法,也为金融行业提供了低成本、高效可控的重要转型借鉴。云化升级,如何精准施策?合作前期,我们的团队成员深入银行实际业务场景,和客户展开了持续多轮的沟通和研讨,一起深刻洞察银行的业务发展现状和系统瓶颈,结合未来长期发展规划,明确了转型诉求。结合该行的业务特性和需求,在数据库转型方案上,我们采用了分布式与集中式相结合的方式,针对不同的需求,实施不同的策略,包括金融级高可用部署、系统的应用迁移改造、数据迁移等等。整个转型方案遵循一条总体思路——对于未来有业务扩展需求的应用系统,比如敏态应用,因为分布式部署具有大容量、高并发、横向扩展的能力,可以选择去存储过程,进行分布式改造;对于未来没有业务扩展需求的应用系统,比如稳态应用,因为集中式部署能够更好地支持存储过程,不需要太多改造,可以选择在保留存储过程的基础上按需要进行迁移,最大程度降低应用改造成本。方案可以分几部分来看:高可用部署 搭好金融创新云上新基座高可用部署方案结合了该行每个发展阶段的现状,在不同的业务场景下策略也有所调整。同城双活——满足上海两个数据中心和同城部署需求。最早期,该行在上海的A地和B地部署有两个机房,而且是跨机房部署。根据这样的特点,我们上线了GaussDB同城双活方案,通过将一主三备四个副本平均分配到上海两个机房,实现同城高可用部署,RPO=0,RTO <60秒,同时将主分片节点部署在主机房,另一个机房完全做备。两地三中心——满足人行对5A级应用金融监管要求。后来,随着核心业务的陆续上线,系统需要满足人行的容灾监管要求。我们提供了GaussDB两地三中心方案,在前期同城双活方案的基础上,在异地北京增加了一个异步复制的集群,通过集群内的同步机制流式复制,不需要依赖外部组件,做到了异地RPO=10秒,RTO<10分钟。跨中心多集群部署——任何软硬件故障完全隔离。2022年,我们与该行再度联合,展开技术攻关,对标主机“两地三中心”部署架构和高可用能力,基于存算分离形成了跨中心多集群的部署方案,夯实数据库的核心承载能力。当下面对故障隔离这类问题,大多都是通过一套数据库集群拉远,不断增加数据中心的方式来提高数据库的可用性,比如从同城两中心到两地三中心,再到三地五中心,但这种方式因为只有一套整体软件(集群),即使有同城备中心,也无法做到软硬件故障的完全隔离,这种架构是无法满足主机核心业务系统可靠性要求的。   对此,GaussDB的跨中心多集群部署方案很好地满足了以上需求。该方案支持同城的两个数据中心完全部署在两套独立的数据库软件上,做到任何软硬件故障完全隔离,支持版本轮换升级、应用灰度升级,主中心升级时应用还可以访问备中心,正常开展业务,这种架构真正实现了7*24小时服务不间断,双集群下RPO=0,极致的同步性能,这是在一定成本约束下性能、可用和可靠的完美结合。应用迁移改造 巧用工具降本增效除了以上高可用部署方案,我们在该行核心系统的应用迁移改造上也形成了一整套完善的方法论。GaussDB已经有由华为云数据库和应用迁移UGO、华为云数据复制服务DRS组成的一整套自动化迁移方案,能够实现大规模数据的双向实时同步和异构数据库自动迁移,达成降本增效的目的。在语法迁移阶段,一方面,GaussDB可以兼容传统集中式数据库常用的功能和语法,而且仅需要投入极少的应用改动工作量,另一方面,UGO可以对无法直接兼容的语法进行转换,且自动迁移转换率有大幅度的提高,比如最开始在该行实践的自动迁移转换率在80%左右,但后来在信贷系统的迁移过程中,面对几千万的存储过程量,自动迁移转换率已经达到了95%。数据迁移 稳中求进使业务0风险上线除了应用的迁移,在数据迁移和业务上线上,也采用了非常稳妥的方式,力求分阶段稳中求进。比如在存量数据的迁移阶段,通过数据复制服务DRS来完成;在技术验证阶段,通过业务联机、批量双写,可切流部分查询交易,对于一些非双写的表,进行单向增量数据同步;在全功能切流阶段,通过GaussDB来承接业务日常联机和批量数据处理,通过灰度引流按试点维度(机构或客户)逐步推广,并通过DRS的反向同步能力实现了GaussDB和原数据库的快速回切。让数据发挥最大价值,引领金融创新风向标实践证明,这套方案完全契合该行核心系统的转型诉求,并且取得了非常明显的成效。现在,该行三十多个业务系统已经全数平滑搬迁到GaussDB数据库中,通过卓越的性能和跨中心多集群技术,高效支撑起全球信贷系统7*24小时服务连续性要求,同时也实践出一套非常实用的转型经验。全栈技术创新。一方面通过鲲鹏+GaussDB+欧拉的组合方式实现了全栈软硬件的技术创新,另一方面也在金融行业树立起技术标杆,为其他金融机构核心系统的转型升级提供了宝贵经验。用极低的成本高效完成迁移改造。整个迁移过程中,90%以上的对象/存储过程代码是通过自动迁移完成的,无需投入过多人力成本,而且数据在线迁移的方式确保了发生问题能够随时回切,避免了数据丢失的风险。可靠性大幅提升。改造前的信贷系统同城园区级故障RTO要达到15到30分钟,而改造后的新系统同城园区级故障RTO缩短了近10倍,相比传统的集中式数据库,这可以说是实现了质的飞跃。与该国有大行的联创实践充分验证了传统数据库向分布式数据库转型具有非常强的可行性,也为我国大型商业银行核心系统转型蹚出了一条明朗的道路。接下来,双方也将继续联动,通过技术沉淀和转型实践经验总结,识别行业共性需求,开展更深层的联合技术攻关,共建金融科技新生态。
  • 创建存储过程报错
    运行下面语句: --创建存储过程proc_staffs CREATE OR REPLACE PROCEDURE proc_staffs ( section NUMBER(6), salary_sum out NUMBER(8,2), staffs_count out INTEGER ) IS BEGIN SELECT sum(salary), count(*) INTO salary_sum, staffs_count FROM staffs where section_id = section; END; /然后报错: ERROR: subprogram body is not ended correctly at end of input有知道原因的吗?
  • [技术干货] 【云图说】第275期 云数据库GaussDB如何做到卓越性能
    云数据库GaussDB介绍页入口:产品介绍云数据库GaussDB帮助文档入口:帮助文档
  • [技术干货] 路径万千,华为云数据库选择珠峰北坡登顶,给世界一个更优选择!
    4月7日-8日,由中国DBA联盟(ACDU)和墨天轮社区联合主办的第十二届『数据技术嘉年华』(DTC 2023)在北京顺利召开。华为云数据库服务产品部副总经理庄乾锋在会上分享了当前数据库行业的发展趋势、华为云数据库战略、技术创新、生态建设和最新实践成果。庄乾锋表示,当前数据库技术蓬勃发展,分布式与云化将成为行业数字化转型的关键技术高地。分布式数据库具备大集群规模、弹性伸缩、自治等特性,云服务天然具备即开即用、部署简单、低成本等优势,成为越来越多企业数字化转型的首选。而且随着国际环境复杂性加剧,企业将数据安全提到了最重要的位置,迫切需要一款安全可控、持续创新的数据库产品。数据库国产化趋势加速,华为云GaussDB创新突围 数字经济时代的到来,让我国数据库市场蒸蒸日上,企业如何正确选择一款适合自身业务的数据库,是一项重要的课题。对此,庄乾锋表示:“数据库国产化替代是一项系统工程,需要有实力厂商保驾护航,选数据库本质上就是选厂商。”数据库是根技术,需要长期战略投入。华为在数据库领域专注投入超过16年,创新研发了行业领先的国产原生分布式数据库GaussDB,为客户打造企业核心业务云化的智能数据底座。在对可用性要求最为严苛的金融领域,GaussDB由单集群演进为跨中心多集群,让同城的两个数据中心可以完全部署两套独立的数据库软件,真正做到软硬件故障完全隔离、7*24小时服务不间断、双集群下RPO=0,以及极致的同步性能。性能方面,GaussDB采用了行业先进的全并行分布式架构,支持1000+超大分布式集群和PB级海量存储,具备应对海量并发事务处理与复杂查询混合负载的能力。安全方面,GaussDB做到了数据从传输、计算到存储的全流程加密,能够保护数据全生命周期的安全。2022年,GaussDB拿下中国首个数据库领域国际最高级别CC EAL4+认证,安全技术也由纯软全密态升级为软硬结合全密态,相比其他纯硬件方案性能可提升20%。深耕云原生三大less,华为云Modeless再突破庄乾锋表示,随着数据库和云计算的不断发展,云原生数据库将成为云上数据库使用的标准范式。根据IDC的预测,到2025年,云原生数据库的市场占比将达到73.5%。进入云原生2.0时代,云原生数据库迎来三大转变,即从以资源为中心到以应用为中心、从以地域为中心到以流量为中心、从以负载为中心到以数据为中心。华为云云原生数据库围绕这三大转变,带来了全新的架构演进,可以总结为Serverless、Regionless和Modeless。Serverless 带来业务无感知的极致弹性,Regionless 突破本地限制实现全域可用,Modeless 通过一个入口带来极简体验。华为云数据库深耕云原生技术,在Modeless 方向设计了多模一体化的模型处理与转换总线,实现一个接口满足所有模型,打造了云原生多模数据库融合解决方案。在分会场,华为云NoSQL数据库架构师胡亚凡介绍道:“作为国内领先的云原生多模NoSQL数据库服务,华为云GaussDB NoSQL兼容Redis、MongoDB、InfluxDB、Cassandra四款非关系型数据库引擎。与传统NoSQL数据库产品相比,GaussDB NoSQL基于云原生存算分离架构,打造了一系列核心竞争力,在性能、可靠性、扩容、容灾、数据一致性等方面更具优势。”GaussDB(for Redis)让数据持久化永不丢失,加上全新内存数据引擎,让数据访问延迟稳定维持在亚毫秒级。GaussDB(for Mongo)具备极速计算节点添加能力,支持秒级存储扩容,支持审计日志,极速备份恢复等企业级特性。GaussDB(for Cassandra)支持超大规模集群,具备强大的索引和文本检索能力,让海量数据存得起,看得见。GaussDB(for Influx)全面兼容InfluxDB TICK生态和Flux语法,数据自动冷热分离管理,自适应的压缩算法,将数据压缩做到极致。深入实践,攻坚克难,给世界一个更优选择自己生产的降落伞自己先跳,而且要在最复杂的地方跳伞。华为数据库技术专家刘梦醒分享了华为集团内部流程IT的ERP系统改造攻坚项目。作为一场ERP界改造的世界级攻坚战,华为云GaussDB基于分布式并行执行架构提供的系列创新技术,具备分布式事务优化、读写均衡存储引擎、高可用容灾部署、极致弹性等诸多优势,在复杂业务场景下更能发挥极致性能。轻松支撑起ERP系统5倍业务压力性能保持线性,10倍压力下系统不崩溃,新的ERP系统端到端业务效率得到10倍提升。在外部,华夏银行基于华为云GaussDB重构了数据管理平台,以数字智能助推金融科技快速发展。华夏银行数据库专家王辉表示,在核心业务分布式改造中,华为云GaussDB为华夏银行提供了全方位的数据管理解决方案,从架构上解决了平台的扩展要求,提供了高可用、高扩展、高安全等企业级关键能力。华为云GaussDB提供的同城双中心能力,基于Paxos协议确保数据一致性,故障自动切换,全力保障华夏银行管理信息类等10+个系统稳定运行;同时提升资产管理类系统响应效率,大幅度缩短了查询耗时。本次改造,是华夏银行首个核心类业务系统在下移改造中数据库采用分布式架构的系统,整体性能提升1.5倍,为华夏银行更多系统的改造提供了宝贵的适配经验。当前,华为云GaussDB已在2500+大客户中规模商用,遍布金融、政府、电信、能源、交通、物流、电商等各行各业。随着企业数字化转型进入深水区,未来企业对数据库的要求会不断增长,华为云数据库将矢志创新,历久弥坚,汇聚更多数据库产业力量,持续打造企业核心业务云化的智能数据底座,助推更多企业数字化升级。
  • [运维管理] 【执行报错】 监控告警数据实例连接数超限
    【问题现象】用户监控平台收到大量连接数即将超限的告警【排查方法】1. 查询当前活跃会话视图,发现有SQL语句在连接池排队的现象。2. 查询TOPSQL看当前并发执行SQL估算内存的情况,select estimate_memory, username, now()-start_time, substr(query, 1, 100) from pgxc_wlm_session_info order by estimate_memory desc limit 10;3. 查询当前全局连接数情况select enquene, count(*) from pgxc_stat_activity group by enquene;当前全局实际使用连接数已达78004. 查询最大连接数配置参数max_connections为2048connection_alarm_rate 0.9超过最大连接数的90%即发送告警信息。5. 查询当前大量连接处于idle状态,且最长idle时间已达140天6. session_time 连接空闲超时时间为0,不进行超时限制。【紧急处理方法】CLEAN CONNECTION TO ALL FOR DATABASE postgres; --postgres为要清理的库名先清理调空闲的会话【解决方案】1. 用户将session_timeout设置为0,是因为期望flink实时入库的连接能够长时间保持,防止断连后重新建连的开销。2. 用户业务没有使用连接池,存在连接泄漏未及时关闭的情况。根据用户的实际使用情况和诉求,建议如下:1. 将session_timeout恢复为默认10min中空闲连接超时断开。2. 针对flink作业用户进行用户级的session_timeout参数设置。alter user u1 set session_timeout=0;
  • [运维管理] 【性能问题】单SQL导致CPU打满数据库执行SQL卡顿
    【问题现象】单SQL导致CPU打满数据库执行SQL卡顿【问题根因】用户写了一个超过union all的语句,生成了700个stream算子,导致CU打满。【排查方法】1. 在数据库执行卡顿的时间窗口内,从TOPSQL中查询执行时间最长的语句2. 发现语句在TOPSQL中为abort状态,total_cpu_time为0(执行成功才记录)。3. 发现该语句产生大量的stream算子。【经验总结】如何简单排查哪些语句占用CPU高?一般产生大量分布式算子的语句,通常会占用较高CPU。排查方法:SELECT username, start_time, queryid, status, (length(query_plan) - length(replace(query_plan, 'Streaming', ''))) / length('Streaming') as stream_count FROM pgxc_wlm_session_info WHERE stream_count >= 20 and start_time > '2023-3-2 10:00:00' and start_time < '2023-3-2 10:10:00' order by stream_count desc;
  • [运维管理] 【时区问题】MySQL到DWS数据迁移时间相差8小时
    【问题现象】MySQL到DWS数据迁移时间相差8小时【业务逻辑】1. 从MySQL到DWS进行数据迁移2. 将MySQL表结构迁移到DWS【问题根因】1. mysql的timestamp默认带时区,dws的timestamp默认不带时区,做数据迁移时需要关注两个产品的类型对照关系。见连接:https://support.huaweicloud.com/tg-dws/dws_16_0109.html2. 从mysql带时区,导入dws不带时区,导致时间少了8小时。【解决办法】mysql源和dws目的都带上时区即可,dws使用timestamp(3) with time zone迁移时注意两个产品的兼容性差异:https://support.huaweicloud.com/tg-dws/dws_16_0109.html
  • [运维管理] 【执行报错】CCN排队导致执行超时canceling statement due to user request
    【问题现象】ERROR: canceling statement due to user request【排查方法】1. 在CN端数据库后台日志 $GAUSSLOG/pg_log中查看都是 SELECT 'x'语句2. 在TOPSQL中排查这些select x语句的block time都在1s以上,duration也为1s说明这些语句都因为排队超时报错结束select * from pgxc_wlm_session_info where query ilike 'select ''x''%' order by start_time desc limit 20;3. 查看当前最大并发数max_active_statements为80【问题根因】问题出现期间单CN活跃会话数85,超过了单CN最大并发数限制80。【解决办法】1. 用户进行业务评估,并发量是否符合预期2. 跟进系统资源适当调整最大并发数
  • [问题求助] 使用\copy导入数据无法处理ascii为00的特殊字符
    使用\copy导入文件数据时,不管文件格式是txt还是csv,当文件中包含ascii为00的字段值时,导入就会失败,感觉会把0x00当做是字符串的结束,然后就没有读取到完整的一行数据,从而导入失败,请问这种问题有没有解决方案?
  • [技术干货] 夯实数据智能底座,华为云GaussDB给世界更优选择
    3月31日,中国数据智能管理峰会DAMS2023在上海顺利举行,华为云数据库首席架构师彭立勋和华为云数据库迁移解决方案架构师刘志俊受邀参会,并在会上分享了华为云数据库的发展战略、最新技术、优秀实践以及一站式迁移解决方案,为企业数字化转型提供一个更优选择。分布式与云原生齐发力,夯实数据智能底座在大会主会场,彭立勋表示,分布式、云原生是当前数据库发展的主要趋势,分布式和云将主导数据库市场的未来。分布式数据库具备大集群规模、弹性伸缩、云化、自治等诸多特性,正引领着数据库管理技术的发展趋势,而云原生数据库因为其具备更高的扩展性、弹性调度等能力,成为云上数据库使用的标准范式。华为云数据库首席架构师彭立勋现场发表演讲彭立勋提到,华为云自主研发的GaussDB是一款基于分布式数据库理论实现的原生分布式数据库,在复杂业务场景中表现更优异。在对数据库要求最为严苛的金融领域,GaussDB由单集群演进为跨中心多集群,真正做到软硬件故障完全隔离、7*24小时服务不间断、双集群下RPO=0。安全方面,GaussDB做到了数据从传输、计算到存储的全流程加密,能够保护数据全生命周期的安全。2022年,GaussDB更是拿下了中国首个数据库领域国际最高级别CC EAL 4+认证,安全技术也由纯软全密态升级为软硬结合全密态,相比其他纯硬件方案性能可提升20%,在安全上已全面超越国外主流数据库产品。面向云原生,彭立勋提到,华为云数据库整合华为公司全栈软硬件资源与能力,围绕Serverless、Regionless、Modeless三大方向带来全新的架构演进。Serverless带来业务无感知的极致弹性,在电商大促、游戏开合服等突发流量的场景下能发挥更大的价值。Regionless突破地域限制实现数据全域可用。Modeless统一入口带来极简体验,支持混合负载,多模兼容。一站式迁移,数据上云更轻松为了解决传统数据库在扩展性、性能等方面的挑战,金融行业正在全面进行分布式核心应用改造。但改造并非易事,在实际改造过程中,金融领域遇到无数挑战,比如语法兼容性、数据一致性、对象迁移、全量+增量迁移、上层应用改造等。华为云数据库迁移解决方案架构师刘志俊现场发表演讲刘志俊表示,为了让客户上云更轻松,华为云数据库全力打造了“GaussDB+UGO+DRS”一站式迁移解决方案,为客户数据库迁移提供了高效、低成本的上云方案。GaussDB聚焦金融政企,架构上着重构筑传统数据库的企业级能力和互联网分布式数据库的高扩展和高可用能力,全方位满足金融客户的业务诉求。UGO负责对源库进行风险和工作量评估,自动转换异构数据库语法,可节省80%的工作量;DRS负责进行源库增量日志解析,全量+增量实时迁移和同步,业务低峰期对数据进行一致性比对,确保数据0丢失,模拟业务流量进行仿真验证,全方位保障客户应用和数据迁移。华为云数据库提供的一站式上云迁移解决方案,既大幅度提升了迁移速度,又对业务无感,还节省了大量迁移成本,是企业核心业务上云的信赖之选。深入实践,助力千行百业数字化转型华为云数据库目前已在2500+中大型企业规模商用,历经金融、政企、泛互联网、游戏、电商、制造等千行百业的锤炼,锻造出了更强大的服务能力。在内部,华为集团流程IT ERP系统基于华为云GaussDB提供的系列创新技术,不仅轻松支撑起ERP系统5倍业务压力性能保持线性,10倍压力下系统不崩溃,新的ERP系统端到端业务效率得到百倍提升。华为云GaussDB还高效支撑起华为终端云服务7.3亿月活用户的日常使用、万亿级数据记录、百万级QPS,大幅提升了全球用户的使用体验。在外部,邮储银行2019年就携手华为云GaussDB启动新一代个人业务分布式核心系统的建设,而且在孵化满足金融核心系统要求的交易型数据库层面取得丰硕成果。新系统可为全行6.5亿个人客户、4万多个网点提供日均20亿笔、峰值6.7万笔/秒的交易处理能力。集结多方力量,产学研用共创未来数据库产业的发展,需要建设良好的生态。华为云数据库持续扩大伙伴生态圈,与200+合作伙伴提供有竞争力的联合解决方案。比如与掌数科技共同打造了面向证券核心业务系统的解决方案,并服务于兴业证券等客户。数据库的发展需要人才。华为紧密融合产学研用,一方面,实现对数据库技术的持续创新,同时联合教育部开展智能基座、新工科、虚拟教研室等项目,与高校共建数据库课程,联合高校教授发布GaussDB教材、教辅等,促进数据库产业未来人才培养。截止目前,华为已经和110多所高校建立合作关系,覆盖3.9W名学生。另一方面,面向从业者,我们还建立了完善的涵盖从入门级到专家级的职业认证体系,以及针对开发者的GaussDB入门级开发者培训认证,全力推进数据库人才的培养。分布式是数据库的未来,云原生是数字化的未来。华为云数据库将聚焦分布式和云原生两大技术赛道,持续注入更领先的技术,自主创新,做企业核心业务云化的智能数据底座,致力于打造世界级数据库,给世界提供一个更优选择,赋能更多行业实现数字化转型升级。
  • [技术干货] 华为云GaussDB践行数字化,护航证券保险高质量发展
    3月31日,由先进数通与华为联合开展的“7+1”系列银行业数字化转型实践交流活动北京站圆满落幕。活动汇聚金融科技先锋企业、金融行业专家和金融机构,共同探讨证券行业保险类业务场景的创新与发展。华为云数据库解决方案架构师章哲在会上围绕华为云GaussDB多年来的技术探索和应用实践进行了分享。加强数字基建,数据库核心竞争力尤为重要随着互联网、云计算、大数据等新技术的飞速发展,全球数据量和数据并发处理量呈现爆发式增长,远远超出了传统关系型数据库的处理能力。而分布式数据库能更好地应对海量存储、高并发、容灾运维等方面的需求,越来越受到金融证券保险类企业的青睐。加上近年来国际环境复杂多变,信息安全成为关系到国家安全和社会稳定的重大问题,推进国家关键基础设施的技术创新,已经上升为国家战略之一。数据库作为企业业务数据、核心数据最重要的载体,构建起核心技术竞争力,刻不容缓。华为云GaussDB积厚成势,满足企业的严苛要求章哲表示,数据库技术的创新发展,是一项系统化的工程,需要数据库厂商具备独立的技术创新能力、持续地支持运维服务的能力,需要有完善的方法论和产品生态,满足企业未来长期的业务需求。所以,选数据库本质上还是在选厂商。华为在数据库领域持续投入超过15年,汇聚全球1000多名数据库精英人才,面向政企核心业务负载打造了GaussDB企业级分布式数据库,具备完全独立的技术创新能力,着重构筑极致可用、极致性能、极致安全、极致易用的数据服务,满足集团业务连续性要求。GaussDB采用了行业先进的全并行分布式架构,支持1000+超大分布式集群和PB级海量存储,具备应对海量并发事务处理与复杂查询混合负载的能力;同城跨AZ、两地三中心部署满足金融监管,同城双集群RPO=0做到了业界领先,确保数据0丢失,带来极致高可用。在安全上,GaussDB已经做到了数据从传输、计算到存储的全流程加密,实现数据全生命周期内的安全保护,从而帮助企业彻底解决数据库云上隐私泄露及第三方信任问题,还通过了数据库领域国际CC EAL4+安全认证,是当前国内数据库在该领域获得的首个最高级别认证。张开怀抱,联合各方力量共建产业生态数据库是一个生态型的产品。章哲说,华为云GaussDB非常重视生态的建设,在产业领域,积极参与国内数据库标准体系的建设,与业界共享华为在数据库研究领域的技术实践和前沿探索;在人才培养上,联合教育部开展智能基座、新工科、虚拟实验室等项目,与高校共建数据库课程、出版书籍、开展培训认证,建立完善的人才培养体系;在伙伴领域,GaussDB也与越来越多的伙伴建立起了合作关系,为企业持续提供有竞争力的联合解决方案。聚焦客户场景,分享优秀实践经验华为云GaussDB已经在2500多大客户的核心业务中规模商用,包括工商银行、建设银行、邮政储蓄银行、交通银行等国有大行、多家股份制银行和保险证券公司,积累了非常成功的实践经验。工商银行依托华为云GaussDB数据库进行核心交易系统分布式转型,形成了以分布式数据库为基础的金融级数据库转型解决方案,实现同城园区级和Region级故障场景下RPO=0、RTO<60秒的高可用能力和异地灾备能力,还构建起整套自动化工具链,实现大规模数据的双向实时同步和异构数据库自动迁移,节省了80%的人工工作量。邮储银行2019年就携手华为云GaussDB启动新一代个人业务分布式核心系统的建设,在孵化满足金融核心系统要求的交易型数据库层面取得丰硕成果。新系统可为全行6.5亿个人客户、4万多个网点提供日均20亿笔、峰值6.7万笔/秒的交易处理能力。兴业证券基于华为云GaussDB成功打造了新一代法人清算系统。新系统支持日间实时操作与查询及日终批量作业的高可靠处理,清算总耗时降低了15%;实现RTO=0,RPO<30秒的高可用能力,最大化保障业务连续性。该实践充分验证了传统集中式数据库向分布式数据库转型的可行性,在法人清算系统领域的创新探索具有极高的推广价值。数字经济时代的到来,让我国数据库市场蒸蒸日上,如何正确选择适合企业的数据库,是一项重要的课题。章哲表示:我们主张深耕数字化,以技术创新驱动业务高质量发展。在金融数字化转型的关键时刻,华为云GaussDB将一如既往坚持投入、做好数据库,并联合更多合作伙伴及客户一起持续打磨数据库,为科技创新提供坚实数据底座。
  • [技术干货] 【FAQ合集贴】GaussDB "常见问题" 及 "解决方案"(31 —— 40)
    接上篇 【FAQ合集贴】GaussDB "常见问题" 及 "解决方案"(1 —— 30)cid:link_131. 自定义的函数,存储过程存在后台哪个目录?误删的数据怎么找回自定义的函数和存储过程在后台哪个目录里存在?我先后台修改存储过程,自定义函数怎么操作?我记忆中好像在开发手册中提到,数据delete以后是把数据的一个标识删除了,数据其实还在表里,有没有什么方法可以找回?数据库导出的数据会默认省略整数位的0。知会省略0,例如0.11导出以后就变成 .1了,导入导致各种报错。答:试下闪回功能openGauss=# SELECT * FROM tpcds.time_table TIMECAPSULE TIMESTAMP to_timestamp('2021-04-25 17:50:22.311176','YYYY-MM-DD HH24:MI:SS.FF'); idx | snaptime | snapcsn | timedesc -----+----------------------------+---------+------------------------------------------------------------------------------------------------------ 1 | 2021-04-25 17:50:05.360326 | 107322 | time1 2 | 2021-04-25 17:50:10.886848 | 107324 | time2 3 | 2021-04-25 17:50:16.12921 | 107327 | time3 (3 rows)参考:cid:link_0 这个问题是oracle兼容性。想要显示整数位的0的话,可以试下在应用里调用Java的DecimalFormat接口进行设置32. GaussDB执行报错,ERROR:timestampdiff syntas is not supported 有可替换的方法吗答:SELECT extract(year from age( '2012-04-01', '2020-01-01'))*12+extract(month from age( '2012-04-01', '2020-01-01'));33. 异地双活的数据同步,GaussDB有哪些工具可以支撑答:可以用flashSync、DBSync,类似Oracle时代的OGG方案34. GaussDB不支持conflict语法吗GaussDB不支持conflict语法吗?CREATE TABLE t1(dist_key int PRIMARY KEY, a int, b int); INSERT INTO t1 VALUES(1,2,3) ON CONFLICT(dist_key) DO UPDATE SET dist_key = EXCLUDED.dist_key, a = EXCLUDED.a + 1;答:使用ON DUPLICATE KEY UPDATE35. JDBC操作过程中,查询可以,但是新增不行在操作数据库的过程中,查询没有问题,新增会出现以下问题org.postgresql.util.PSQLException: ERROR: dn_6035_6036: relation "t_stat_sjzcgl_zysqd_sqfw" does not exist on DN dn_6035_6036表t_stat_sjzcgl_zysqd_sqfw是有存在的,通过查询是没有问题的答:库查询时需要在表名前加模式名称,就是这张表属于哪个schema(模式),不然查询时可能找不到表。36. GaussDB事务执行过程中报错uncategorized SQLException; SQL state [25P02]; error code [14310]; [10.235.217.215:59972/7.213.119.234:8000] ERROR: current transaction is aborted, commands ignored until end of transaction block, firstChar[B]答:事务中有SQL失败,导致事务aborted。 可以执行 end 把异常的事务结束掉37. 高斯数据库报错,如何解决[ConsumeMessageThread_1] ERROR OmsOrderStatusConsumer:69 - requestContextHolder.begin_error org.apache.ibatis.exceptions.PersistenceException: ### Error updating database. Cause: com.huawei.opengauss.jdbc.util.PSQLException: [X.X.X.X] ERROR: cannot execute UPDATE in a read-only transaction答:看你错误信息中的提示,应该是在使用MyBatis的过程中报的错。这个问题我之前也有遇到过情景模拟:假设你的mybatis里面创建了一个Mapper,Mapper中有2个方法,一个aMethod与bMethod,其中A调用B方法,B方法执行数据库操作,加上了@Transactional注解,但是A没有加。这样在执行时,就会报cannot execute UPDATE in a read-only transaction错误问题描述:比如有一个类Test,它的一个方法A,A再调用本类的方法B(不论方法B是用public还是private修饰),但方法A没有声明注解事务,而B方法有。则外部调用方法A之后,方法B的事务是不会起作用的。具体原因:这是由Spring AOP代理造成的,因为只有当事务方法被当前类以外的代码调用时,才会由Spring生成的代理对象来管理。解决方案:同一个类中包含事务的函数A被当前类的另一个方法B调用时,要将B方法也加上@Transactional注解即可38. 高斯表如果有 上亿数据,一般设置几个分区合适答:建议不超过100个39. openGauss有这个函数的替代吗?TO_DATE('AUG-22','MON-YY','nls_date_language = American')答:可以使用to_date(text) 40. oracle new_time函数转高斯写进SP后报错function new_time(timestamp without time zone, unknown, unknown) does not exist答:数据类型不匹配,需要指定数据类型,或者做强制转换
总条数:1518 到第
上滑加载中