• [性能调优] dws执行计划中的actual time代表什么
    如图,改造算子中的actual time的两个时间代表什么,网上有说是1、执行改算子返回第一行时间、所有行时间,如果是这样那就是说下面执行这个算子需要了24s?2、执行改算子的开始时间、结束时间,如果是这样那就是说下面执行这个算子只需要1~2s?
  • [开发应用] MRS的Flink连接DWS,报错
    DWS版本:8.1.1MRS:3.0.2Flink:1.12.0Flink读取kafka数据,sink到dws里面。程序正常运行12小时左右就报错。但是超时的参数都配置的没问题。statement_timeout=0;session_timeout=0;这俩参数都没问题。但是不知道为什么就会中断了?
  • [性能调优] 为何 DWS to_date(xxx,'yyyymmdd')关联比 cast(xxx as date) 关联效率慢
    为何 DWS to_date(xxx,'yyyymmdd')关联比 cast(xxx as date) 关联效率慢 ?关联基表数据量 2亿+,使用 to_date 转换关联运行4小时未出结果,使用 cast 则很快出结果,能给解答一下为何?
  • [知识分享] 拔掉电源会怎样?GaussDB(for Redis)双活让你有备无患
    【摘要】 GaussDB(for Redis)推出双活方案,助力全球化业务部署,为您的数据资产保驾护航!本文分享自华为云社区《华为云GaussDB(for Redis)揭秘第22期:拔掉电源会怎样?GaussDB(for Redis)双活让你有备无患》,作者: 高斯Redis官方博客。一、GaussDB(for Redis)双活方案介绍       数据库系统是业务稳定运行的基石,其重要性不言而喻。然而,现实世界存在着的如断电、火灾,甚至是更小概率的地震等突发灾害,这些不稳定因素都会威胁到公司核心业务的连续性。       华为云GaussDB(for Redis)是采用存算分离架构的企业级KV数据库,使用方式上完全兼容开源Redis,同时稳定性全面超越开源Redis,此外还提供数据高可靠存储、秒级在线扩容等企业级能力。       在上半年的故障演练中,作为需求方的某内部重要业务部门对华为云KV数据库GaussDB(for Redis)进行了一系列严苛的可靠性测试。其中就包括模拟实例级断电,评测GaussDB(for Redis)的双活容灾能力。在故障演练中,GaussDB(for Redis)顺利通过测试,满足了业务部门对RTO和RPO等指标的严格要求。GaussDB(for Redis)支持双活容灾,即在两个实例之间建立数据同步链路,其中主实例支持读写,备实例只读。适用于以下两类业务场景:       1.    灾备系统:核心业务生产环境可靠性要求高,例如金融服务等。       2.    实例级读写分离:有超高并发访问诉求,例如广告竞价、推荐系统等。       在后续规划中,GaussDB(for Redis)还将进一步支持双主实例模式,实现双主双写,敬请期待。下面让我们来深入了解GaussDB(for Redis)的双活能力。二、GaussDB(for Redis)双活原理及评估指标1) 架构解析       常见的容灾方案有以下2种:同城容灾:由于距离近,通信质量好,比较容易实现数据零丢失。一般用于防范火灾、供电故障等人为破坏引起的灾难。异地容灾:由于主备数据中心之间距离远,通常会有少量的数据丢失,而异地灾备可以防范火灾、水灾、建筑物破坏、地震、战争等可能遇到的风险隐患,保障业务的连续性。       GaussDB(for Redis)双活方案支持同城容灾和异地容灾,下图展示了其技术原理:       可以看出,与开源Redis那种简单的命令转发不同,GaussDB(for Redis)的双活方案是基于WAL日志的数据同步,原理上更类似于MySQL数据库。在双活架构中,RsyncServer进程负责数据的全量和增量同步。数据同步链路采用华为云内部高速网络,同Region内仅毫秒级延迟。       GaussDB(for Redis)的双活功能有以下企业级特性:全量同步:支持秒级快照,且不影响原有集群的正常读写,发送速度快增量同步:监听日志写入变更,实时同步最新数据,毫秒级延迟key保序:主备实例采用多线程异步并发模式发送数据,按Key保序可靠传输:利用wal日志序号的单调递增特性,实现滑窗机制确保可靠传输高效传输:日志迭代、网络发送、DB增删监听等任务采用Reactor事件管理,全流程pipeline异常重传:解决网络抖动导致的丢包或延迟现象断点续传:每个DB持久化保存其应答过的日志序号,如发生宕机、网络隔离、进程重启等情况,可从该序号位置进行续传防止回流:同步到对端流量做特殊标记,防止回流到源端2) 技术指标       从技术上看,业界衡量容灾系统有两个主要指标:RPO:最多可能丢失数据的时长。RTO:从灾难发生到整个系统恢复正常所需要的最大时长。       一般而言,容灾系统能够提供较好的RTO和RPO指标。国际通用的容灾系统的评审标准SHARE 78(7个层次、8个原则),可以作为广大用户衡量和选择容灾解决方案的指标。      目前,在大部分场景下,GaussDB(for Redis)灾备方案位于6级,即只有在极端场景下才会丢失少量数据。3) 优势总结       根据前期市场调研,有些客户的业务场景基于开源Redis搭建集群级的灾备系统,从技术原理上评估可靠性很低,违背了灾备的初衷。与之相比,GaussDB(for Redis)提供企业级可靠的双活方案,优势如下:三、GaussDB(for Redis)双活搭建步骤       登录GaussDB NoSQL控制台,您可以很方便地搭建GaussDB(for Redis)双活系统:       1.    点击“购买数据库实例”,创建2个GaussDB(for Redis)实例(主、备),建议规格保持相同。       2.    进行网络配置,详细指导:https://support.huaweicloud.com/redisug-nosql/nosql_10_0502.html       3.    选中期望的主实例,如图操作,开始搭建双活关系:       4.    在“搭建双活关系”页面,选中期望的备实例,点击确定,即开始双活系统搭建。              注意:一旦双活系统开始搭建,备实例数据将被清空,请谨慎操作。        双活关系搭建完成后,除了用于容灾之外,其备实例可提供读服务,可以有效分担主实例的读压力。四、GaussDB(for Redis)双活技术演进        当前双活方案中,备实例在运行期间仅提供读服务,如果两个数据中心能同时提供写服务,那么将极大地提高资源利用率。当灾难发生时,双活系统提供极致的RPO和RTO,从而最大程度保障业务连续性。它具有资源利用率高的特点,支持数据冲突解决等功能。目前,GaussDB(for Redis)的双活多写功能已经在开发阶段,不久之后即将上线,请大家拭目以待。五、附录本文作者:华为云数据库GaussDB(for Redis)团队杭州/西安/深圳简历投递:yuwenlong4@huawei.com更多产品信息,欢迎访问官方博客:bbs.huaweicloud.com/blogs/248875
  • [问题求助] 【医疗标准版】【DWS数据连接添加白名单】需用Navicat等工具连接dws数据库
    【功能模块】DWS数据库【操作步骤&问题现象】1、需用Navicat等工具连接dws数据库2、内网:10.110.60.178      公网:112.46.84.66【截图信息】【日志信息】(可选,上传日志内容或者附件)王斌国/18629429514/wangbinguo@chinasoftinc.com
  • [技术干货] 招商银行携手华为打造云数仓,让金融服务“想你所想”
    数字时代,海量的信息让人应接不暇。各行各业都在探索如何从庞杂的数据之中,提取深度价值,更好的为用户服务。金融行业也不例外,如何利用数字技术,为客户提供更智能便捷的金融服务,以及为用户提供更优质高效的服务体验,已成为了银行业当下热门的话题。在此背景下,招商银行携手华为,依托华为云数据仓库强大的存储、计算能力,通过对所有业务数据进行整合分析,实现精准的信息抽取、加工和分发,让金融服务“想你所想”,为用户筑起云端VIP通道。数据仓库踏上“筋斗云”伴随着客户数、交易量和业务种类的逐年增加,招商银行的数据仓库平台面临着容量、性能、安全性等方面的多重挑战,亟需一个安全高效的信息系统,来保障各业务环节的稳定运行,支撑银行整体业务的快速发展。 在此背景下,招商银行决定对原数据仓库进行云化升级,打造高性能、高可用、支持高扩展的分布式数据库,并通过全面选型,最终确定以华为云GaussDB(DWS)一站式全场景云数据仓库作为新一代平台,搭建全球首个基于华为云底座的超大规模金融核心数仓。 GaussDB(DWS)为招商银行数据仓库提供了GB-PB级的数据分析能力、多模分析和实时处理能力,有力支撑其超大数据量计算和超大并发查询场景,同时基于公有云部署形态的云数仓,支撑招商银行业务的持续升级和灵活拓展。具体来讲,招商银行云数仓构建于华为云底座之上,可以选择通过增加集群节点、增加计算节点、增加存储节点等灵活的方案实现容量和性能的快速提升,从而保障海量数据的快速、准确处理。 招商银行持续打造一朵“招行云”和两个中台(数据中台及技术中台)的开放基础架构,打破系统竖井与数据孤岛,持续沉淀企业级能力,最大化释放数据价值。踏上GaussDB(DWS)的“筋斗云”,招商银行数据应用全链路运行时长缩短15%以上,全行用数门槛进一步降低,有效支撑了“人人用数”大数据发展战略落地。此外,招商银行还与华为共同设立了联合创新实验室,不断深挖金融行业的应用场景,在备份恢复、细粒度容灾、集群间高速互联互通、快速温备等领域取得了技术突破。目前,云数仓备份速度已达150T/小时,实现了多集群的统一逻辑访问,极大提升了生产效率。金融业“云启”下一程招商银行运用金融科技对客户服务、经营模式和组织架构开展的数字化转型,除了华为云GaussDB(DWS),华为云FusionInsight MRS数据湖等性能强劲的IT基础设施,其还在网络管理过程中采用了多项华为的智能化解决方案,实现了运维管理效率的提升。例如,招商银行基于华为 iMasterNCE 自动驾驶网络管理控制系统配合 ZTP 零配置上线功能,实现了整体网络零配置上线,以及 Overlay 配置自动化下发。不仅做到业务配置的分钟级下发,将基础网络的交付从过去的两周缩短至 3 天,同时极大减轻了在资源交付阶段的压力;招行云数据中心通过引入华为 iMaster NCEFabricInsight网络智能分析器,实现基于大数据和 AI 算法的故障自动识别、智能定位和潜在风险提前预测。在数字经济的浪潮下,越来越多像招商银行一样的金融机构紧跟时代步伐,加速开展金融科技布局,通过云化转型、IT架构升级等方式提升数字化经营能力,为高质量发展积蓄新动能。在这个过程中,数字化、智能化的应用与作用也日益得到普及和凸显。7月20日至22日,第十届华为智慧金融峰会将于新加坡举办,峰会以“全联接、全智能,共建绿色数智金融”为主题,汇集全球金融行业领军人物、意见领袖、学术大咖和创新践行者,共议未来金融行业发展趋势,探寻如何共建绿色数智金融,期待您的参与和关注!
  • [性能调优] dws中sql在执行Streaming(type: REDISTRIBUTE)之前先进行HashAggregate是否能提升性能
    问题有两个一、sql在执行Streaming(type: REDISTRIBUTE)(数据重分布)之前先进行HashAggregate是否能提升性能?根据网上的说法是重分布之前自己会先HashAggregate一次减少需要重分布的数据量,这样可以提升性能,但这边很多sql在执行Streaming(type: REDISTRIBUTE)之前都没有先HashAggregate导致重分布的数据量大导致性能查。二、如果sql在执行Streaming(type: REDISTRIBUTE)前自己不先HashAggregate,那如何手动调优使sql能在在执行Streaming(type: REDISTRIBUTE)之前先进行HashAggregate一次?执行计划如下
  • [性能调优] dws中sql在执行Streaming(type: REDISTRIBUTE)之前先进行HashAggregate是否能提升性能
    问题有两个一、sql在执行Streaming(type: REDISTRIBUTE)(数据重分布)之前先进行HashAggregate是否能提升性能?根据网上的说法是重分布之前自己会先HashAggregate一次减少需要重分布的数据量,这样可以提升性能,但这边很多sql在执行Streaming(type: REDISTRIBUTE)之前都没有先HashAggregate导致重分布的数据量大导致性能查。二、如果sql在执行Streaming(type: REDISTRIBUTE)前自己不先HashAggregate,那如何手动调优使sql能在在执行Streaming(type: REDISTRIBUTE)之前先进行HashAggregate一次?执行计划如下
  • [开发应用] gaussdb如果查询所有表名及主键字段名称?或者如何查询单表的主键字段名称
    【功能模块】【操作步骤&问题现象】1、2、【截图信息】【日志信息】(可选,上传日志内容或者附件)
  • [Sql迁移] 【GaussDB 8.1.1】【Oracle的months_between函数迁移】Oracle函数迁移效率不行
    【功能模块】Oracle的months_between函数迁移,在论坛下面连接找了一个自定义函数,效率非常慢。数据量很小,77万条记录。脚本没有加上这个函数,只需要3秒钟就能跑完,加上这个函数一直跑不出来,然后等待了一次,发下花了47分钟。后面反复验证,就是这个函数的问题。因为通过单一变量原则,只要一加上这个函数,就跑不动。一去掉就是3秒钟出结果。请问下有没有其他的方式,效率没问题有的。https://bbs.huaweicloud.com/forum/forum.php?mod=viewthread&tid=122098&page=1#pid1500638CREATE OR REPLACE FUNCTION MONTHS_BETWEEN(date, date) RETURNS double precision    AS $$    SELECT   CASE    --WHEN EXTRACT(day from $1) = EXTRACT(day FROM $2) THEN   /* the two dates have the same day component */       -- EXTRACT(year FROM $1) * 12 + EXTRACT(month FROM $1) - EXTRACT(year FROM $2) * 12 - EXTRACT(month FROM $2)    WHEN (EXTRACT(day FROM $1) = EXTRACT(day FROM (date_trunc('MONTH', $1) + INTERVAL '1 MONTH - 1 day'))) and    (EXTRACT(day FROM $2) = EXTRACT(day FROM (date_trunc('MONTH', $2) + INTERVAL '1 MONTH - 1 day'))) THEN /* both the last day of the month */        EXTRACT(year FROM $1) * 12 + EXTRACT(month FROM $1) - EXTRACT(year FROM $2) * 12 - EXTRACT(month FROM $2)    when (EXTRACT(day FROM $1) = EXTRACT(day FROM (date_trunc('MONTH', $1) + INTERVAL '1 MONTH - 1 day'))) and    (EXTRACT(day FROM $2) <> EXTRACT(day FROM (date_trunc('MONTH', $2) + INTERVAL '1 MONTH - 1 day'))) then         (EXTRACT(year FROM $1)-EXTRACT(year FROM $2))*12+         EXTRACT(month FROM $1)-EXTRACT(month FROM $2)+1-EXTRACT(day FROM $2)/31    when (EXTRACT(day FROM $1) <> EXTRACT(day FROM (date_trunc('MONTH', $1) + INTERVAL '1 MONTH - 1 day'))) and    (EXTRACT(day FROM $2) = EXTRACT(day FROM (date_trunc('MONTH', $2) + INTERVAL '1 MONTH - 1 day'))) then         (EXTRACT(year FROM $1)-EXTRACT(year FROM $2))*12+         EXTRACT(month FROM $1)-EXTRACT(month FROM $2)-1+ EXTRACT(day FROM $1)/31         ELSE        (EXTRACT(year FROM $1)-EXTRACT(year FROM $2))*12+         EXTRACT(month FROM $1)-EXTRACT(month FROM $2)+         (EXTRACT(day FROM $1)-EXTRACT(day FROM $2))/31END
  • [生态空间] 【DWS产品】存储选型,HDD硬盘与SSD硬盘应该怎么选?
    【DWS产品】存储选型,HDD硬盘与SSD硬盘应该怎么选?某客户打算使用DWS产品,对于选择HDD硬盘还是SSD硬盘比较犹豫? 客户出于数据安全的考虑,担心SSD硬盘故障率高以及寿命短?专家怎么看?
  • [生态空间] 【DWS产品】【建表功能】能否直连DN,在单个DN上创建表?
    【DWS产品】【建表功能】能否通过登录节点,直连DN,在单个DN上创建表?
  • [生态空间] 【DWS产品】【性能】DWS处理数据时为什么不使用缓存?
    【DWS产品】【性能】DWS处理数据时为什么不使用缓存提高性能?
  • [性能调优] 【DWS】【sql】pg_stat_user_functions 为什么没有数据
    【操作步骤&问题现象】产品文档中说这个视图是用来:显示命名空间中用户自定义函数(函数语言为非内部语言)的状态信息。为什么直接查这个视图里,没有数据呢【截图信息】
  • [技术干货] 华为云GaussDB助力“2号人事部”打造高品质HR效率软件
    人才是社会和企业最重要的资产之一。为实现有效管理人才,企业需要一款灵活高效的HR效率软件。“2号人事部”是深圳市点米二号科技有限公司出品的中国第一款即租即用的HR效率软件,为10000家客户、1500万人提供员工管理、招聘管理、考勤打卡、薪酬计算、社保管理等服务,促进企业管理效率提升。华为云GaussDB数据库助力“2号人事部”业务系统性能提升15%  流量洪峰集中,数据读写迎挑战  作为一款由百万HR共创的一体化人力资源数字化平台,2号人事部因为流量洪峰集中,数据体量庞大,在数据峰值读写和规模级数据核算方面面临巨大挑战。  数据峰值读写  常见的考勤打卡业务场景,在考勤集中打卡时段,高峰期峰值高达每秒10万次以上,并发访问压力大,即使通过一系列异构和高性能NoSQL来缓解洪峰对基础数据库的冲击,挑战也十分巨大。  规模级数据核算  在常见的月底考勤核算、薪酬核算的业务场景中,大部分企业会在月底或月初发起整个企业的数据核算,而核算会拉起整个月和整个公司的各大模块的记录数据,进而产生上百万行数据的读写压力。  全新底座,高效管理  基于上述痛点,“2号人事部”对于数据库的需求十分明确,一是具备稳定可靠的数据库服务能力,二是提供简单高效的数据库运维功能。而华为云GaussDB数据库具备高可用、存算分离、高性能、弹性高扩展、简易可持续性运维等特点,能够满足“2号人事部”的各项需求。  华为云通过RDS for MySQL的一写多读特性,让主实例只承担写流量,降低主库压力,承载考勤打卡、月底核算等业务海量读写流量。同时使用华为云云原生数据库GaussDB(for Redis)作为前置缓存,应对考勤峰值的流量高峰。  华为云GaussDB(for Redis)凭借存算分离的云原生架构,实现分钟级计算节点扩容和秒级存储扩容;实现了亚毫秒级时延稳定无抖,轻松应对考勤并发高峰;还提供了三副本容灾方案,可从底层保证数据的一致性,从源头避免“脏数据”的出现,有效协助客户简化上层业务逻辑架构,增强数据的可用性。此外,“2号人事部”HR系统涉及众多公司员工的个人信息,如薪酬、员工档案等敏感信息,对数据服务的安全性要求较高。  华为云数据库提供虚拟私有云、子网、安全组、DDoS防护以及SSL安全访问等多层安全防护体系,实现租户隔离和访问控制以及实例监控、API管理、故障预警、自动备份等智能运维手段,多重守护敏感数据,全方位保证“2号人事部”HR系统的数据安全,让客户使用更安心。  两套“组合拳”助力“2号人事部”数据库系统在吞吐、访问时延、IOPS等指标方面综合提升15%,扩容时间由4小时缩短为5分钟,效率提升47倍,为企业带来更高的资源利用率,使整个平台在资源不变的情况下承载更多的用户。  华为云数据库自动运维平台提供的实时性能监控看板,可以随时应对突发洪峰,一旦发现某个数据库压力呈现不断上升趋势,及时一键扩容,高效支撑海量并发压力,保障业务的稳定运行。  人才是企业的重要资产,高效管理人才是企业成功的重要因素。“2号人事部”全场景数字化平台极大提升了企业组织效率和员工满意度,让人才与企业价值实现共赢。华为云GaussDB数据库愿凭借技术力量,助力万千企业一同推动企业人力资源管理的创新升级,为HR带来工作效能提升和价值重塑。文章来源:http://news.yesky.com/hotnews/325/725999325.shtml
总条数:2746 到第 页
上滑加载中