• [维护宝典] 使用客户端连接DWS弹性ip报错
    【问题现象】客户使用客户端连接弹性ip时无法连接访问,连接时报remote connection with trust method【分析过程】登录集群cn节点,使用cm_ctl query -Cvd命令查看集群状态,集群状态为Nomal,balanced也为Yes,即集群状态都正常,cn进程也正常集群状态和cn节点正常的情况下需要检查cn的白名单,检查pg_hba.conf文件,检查白名单开启状态【解决方案】修改cn节点pg_hba.conf文件的白名单ip配置,使用账号密码连接集群的eip需要使用sha256的方式连接修改完成后无需重启,使用客户端重新连接
  • [性能调优] GaussDB A 使用roach备份恢复性能调优,roach 命令 buffer-block-size 应如何使用呢?
    问题描述:roach 备份恢复命令,使用roach的备份和恢复命令 发现 备份速度可以通过调节参数buffer-block-size 来调优,设置4M 比较优(4M速度比起2M,快了近3分之一),但是过了一段时间,换一个比较大的数据2T测试性能,又发现2M和4M速度基本没有区别,都达到了以前比较快的速度(环境是千兆网,GaussDB A版本是8.0.0,没有其他干扰程序运行)问题:请问一下,1 为什么会出现这个情况?2 什么情况 需要调这个参数?3 如何配置这个参数,可以达到速度最优?
  • [实践系列] DWS VARCHAR存放字符即VARCHAR(1)存放1个汉字
    utf8编码的数据库,使用nvarchar2(n)代替varchar(n)。nvarchar2这个类型的n是字符长度,汉字跟字母都算1个
  • [行业资讯] 华为云GaussDB携5大核心竞争力亮相2021中国系统架构师大会
     5月20-22日,以“数字转型、架构重塑”为主题的第十三届中国系统架构师大会(SACC2021)在云端进行网络直播。华为云NoSQL数据库架构师余汶龙受邀参加并发表了重要演讲,分享了GaussDB(for Redis)的存算分离架构设计理念以及构筑的产品核心竞争力,以创新技术构建业务敏捷性,驱动企业数字化转型。 Redis作为业界最受欢迎的NoSQL数据库之一,在性能、数据结构多样性等方面具备优势。但随着企业数字化进程加快,开源Redis在AOF膨胀、快照性能、主从脱节、高成本、低容量等方面的劣势愈发明显,这也进一步催生了Redis生态的技术革新。 GaussDB(for Redis)是华为云数据库团队自主研发的兼容Redis协议的云原生数据库,该数据库采用计算存储分离架构,突破开源Redis的内存限制,可轻松扩展至PB级存储。 在GaussDB(for Redis)计算存储分离架构模型下,计算层提供了热数据缓存,存储层负责将全量数据落盘。内部通过RDMA高速网络互连,通过算法预测用户访问规律,实现数据的自动冷热交换,最终达到极致的性能提升。 该架构底层核心部分是基于华为内部强大且广泛使用的自研分布式存储系统DFV,实现了一套Share Everything的云原生架构,充分发挥了云原生的弹性伸缩、资源共享的优势,完美避开了开源Redis的主从堆积、主从不一致、fork抖动、内存利用率只有50%、大key阻塞、gossip集群管理等问题。 基于该架构,GaussDB(for Redis)构筑了强一致、高可用、冷热分离、弹性伸缩、高性能等5大极具竞争力的能力优势。强一致。数据复制是存储的事情,因此专业的事情交给专业的团队来做。通过分布式存储DFV,GaussDB(for Redis)轻松实现了3副本强一致,并可轻松支持6副本,为业界首创。在强一致架构下,用户再也不用担心开源Redis的主从堆积带来的丢数据、不一致、OOM等极端问题,更不用担心业务出错,比如计数器、限流器、访问统计、hash字段等不一致。高可用。开源Redis的单分片和集群,其数据复制都采用主从架构,导致N个节点的集群,如果同时挂掉一对主从(即2个节点),整个集群就不可用。而GaussDB(for Redis)采用存算分离之后,每个计算节点都可以看到并共享所有数据。因此对于N个节点的实例,最多可以容忍N-1个节点异常,真正做到了超高可用性。冷热分离。为充分发挥数据价值,GaussDB(for Redis)实行冷热数据分离,热数据放在内存,冷数据放在磁盘,同时自动LRU淘汰冷数据,实时预测算法加载热数据。这样既使得冷热数据一致性强,交互逻辑又简单,对业务友好。弹性伸缩。数据量膨胀到一定规模后,扩容往往被认为是个高危且困难的操作。GaussDB(for Redis)基于云原生架构,将计算资源和存储资源的扩容解耦。计算层扩容,无需任何数据搬迁,只需修改路由映射,即可秒级完成。存储层是个共建的超级数据湖,其容量巨大,拥有极佳的动态扩容能力。此外,基于64MB细粒度数据分区,整个扩容过程,对上层数据库业务几乎无感。因此GaussDB(for Redis)可以轻松支撑业务后期的大规模膨胀,并且真正做到计算/存储分层的按需扩容和购买。高性能。受益于多点读写,并且不存在备节点浪费资源,GaussDB(for Redis)在性能比拼中,吞吐和时延能力领先于其它云厂商2-3倍。同时受益于多线程架构、高压缩比、高内存利用率等优势,GaussDB(for Redis)对比相同内存的开源Redis,吞吐和时延表现更为优秀。 存算分离的分布式架构是大势所趋,目前已经有越来越多的企业选择将核心业务上云到该架构,而且基于该架构构建的产品核心能力,又极大促进了企业业务的发展,加速企业数字化转型升级。华为云期待未来能有更多企业客户,基于GaussDB(for Redis)的核心能力,共促产业发展,共赢时代新机遇!
  • [开发应用] 【GaussDB产品】【日志功能】如何通过存储过程/函数,记录SQL执行的作业信息
    现有一段SQL:INSERT INTO TABLENAME SELECT * FROM OTHERTABLE;想将该SQL执行的作业信息:开始时间、结束时间、更新行数、错误代码、错误描述等信息,记录在一张日志表中。1。请问这些作业信息是否有内置对象可以直接获取?2。为了简化,想通过在SQL后面执行一个函数或者存储进行日志的记录,样例如下:INSERT INTO TABLENAME SELECT * FROM OTHERTABLE;PERFORM 存储过程();      请问在存储过程中是否可以获取到INSERT语句执行的信息。
  • [开发应用] 【GaussDB】GaussDB如何计算出两个时间的时间差(间隔多少秒)?
    GaussDB如何计算出两个时间的时间差(间隔多少秒)?时间也是通过函数获取,非特别指定。
  • [开发应用] 【GaussDB产品】【日志功能】匿名块中有SQL报错时,会将日志记录的SQL一起回滚。。。
    【功能模块】开发日志记录功能【操作步骤&问题现象】代码如下:BEGIN DELETE FROM .......; --需要执行的SQL语句一; INSERT INTO LOG......; --将语句一的执行信息写入日志表,如执行时间、修改行数等。 DELETE FROM .......; --需要执行的SQL语句二; INSERT INTO LOG......; --将语句二的执行信息写入日志表 DELETE FROM .......; --需要执行的SQL语句三; INSERT INTO LOG......; --将语句三的执行信息写入日志表EXCEPTION   WHEN OTHERS THEN       INSERT INTO LOG......; --将报错的SQL的信息写入日志表。END;/【遇到的问题】  现在假如当SQL语句三报错时,SQL语句1和语句2的日志写入就会被回滚,只写入了EXCEPTION模块中的报错日志。   请问有什么方法可以取消报错回滚?或者 单独的 不影响日志写入的语句?
  • [分享驿站] GaussDB(DWS)免费试用第二天
    第一天的学习之后,产生了一些问题,得到了热心网友的回答,现在开始第二天的学习第一天的交通卡口的结束后,还有二个,一个是供应链需求分析,一个是百货公司经营分析,从业务上来说,涵盖的行业比较丰富;但从技术上来说,操练起来有些些枯燥乏味了,所以做了供应链后,百货公司那个就没做了。完了之后忽然失去了方向,于是从最佳实践开头看起:表设计最佳实践对照着交通卡口,感觉理解有了一些深入先用gsql连上traffic数据库,然后设置显示执行时间、设置后台超时为无限时、另外我还学会了注意提示符=> 与 -> 的差别~既然表已经建立好了,我们来看一下表的结构。这里就可以对照“表设计最佳实践”来一一理解了1.首先这个表是列存的(orientation=column)。说列存,适合于统计分析类查询;而行存适合于点查询,增删改比较多的场景。在交通卡口这个例子里,好像都可以,没有特别偏好?因为后面也有一个根据主键的点查询啊2.然后数据分布(distribute by : HASH(hphm) ),这是个大表,当然不适合replication。所以用Hash将表数据分布到集群里所有的DN上。Hash一个字段,也就是选择了一个分布列。如果分布列选择不当,可能导致数据倾斜,出现IO短板而影响整体性能。这个就像是挑担子一样,一头重一头轻是吃力的,也挑不稳。像十八个吊桶打水,**也是不行的那么这个简单的例子里,数据是均匀的吗?当然是的,看每个DN都分布着相近的2亿9千多万条数据,说,相差5%以上就是倾斜,差10%以上就要调整分布列了哦!
  • [开发应用] 【DWS产品】【函数功能】DWS是否支持二级事物
    【功能模块】事物【操作步骤&问题现象】我这边是创建了1个主函数,16个子函数(含有truncate命令),现在想通过调用主函数,在主函数中串行执行那16个子函数,但是发现一个问题就是子函数不能自动提交,需要待主函数执行完成,才能查看子函数中truncate的表。能否让子函数自动提交?【截图信息】【日志信息】(可选,上传日志内容或者附件)
  • [环境搭建] GaussDB(DWS)安装问题
    【功能模块】nodeagent【操作步骤&问题现象】版本:DWS 8.0.1-ESL现有3节点(GaussDB01:66.50.2.180;GaussDB02:66.50.2.181;GaussDB03:66.50.2.182;),GaussDB01和GaussDB02做oms管理节点,这3个节点都安装MPPDB服务,在安装GaussDB(DWS)的集群中碰到如下问题:在182上agent日志如下:重复很多次,都是这样的报错,另外在agent install日志发现如下报错:
  • [热门活动] 520,表白数据库!手机懒人支架、纪念章、GaussDB字母笔、玻璃杯、数码包、雨伞等你哟!
    中奖用户公示奖项名称用户昵称礼品名称优质评论奖@WuU盘可置换其他公示的礼品,问卷中请注明,数量有限,先到先得Archiveiolink1002LiuTClsj9527花溪考过IE励志当攻城狮是安可啊问道参与奖莹懒人支架问卷链接已发送,请在3个工作日内填写问卷,5月30日零点以后未填写的中奖用户视为放弃!【活动时间】2021/5/19~2021/5/23【活动内容】不管你与数据库恰逢初见,还是相见依然,在520这个日子里,请尽情地表达1. 你对数据库的【小欢喜】2. 为提高活动质量,在以后的活动中,(1)你希望推出哪种类型的活动?比如技术直播类、课程干货类、产品折扣推广类、趣味游戏类......(可以自行添加哦),如果有以往参加过的好的活动案例,可以给出参考的链接哦!(2)关于活动礼品,你最对哪种感兴趣?3. 添加小助手微信:18209232786【奖励规则】中奖用户,可随意挑选以下任意奖品一个:HDC纪念章一个、GaussDB字母笔7支/盒、文件夹一个、高硼玻璃杯一个、数码包一个、雨伞一把另外,随机抽取一名用户,赠送手机懒人支架一台。【参与方式】所有回帖盖楼有效楼层均可参与抽奖!1.有效盖楼数量100层以内,被选为优质回答的用户可获得U盘一枚(U盘可置换帖子中列举的其他礼品,先到先得),数量不限2.有效盖楼数量100层以上,1)被选为优质回答的用户优质回答可获得U盘一枚,数量不限2)在剩下的用户中,随机抽取幸运奖:获奖楼层=总楼层*中奖百分比,中奖百分比为6%、26%、36%、46%、56%、66%、86%、96%的为互动幸运奖,如出现小数点,则四舍五入。无效楼层不参与中奖,做顺延处理。 【互动规则】同一用户不可连续回帖超过5层注意事项:1.活动时间为2021年5月19日——2021年5月23日2.获奖结果将在活动结束后5个工作日内进行公示,所有奖品将在活动结束后15个工作日内发放。3.为防止有恶意发帖行为,同一ID回帖请按照活动规则回复,若超过将取消获奖资格。4.活动期间不同开奖日用户可以重复中奖,但同一开奖日每个ID只能获奖一次,若重复则中奖资格顺延至下一个合格楼层;。5.所有中奖的用户需3天内完成实名认证,并将获奖信息反馈给小助手6.活动参与需遵守《华为社区常规活动规则》
  • [其他] 【DWS】【安装】报DWS.6000,到15%时创建失败,执行到RdsServerGroupTask
    问题描述:         集群创建失败DWS.6000,在60%左右,在serviceOM查看资源情况发现只下发成功一个实例发现版本:   hcso dws 8.0.1.100分析过程:  1.查看后台数据库,查看错误步骤,错误位置,有一个实例已经创建成功,但有两个是在创建serverGroup和SecurityGroup失败2.根据jobId在dws controller ossres-dws.log查看日志信息,有报错如下 2021-05-14 11:46:01,729|2c908086796aae9101796ab122650004|WARN|bd7b35df57174397bd67486b52692ba3_2021-05-14 11:44:17_dwscontroller-6fc46d8785-lpqhh SQL Error: 1205, SQLState: 40001|org.hibernate.engine.jdbc.spi.SqlExceptionHelper.logExceptions(SqlExceptionHelper.java:137)2021-05-14 11:46:01,729|2c908086796aae9101796ab122650004|ERROR|bd7b35df57174397bd67486b52692ba3_2021-05-14 11:44:17_dwscontroller-6fc46d8785-lpqhh Lock wait timeout exceeded; try restarting transaction|org.hibernate.engine.jdbc.spi.SqlExceptionHelper.logExceptions(SqlExceptionHelper.java:142)2021-05-14 11:46:01,730|2c908086796aae9101796ab122650004|ERROR|bd7b35df57174397bd67486b52692ba3_2021-05-14 11:44:17_dwscontroller-6fc46d8785-lpqhh invokeMethod error, origin method is lockProject|com.huawei.hwclouds.dbs.common.dao.aspect.CommonDaoAspect.doAround(CommonDaoAspect.java:30)2021-05-14 11:46:01,730|2c908086796aae9101796ab122650004|ERROR|bd7b35df57174397bd67486b52692ba3_2021-05-14 11:44:17_dwscontroller-6fc46d8785-lpqhh [RdsServerGroupTask][execute], create server group failed:[instanceId]: 56234121-caf3-44b3-9062-55a7d134d4bc,reason:could not extract ResultSet|com.huawei.hwclouds.dbs.executor.RdsServerGroupTask.execute(RdsServerGroupTask.java:107)2021-05-14 11:46:01,731|2c908086796aae9101796ab122650004|ERROR|bd7b35df57174397bd67486b52692ba3_2021-05-14 11:44:17_dwscontroller-6fc46d8785-lpqhh RdsExecutorExceptionHandler catches exception: RetryTaskMgrException, message: [RdsServerGroupTask][execute], create server group failed:[instanceId]: 56234121-caf3-44b3-9062-55a7d134d4bc,reason:could not extract ResultSet; location:RdsServerGroupTask.execute(RdsServerGroupTask.java:108)|com.huawei.hwclouds.dbs.common.exception.handler.RdsExecutorExceptionHandler.exceptionHandler(RdsExecutorExceptionHandler.java:55)2021-05-14 11:46:01,732|2c908086796aae9101796ab122650004|ERROR|bd7b35df57174397bd67486b52692ba3_2021-05-14 11:44:17_dwscontroller-6fc46d8785-lpqhh Application exception overridden by commit exception|org.springframework.transaction.interceptor.TransactionAspectSupport.completeTransactionAfterThrowing(TransactionAspectSupport.java:564)2021-05-14 11:46:01,732|2c908086796aae9101796ab122650004|ERROR|bd7b35df57174397bd67486b52692ba3_2021-05-14 11:44:17_dwscontroller-6fc46d8785-lpqhh task execute fail, error is: |com.huawei.hwclouds.taskmgr.job.task.AbstractTask$OpeationBaseClass.opeation(AbstractTask.java:357)3.登录到后台数据库,查看对应的锁等待超时设置:   show VARIABLES like 'innodb_lock_wait_timeout' 值为50分析是和周边服务交互等待返回,此时程序会锁表,其他进程则会等待锁,等待时长大于超时时间,导致锁超时,此处与环境系统性能相关,将其调整为300 解决方案:在RDS界面设置innodb_lock_wait_timeout 设置为300,再次尝试下发集群成功
  • [其他] 【DWS】【安装】报DWS.6000,到15%时创建失败,执行到RdsCreateResourceTenantVpcTask
     问题描述:   发放集群报 DWS.6000,日志里面是在创建VPC.0202分析过程:登录后台数据库查询对应jobId在日志中查看对应信息,查看dwscontroller ossres-dws.log日志,发现有如下报错拉通vpc的服务人员发现传参dns配置信息错误,不应为 0.0.0.0查看CDK中dwscontroller中dns.address信息错误查看虚拟机,没有对应的dns虚拟机,判断没有安装clouddns,需要安装dns结论:安装clouddns,并配置dns.address参数解决方案:1.安装好clouddns后,红色部分则为需要配置的ip2.在cdk中配置参数dns.address 参数值,升级参数,重启dwscontroller容器,重新下发集群正常
  • [实践系列] GaussDB(DWS)--基于用户的空间管理方法
       在数据仓库的日常管理过程中,空间管理是一个必要的且重要的事情。从技术上讲,可以防止空间爆满导致集群不可用的情况发生;从业务发展角度讲,可以根据空间的使用趋势评估未来业务的发展趋势,评估什么时候扩容、扩多大等。本文介绍一种基于用户或租户的空间管理方式。1、基本管理机制在GaussDB(DWS)中存储资源管理在多租户场景下用于限定不同用户可以使用的空间配额,防止用户使用存储空间过大导致业务执行受阻。GaussDB(DWS)通过在创建用户时指定存储空间的大小实现对存储资源的管理。存储空间资源分为三种类型:永久表空间(Perm Space),临时表空间(Temp Space)和算子下盘空间(Spill Space)。存储空间管理支持对组用户和业务用户的存储空间管理, 当业务用户对应的组用户存在空间限制时,则业务用户的空间也受到该组用户的空间限制。更严格的来说,GaussDB(DWS)最终管理的表owner的可用空间。假设我们设置XXX_DATA(Schema)的所有表的owner为OWER_USER,我们对OWNER_USER用户设置可用的永久空间(Perm Space)为100TB,这样就可以达到控制XXX_DATA(Schema)的空间为100TB。注意:虽然我们指定了一个表的owner,但是,更新数据的时候不一定使用表的owner去更新。例如:XXX_DATA的owner为OWNER_USER,实际更新数据的时候通常使用的是BAT_USER。也就是说,我们不关心哪个用户对数据进行了更新,只需要关心表owner的存储资源即可。2、Schema与用户的关系当前的存储资源管理方式存在着schema与用户多对多的关系,这使得存储资源的管理变得复杂。例如,XXX平台拥有Schema1_data和Schema2_data两个schema;XXX平台有Depart1业务用户,Depart2业务用户和Depart3业务用户三类用户且这三类用户绑定了两个租户。这三类用户都拥有在两个schema的建表权限,这样就会得到一个多对多的结果。这种多对多的关系在日常管理中会给我们带来很多麻烦,如下图:3、日常管理规范及保障机制建立建表规范为了避免这种复杂的关系给我们带来麻烦,我们需要制定建表规范:每一个schema的普通表(不包括temp table)的owner必须为同一个用户。例如:XXX_DATA(Schema)的table owner必须为OWNER_USER1。建立建表检查机制建立检查机制,保障规范的可行性:每次上线或变更都检查table owner,如果table owner与规范规定的用户不一致,则进行必要的整改。以上是基于用户或租户的管理方式,未来GaussDB(DWS)也会推出基于Schema的空间管理方式,满足更多的客户的不同的需求,敬请关注。想了解GuassDB(DWS)更多信息,欢迎微信搜索“GaussDB DWS”关注微信公众号,和您分享最新最全的PB级数仓黑科技,后台还可获取众多学习资料~
  • [运维管理] GaussDB A 8.0.0.1 版本集群 PG_OBJECT表mtime列包含那些操作时才会更新?
    【操作步骤&问题现象】文档上写对象最后修改时间,修改行为包括ALTER操作和GRANT、REVOKE操作。但是实际在测试中发现truncate表时时间也会改变。所以想问下那些操作(所有)会导致mtime列时间更新?
总条数:2746 到第 页
上滑加载中