• [性能调优] DWS数据倾斜处理技术与机架感知机制
    各位老师好:最近在学习DWS的过程中发现两个问题,第一个是DWS数据倾斜处理技术:倾斜值广播+非倾斜值重分布① T表对倾斜值做roundrobin操作,均匀分布到各DN ② S表对倾斜值做broadcast操作,保证与各DN的T表的倾斜值关联 ③ T表和S表对非倾斜值进行redistribute,分发到DN,请问这种处理模式是GUC参数设置还是可以根据对应session进行处理,如果是session级别是否有具体sql演示,另外DWS还有没有这种比较新颖的处理逻辑,区别于传统的hashjion,希望老师不吝赐教。第二个是关于HCIP文档中的一句话:GaussDB(DWS)采用全并行的MPP架构数据库,业务数据被分散存储在多个节点上,数据分析任务被推送到数据所在位置就近执行,并行地完成大规模的数据处理工作,实现对数据处理的快速响应。这个是不是类似机架感知机制,我知道阿里云数据库有这种就近查询机制,DWS是否已经实装此功能?麻烦各位老师帮忙解惑。
  • [热门活动] 吃元宵,庆团圆!
    华为云数仓GaussDB(DWS)祝大家元宵节快乐!
  • [对接系列] Gauss DB(DWS)对接系列-BI工具BIP对接
    配置过程:1.配置JDBC驱动;步骤1 上传jar包到/data/biee/wlserver/server/lib,请上传gsjdbc4.jar步骤2 在commExtEnv.sh中的变量WEBLOGIC_CLASSPATH后加上jar包信息,如下:cd /data/biee/oracle_common/common/binvi commExtEnv.sh添加: ${WL_HOME}/server/lib/gsjdbc4.jarWEBLOGIC_CLASSPATH="${JAVA_HOME}/lib/tools.jar${CLASSPATHSEP}${PROFILE_CLASSPATH}${CLASSPATHSEP}${ANT_CONTRIB}/ant-contrib-1.0b3.jar${CLASSPATHSEP}${WL_HOME}/server/lib/inceptor-driver-warp45645.jar${CLASSPATHSEP}${WL_HOME}/server/lib/gsjdbc4.jar${CLASSPATHSEP}${CAM_NODEMANAGER_JAR_PATH}"步骤3 连接Gauss DB登陆http://*.*.*.*:9502/analytics,然后点击管理点击管理 BI Publisher点击JDBC连接;添加数据源; 填写JDBC信息,并点击测试连接,然后点击应用,完成连接建立。数据源名称:GaussDB  --自定义驱动程序类型:Other数据库驱动程序类:org.postgresql.Driver连接串:jdbc:postgresql://*.*.*.*:25308/pocdb用户名:u1口令:*******简单功能验证,点击主页>报表;点击+;点击sql查询;填写数据库信息,点击确定;名称:gauss  --自定义数据源:选择新建的jdbc数据源;SQL:select * from t_date;点击数据>查看>表视图;
  • [热门活动] 【数据库·微话题】“GaussDB(for Influx)时序数据库”知多少,U盘、笔记本、玻璃杯送不停!
    本次微话题经华为云数据库创新Lab布道师 Shawn评定,中奖名单公示如下:活动名称奖项名称用户昵称礼品名称【数据库·微话题】“GaussDB(for Influx)时序数据库”知多少,U盘、笔记本、玻璃杯送不停!优质微话题中奖用户好久没出门《华为数据之道》书籍CocoLiu202首先,恭喜各位中奖;其次,请填写收件信息,一定要填正确哈!我们会尽快发出奖品。https://devcloud.huaweicloud.com/expert/open-assessment/qtn?id=579b3d6c200e48c18cf6860c397450ea获奖用户已私信通知,请在3个工作日内(2021年4月1日00:00前)找我领取,过期视为放弃。本期【数据库·微话题】是2021年的第一期微话题活动,特邀华为云数据库创新Lab布道师 Shawn与大家一起讨论“GaussDB(for Influx)时序数据库”知多少,欢迎大家畅言,还有好礼送不停。 专家简介: 华为云数据库创新Lab布道师 ShawnShawn在网络安全、数据库领域等方面有丰富的经验,2017年加入华为CloudBU云数据库创新Lab,主要从事华为云NoSQL服务的研发工作,特别对时序数据库有较深入的了解。=======【数据库·微话题】“GaussDB(for Influx)时序数据库”知多少?=======Part1 今日份微话题:1. 您使用的是什么时序数据库?2. 您的使用场景是什么?3. 您使用的时序数据库有什么优势,有什么不足?4. 您最想了解GaussDB(for Influx)时序数据库什么功能?最想有什么功能?活动时间:2021年2月26日-3月14日参与方式:直接在本帖下方回复以上话题的理解或评论评选方式:活动结束后,将由本次专家根据回复的数量和质量,评选出优质的回复活动奖励:《华为数据之道》书籍、笔记本、U盘、高硼玻璃杯、GAUSSDB字母笔7支/盒有效评论数量奖品名称奖品数量<=200条《华为数据之道》书籍2本>200条《华为数据之道》书籍2+N本高硼玻璃杯每100层,6个中奖名额 注:1)有效评论数是指,和今日份微话题所列举问题相关的内容回复2)书籍可更换为笔记本、U盘3)高硼玻璃杯可更换GAUSSDB字母笔7支/盒奖品展示:Part2【开年采购季】填问卷,0门槛抽奖,100%中奖!移动电源、U盘、懒人手机支架等你哟!提示1.本次活动回帖内容需满足华为云论坛发帖规范 https://bbs.huaweicloud.com/forum/thread-23077-1-1.html。2. 活动结束3个工作日将在此帖公布获奖名单,敬请关注。3. 奖品将在公示期结束后15个工作日内发出。4. 由于获奖用户自身原因(包括但不限于提供的联系方式有误、身份不符或者通知领奖后超过15个工作日未领取等)造成奖品无法发送的,视为获奖用户放弃领奖。5.活动一切解释权归华为云数据库所有。
  • [运维管理] GaussDB A 8001
    【功能模块】【操作步骤&问题现象】gaussdb数据库是否可以对存储过程SQL加密?如果不支持 能控制存储过程的权限不能?只能用不能查看这个用户写的存储过程内容
  • [运维管理] 【gaussdb 8.0产品】内存不足报错
    【功能模块】【操作步骤&问题现象】1、在没有批量操作的时候经常出现内存不足报错。求大佬分析下原因目前未截图【截图信息】【日志信息】(可选,上传日志内容或者附件)
  • [热门活动] 活动结束,获奖名单已公示【打卡互动赢大奖】DWS王者挑战赛,携手开启征战之路!
    活动主题:DWS王者挑战赛,携手开启征战之路!活动介绍:      为了让开发者朋友们能轻松学好用好华为云数仓GaussDB(DWS),我们推出了GaussDB(DWS)视频培训系列课程打卡活动,此为第二个系列课程,本系列共14节课程,从初级课程至进阶课程,更有华为认证GaussDB OLAP数据库高级工程师HCIP-GaussDB-OLAP等你来挑战,全方位带您深入掌握GaussDB(DWS)核心架构和硬核技能。本次课程帮大家制定了打卡计划,参与培训课程打卡,get数仓硬核技能,更有华为云定制机械键盘、双肩包、无线鼠标、旅行本套装等多重好礼等你来拿,活动即刻开启,凡在本主题帖中留言、参与打卡或论坛互动的用户均可参与抽奖哦~互动方式:(以下互动方式任选一种或多种)(1)盖楼:在本主题帖中跟帖盖楼,留言“重定义数据仓库,释放数据非凡价值!”;(2)留言:在本主题帖中跟帖留言(包括但不限于课程截图+学习心得、数仓产品体验感受、平台建议等);(3)转发:转发此贴至微信朋友圈并在公众号后台回复朋友圈转发截图。                                             (4)打卡:在本活动贴学习每天的课程,并在评论区打卡晒出您的视频课程截图+学习心得;(5)发帖:在数仓GaussDB(DWS)论坛发布关于本次认证的学习/考试心得、博文鉴赏、维护宝典、项目实践,主题附带话题:#DWS王者挑战赛 ,并将链接附在本活动评论区;(6)认证:完成HCIP-GaussDB-OLAP认证,将电子证书反馈至微信公众号后台。备注:微信扫描下方二维码加入GaussDB(DWS)大神学习交流群:(小助手会提醒大家学习打卡,最新的学习资源也会跟您一起分享哦)课程表:↓↓↓点击课程打卡哦↓↓↓荣耀黄金Ⅰ:《数据库服务:即开即用安全可靠》荣耀黄金Ⅱ:《GaussDB(DWS)概述》荣耀黄金Ⅲ:《7天玩转数据仓库(DWS)》荣耀黄金Ⅳ:《DWS中级工程师课程》荣耀黄金Ⅴ:《DWS高级工程师课程》璀璨钻石Ⅰ:《职业认证在线课程学习导读》璀璨钻石Ⅱ:《SQL进阶》璀璨钻石Ⅲ:《数据仓库设计与管理》璀璨钻石Ⅳ:《数据仓库安全》璀璨钻石Ⅴ:《数据仓库集群管理》璀璨钻石Ⅵ:《数据仓库迁移管理》璀璨钻石Ⅶ:《数据仓库高级特性》璀璨钻石Ⅷ:《HCIP-GaussDB-OLAP V1.5 考试大纲及样题》王者竞技:《职业认证》更多课程,敬请期待~活动时间:2月26日——4月30日评奖方式:互动奖*5:(以上互动方式任选一种或多种参与)奖       品:华为云定制双肩包评奖规则:参与华为云社区互动即有机会抽取。 粉丝福利*2(通过转发朋友圈参与)奖       品:华为云定制旅行本(套装)评奖规则:转发此贴至微信朋友圈并在公众号后台回复朋友圈转发截图。钻石奖*3:(完成所有课程的打卡)奖       品:华为云定制无线鼠标评奖规则:完成所有课程打卡的用户机会抽取;心得需是从当日课程中提炼出真实的学习感受。 王者奖*5(完成所有课程打卡且完成HCIP认证的用户有机会抽取)奖       品:华为云定制机械键盘评奖规则:完成所有课程打卡的用户完成HCIP认证有机会抽取;心得需是从当日课程中提炼出真实的学习感受。注意事项·         使用他人截图、打卡心得经发现视为作弊;·         一日打卡/补签两节课视为作弊哦,大家一定要跟上进度,每日完成打卡;·         每个ID只能参与一次评选,同一ID不可重复中奖;·         本次回帖内容需满足华为云论坛发帖规范 https://bbs.huaweicloud.com/forum/thread-23077-1-1.html;·         盖楼用户未通过公众号后台反馈盖楼截图,则奖励顺延至下一有效楼层。·         本活动最终解释权归华为云数仓GaussDB(DWS)所有。扫码关注我哦,我在这里↓↓↓快来参与挑战,开启你的王者之路吧!数仓GaussDB(DWS)培训打卡系列1>>>:https://bbs.huaweicloud.com/forum/thread-104049-1-1.html【问题求助】>点我提问<【发帖互动】>点我发贴<活动已结束【获奖名单公示】获奖小伙伴快快(ps:请在6月13日前)私聊小助手(扫描下方二维码或者微信搜索“GaussDBDWS”添加),留下您的获奖地址吧~奖项名称奖品中奖人昵称/账号钻石奖华为云定制无线鼠标linghz666钻石奖华为云定制无线鼠标每天都要有进步粉丝福利华为云定制旅行本(套装)聚对苯二甲酸乙二醇酯粉丝福利华为云定制旅行本(套装)不想赖床互动奖华为云定制双肩包一缕阳光互动奖华为云定制双肩包Archive互动奖华为云定制双肩包大吉利车队互动奖华为云定制双肩包yizhangl互动奖华为云定制双肩包Sundal
  • [实践系列] 为何时间戳数据写入和查询的值相差8小时
    有同学咨询,为什么存入DWS表的时候是2021-02-23 21:00:00【timestamptz格式的】,查询的时候差了8个小时啊?从表定义来看,该时间字段定义为带时区的时间戳,库内存储的数据为UTC时间2021-02-23 13:00:00,相差8小时,首先想到是由于时区配置问题导致。这类不一致一般是由于客户端和server端的时区配置不一致,导致时间数据在写入或者读出时发生了转换。请业务帮忙查看当前server的时区配置:从查看的时区配置来看,时间戳数据和存储的数据时区一致。说明时区转换不是发生在查询阶段,而是在写入阶段发生了转换。进一步了解数据写入程序的时区配置,反馈为上游数据来源于TSDB,通过RPC查询后写入DWS。时区刚好相差8小时。至此,真相大白了。如何去修复该问题呢,其实很简单。统一TSDB和DWS的时区配置即可。问题虽小,但在进行数据集成或分析运算时,时区的差异往往会带来不少的困扰,造成不必要的资源浪费。因此,有必要在系统规划时需要提前去考虑排查。
  • [热门活动] 微信公众号,get最新最全的数仓黑科技!
    关注数仓GaussDB(DWS)公众号:1.get最新最全的产品资讯2.定期更新精品博文,满满数仓黑科技;3.公众号粉丝活动,福利不停歇;快快扫码关注我们,一起探索交流!!!
  • [其他] 【迁移】c80 elk迁移至8.0 gaussdb之后,读取hdfs外表时部分字段乱码
    问题描述:同一个hdfs外表文件,在c80版本读取正常,在8.0版本读取时部分字段变为问号问题根因:源数据文件中本身存在非法字符,而c80默认不处理非法字符,8.0默认将包含非法字符的字段替换为问号,实际上是提高了数据准确性解决方案:上游处理掉源数据中的非法字符
  • [热门活动] 华为云数仓GaussDB(DWS)主页,产品信息一键获取,还有超多产品折扣哦~
    华为云数仓GaussDB(DWS),业界领先的企业级云分布式数据仓库服务。产品信息请扫码进入产品主页~
  • [技术干货] 华为云PB级数据库GaussDB(for Redis)解析第二期:Redis消息队列Stream的应用探讨
     本文作者:华为云高斯Redis团队简历投递:yuwenlong4@huawei.com引言:Redis Stream是Redis 5.0引入的一种新的数据类型,其本质是一个消息队列,类似于 kafka等消息中间件。它提供了消息的落地存储功能,并实现了类似kafka消费组和消费者的功能。与kafka相比,Redis Stream同样拥有强大的功能,但因原生Redis无法有效支持大规模数据存储,成本昂贵,并存在数据丢失/不一致风险等原因,导致其未能流行起来。本文将对Stream的常用命令和应用场景进行介绍,并探讨原生Redis Stream消息队列的缺陷以及GaussDB(for Redis)提供的解决方案,供大家学习和选用。一、Redis Stream简介与Pub/Sub相比,Redis Stream 具有消息的落地存储功能,每一个客户端能访问任意时刻的消息,并且能记录每一个客户端的访问位置,还能保证消息不会丢失。Redis Stream 的结构如下所示,它有一个消息链表,将所有加入的消息都链接起来,每个消息都有唯一的 ID 和对应的内容。如图所示,每一个Stream队列包含多条消息,每条消息由唯一的ID进行标识,由时间戳和序列号组成,例如1627849609889-0。每条消息以追加的方式添加到Stream队列中。同一个Stream队列可以包含多个消费组(Consumer Group),每个消费组的状态都是独立的,同一个Stream队列的消息可以被多个消费组重复消费。 同一个消费组又包含多个消费者(Consumer),这些消费者之间是竞争关系,不同消费者不会重复消费同一条消息,任意一个消费者读取了队列中的一条消息都会使消费组中的游标last_delivered_id往前移动。该方式提高了并发效率,例如,多个进程并发处理Stream队列中的消息。每个消费者中维持一个状态变量pending_ids,简称为PEL(Pending Entries List),记录了当前已经被客户端读取的但尚未被ACK的消息,确保消息被客户端成功消费。 Redis Stream命令可以分为消息队列命令和消费者命令两类,如下所示:以即时通讯中的聊天室场景为例,使用Redis Stream作为中间件,实现聊天室的发言以及信息查看。1)使用XADD命令进行发言。      2)使用XLEN命令获取聊天室发言的数量。     3)使用XRANGE获取消息队列的消息。     4)使用XREAD命令读取消息。可以在不设置消费组和消费者的情况下,使用XREAD的命令进行消息读取,此时Stream队列类似于一个普通的列表(list)。   更多的Redis Stream命令使用请参考官方文档(https://redis.io/commands/xread)。二、应用场景  由于Redis Stream天然有序,特别适合存储时序数据,应用场景包括即时通讯、智慧医疗、流量削峰、智慧城市等领域。(1)即时通讯:微信、QQ等是我们日常生活中常用的通讯软件,常用的聊天方式包含点对点通讯和群聊两种方式。下图是一个群聊的模型图,当采用Redis Stream作为通讯的中间件,创建一个群聊时,在Redis中对应地为该群聊创建一个Stream队列。在发送消息时,将每个用户的消息按照时间顺序添加到Stream队列中,保证了消息的有序性。由于Stream是一个持久化的队列,无论是在线还是离线状态,每个用户可以多次查看历史消息,保证了通讯的完整性。(2)智慧医疗:医疗行业的信息化,可以更好地服务于每一个人。为每一个人从出生起建立一份健康档案,记录相应的健康信息,如体检报告、诊断报告、用药信息、以及智能终端实时上传的健康指标。这些信息都是一些时序数据,同样可以采用Redis Stream来实现智慧医疗系统。建立起智慧医疗系统后,使用终端可以查看所有的医疗信息,并会提示患者按时吃药,在终端上传身体指标异常时,会自动报警并预约挂号。现阶段每个医院都有自己的信息系统,不同的医院很难查到同一个患者的医疗信息,在未来,医疗上云将有利于解决医疗信息孤岛,更好的帮助每一位患者。(3)流量削峰:在常见的秒杀活动或团购中,如春运抢票、商城促销等,通常短时间内有大量的流量,导致系统崩溃。由于每一个用户在请求时对应唯一的时间戳,所有的请求都有一个先后顺序,同样可以采用Redis Stream作为中间件,将请求加入到Redis Stream消息队列。将消息转存到消息队列间接提供给应用,而非直接发送给应用,可以防止大流量冲击导致的系统崩溃。当消息队列中的请求数量达到规定的最大值时,直接回复客户端抢购失败。三、原生Redis是否真的适用于以上场景?如上应用场景具有数据规模大、数据持续增长的特点,虽然原生Redis有良好的设计初衷,但是并不能解决实际问题。具体体现在:1)无法有效应对大规模数据:原生Redis是一个基于内存的数据库,单个节点存储容量有限,当扩展至TB级别的集群,将会出现管理困难,运维成本高等问题。2)集群扩容影响业务性能:原生Redis在进行集群扩容时,需要重新划分hash槽并进行数据迁移,必定会影响业务性能。3)数据可能会丢失:原生Redis虽然可以采用RDB和AOF的方式对数据进行持久化,但是并不会实时地将每一条命令写入到硬盘中,当出现掉电或集群崩溃的情况,必定会丢失一部分数据,对于类似智慧医疗场景,是难以忍受的。除此以外,必须考虑数据库系统的可用性、数据一致性、成本和备份恢复能力等情况:1)可用性: 原生Redis若采用一主一备的集群模式,当一对主备节点下线,集群部分数据将不可用。2)数据一致性:当主节点宕机,主备节点切换,数据存在没有完全同步的情况。3)成本:原生Redis是一种内存型数据库,当内存容量扩展至TB级别,成本将非常昂贵。4)备份恢复:需要人工连接数据库执行 SAVE或BGSAVE命令,不能支持定期自动备份,在恢复到新实例时需要手动拷贝备份数据。四、是否有更好的解决方案?在以上场景中,亟需一种能够存储和处理大规模Stream数据、鲁棒性强、且成本低廉的数据库系统。而GaussDB(for Redis)(下文简称高斯Redis)正是以上场景中一种很好的应用解决方案。高斯Redis是华为云数据库团队自主研发的兼容Redis协议的云原生数据库,该数据库突破原生Redis的内存限制,可轻松扩展至PB级存储,具有秒扩容、超可用、强一致和低成本等特点。五、总结Redis Stream可以广泛应用在即时通讯、智慧医疗、流量削峰等领域。在面对大规模的Stream数据时,原生Redis存在成本过高、容量太小、可用性差、数据不一致等问题,无法适用于海量消息队列的场景。与原生Redis相比,高斯Redis具有海量存储,低成本,可持久化等优点,可做为比原生Redis更理想的Stream队列承载方案。附:参考资料1. 《华为云GaussDB(for Redis)与自建开源Redis的成本对比》https://www.modb.pro/db/42739 2. 《一场由fork引发的超时,让我们重新探讨了Redis的抖动问题》https://bbs.huaweicloud.com/blogs/227525 3. 《当Redis遇见计算存储分离》https://developer.huaweicloud.com/hero/forum/thread-83188-1-1.html 4. 《GaussDB(for Redis)与原生Redis的性能对比》https://bbs.huaweicloud.com/blogs/236949 5. 《华为云PB级数据库GaussDB(for Redis)揭秘第一期:Redis与存算分离》https://bbs.huaweicloud.com/blogs/238584
  • [其他] 【扩容】添加主机成功后页面出现37014 Gaussdb进程锁文件已经存在的告警
    发生版本【GaussDB(DWS)】【6.5.1】问题描述添加主机成功后页面出现37014 gaussdb进程锁文件已经存在的告警问题分析cma的启停线程在start_datanode_check逻辑,判断进程不存在之后,会检查是否有gs_ctl在运行,如果有gs_ctl运行,会sleep(2)用来让gs_ctl build在执行的时候,有足够的时间创建gs_build.pid文件。这样会造成一个问题,2s前检测到dn进程不存在。进入进程不存在的判断逻辑,DN START,但是此时有概率dn在进行build,这个时候,会sleep(2),2s之后dn进程成功启动,cma再次拉起。解决方案按如下步骤可消除告警:1、先根据告警信息找到上报告警的dn对应的目录2、把目录下的postmaster.pid文件移到其他地方3、然后在kill出问题的dn对应的进程
  • [性能调优] 【GaussDB(DWS)】explain performance 下盘相关名词具体意思
    产品文档的执行计划详解中,描述Memory Information 里面的是否提前下盘(early spilled),内外表下盘分区数(inner/outer partition spill num),下盘数据量及最小和最大分区的下盘数据量(written disk IO [min, max] )。上述名词具体什么意思?比如提前下盘,比什么提前呢?,下盘分区数,分区是文件的分区吗?
  • [SQL] 【干货合集】数仓性能调优必读,带你进阶为性能调优高手
    摘要      开工大吉!小编特意给大家整理了“GaussDB(DWS)性能调优“系列专题!该技术专题由华为云数仓内核专家、资深数仓解决方案工程师撰写,从业务实践经验出发,为开发者介绍数仓知识、性能调优黑科技及开发实践小技巧,带您进阶为数仓性能调优高手,文末有福利,华为云限量定制T恤等你来拿,活动即刻开始,快来mark学习吧~本系列文章分为三个部分:GaussDB(DWS)产品动态、GaussDB(DWS)性能调优系列专题、GaussDB(DWS)案例实践分享。各位读者朋友们可以通过本文了解数仓的基本原理、学习数仓调优黑科技,然后结合案例实践技巧进行深入的开发技能学习。part1: 数仓GaussDB(DWS)产品动态重定义数据仓库,释放数仓非凡价值!新一代华为云数仓GaussDB(DWS)已广泛应用于金融、政府、运营商、交通、物流、互联网等领域,服务于全球1000+客户,为各行业提供极具竞争力的数据仓库解决方案。⇔  华为云GaussDB(DWS)数据仓库以2048大规模节点通过信通院评测认证⇔  五大关键能力,华为云原生数据仓库GaussDB(DWS)深度技术解读⇔  华为GaussDB(DWS)数据仓库,助力招行“人人用数,创新前行”⇔  数智金融 使能创新,“2020华为数智金融论坛”在溪村成功举办⇔ 华为认证GaussDB OLAP数仓高级工程师 HCIP-GaussDB-OLAP V1.5(中文版)发布通知part2: 数仓GaussDB(DWS)性能调优-基础篇数仓GaussDB(DWS)性能调优基础篇介绍性能调优最基本的数仓命令analyze和explain,同时,基于数仓GaussDB(DWS)中产生的分布式计划多种多样的特点,补充对现有分布式计划种类及其性能优劣的详细介绍。⇔  GaussDB(DWS)性能调优基础篇一:万物之始analyze统计信息介绍analyze命令,依次解读什么是统计信息、为什么要收集统计信息、怎么收集统计信息以及什么时候应该收集统计信息。⇔  GaussDB(DWS)性能调优系列基础篇二:大道至简explain分布式计划详细解读explain展示的数仓执行计划,介绍如何通过执行计划了解数仓的执行过程、识别性能瓶颈,针对性调优。⇔  GaussDB(DWS)性能调优系列基础篇三:衍化至繁之分布式计划详解基于分布式数仓GaussDB(DWS)中产生的分布式计划多种多样的特点,补充对现有分布式计划种类及其性能优劣的详细介绍。数仓GaussDB(DWS)性能调优-实战篇从数据建模、表定义的设计,到数仓硬件、集群部署的选择,再到数仓系统级调优、数据表结构设计,以及单个SQL语句的编写及调优,都要考虑对性能的影响。系统级调优也好,语句级调优也罢,掌握这十八般武艺,你也能成为一个性能调优高手。⇔  GaussDB(DWS)性能调优系列实战篇一:十八般武艺之总体调优策略介绍数仓级别的性能调优思路和总体策略,包括系统级和语句级调优,本篇主要重点放在系统级调优。⇔  GaussDB(DWS)性能调优系列实战篇二:十八般武艺之坏味道SQL识别发现SQL中的坏味道(导致执行效率低下的SQL语句及其执行方式)是性能调优的前提,本文简要介绍如何通过自诊断视图识别和发现业务中存在的 “坏味道”SQL,以便针对性调优。⇔  GaussDB(DWS)性能调优系列实战篇三:十八般武艺之好味道表定义如何根据数仓特征和产品业务特征,设计合理的表定义,以达到性能提升的目的。⇔  GaussDB(DWS)性能调优系列实战篇四:十八般武艺之SQL改写通过SQL改写提升执行性能,同时改写方法也是数据应用开发过程应该遵循的好SQL的书写习惯。⇔  GaussDB(DWS)性能调优系列实战篇五:十八般武艺之路径干预路径干预方法介绍,路径生成是表关联方式确定的主要阶段,本文讨论几个影响路径生成的要素:cost_param、 scan方式、join方式、stream方式,并从原理上分析如何干预路径的生成。⇔  GaussDB(DWS)性能调优系列实战篇六:十八般武艺Plan hint运用计划干预方法介绍,执行计划数仓执行方式的外在展示,本文讨论如何通过plan hint提示优化器采用更高效的计划,可以使查询执行的性能获得大幅的提升,成为性能调优的一件有利的工具。part3: 数仓GaussDB(DWS)案例实践分享⇔ GaussBD(DWS)内存自适应控制技术介绍数仓GaussDB(DWS)引入了内存自适应控制的技术,在SQL语句复杂、处理数据量大的AP场景下,能够对运行的作业进行内存级的管控,避免高并发场景下内存不足产生的各种问题。⇔ 侵略如火,GaussDB(DWS)数仓高可用容灾利器之逻辑备份在大数据时代,数据的完整和可靠性成为一个数仓最核心的能力之一。如果企业、政府因为硬件故障导致数据丢失、误删,损失将是不可估量的。本文着重于讲解数仓GaussDB(DWS)推出的一款主力的备份恢复工具——Roach逻辑备份的实现原理。⇔ PB级数仓GaussDB(DWS)性能黑科技之并行计算技术解密GaussDB(DWS)开发了并行计算技术,在语句执行时可以充分利用硬件资源进行并行加速,提高执行的吞吐率。本文将详细介绍GaussDB(DWS)并行计算技术的原理,以及其在performance信息中的展示,帮助各位开发者朋友更好地分析并行的性能。等等,DWS还给大家准备了开工大奖↓↓↓现在只需关注GaussDB(DWS)公众号并分享本文至朋友圈即有机会抽取华为云限量定制T恤!本次活动共5个获奖名额!活动时间:即日始至2021年2月28日23:59(中奖信息将在结束后5个工作日内公示)PS:小伙伴记得将朋友圈分享截图反馈到公众号后台参与抽奖哦~快快转发参与起来,get开工好礼吧!!!备注:添加微信小助手”GaussDBDWS”加入GaussDB(DWS)大神学习分享群:(最新的学习资源、活动信息,小助手会跟您一起分享哦)扫码关注我哦,我在这里↓↓↓*本活动最终解释权归华为云数仓GaussDB(DWS)所有。【了解更多】数仓GaussDB(DWS)开发者论坛:https://bbs.huaweicloud.com/forum/forum-598-1.html数仓GaussDB(DWS)产品主页:https://www.huaweicloud.com/product/dws.html活动结束中奖信息公示:(请中奖用户添加小助手微信号”GaussDBDWS”,反馈您的信息)中奖名单公示恭喜*江川健一*12楼恭喜*十三姨*23楼恭喜*起风了*26楼恭喜*Ploseatience*39楼恭喜*南海*41楼*中奖信息均按照后台反馈截图编号,由线上抽奖助手随机抽取,感谢您的参与!
总条数:2746 到第 页
上滑加载中