产品文档的执行计划详解中，描述Memory Information 里面的是否提前下盘（early spilled），内外表下盘分区数（inner/outer partition spill num），下盘数据量及最小和最大分区的下盘数据量（written disk IO [min, max] ）。上述名词具体什么意思？比如提前下盘，比什么提前呢？，下盘分区数，分区是文件的分区吗？

摘要      开工大吉！小编特意给大家整理了“GaussDB(DWS)性能调优“系列专题！该技术专题由华为云数仓内核专家、资深数仓解决方案工程师撰写，从业务实践经验出发，为开发者介绍数仓知识、性能调优黑科技及开发实践小技巧，带您进阶为数仓性能调优高手，文末有福利，华为云限量定制T恤等你来拿，活动即刻开始，快来mark学习吧~本系列文章分为三个部分：GaussDB(DWS)产品动态、GaussDB(DWS)性能调优系列专题、GaussDB(DWS)案例实践分享。各位读者朋友们可以通过本文了解数仓的基本原理、学习数仓调优黑科技，然后结合案例实践技巧进行深入的开发技能学习。part1: 数仓GaussDB(DWS)产品动态重定义数据仓库，释放数仓非凡价值！新一代华为云数仓GaussDB(DWS)已广泛应用于金融、政府、运营商、交通、物流、互联网等领域，服务于全球1000+客户，为各行业提供极具竞争力的数据仓库解决方案。⇔  华为云GaussDB(DWS)数据仓库以2048大规模节点通过信通院评测认证⇔  五大关键能力，华为云原生数据仓库GaussDB(DWS)深度技术解读⇔  华为GaussDB(DWS)数据仓库，助力招行“人人用数，创新前行”⇔  数智金融 使能创新，“2020华为数智金融论坛”在溪村成功举办⇔ 华为认证GaussDB OLAP数仓高级工程师 HCIP-GaussDB-OLAP V1.5（中文版）发布通知part2: 数仓GaussDB(DWS)性能调优-基础篇数仓GaussDB(DWS)性能调优基础篇介绍性能调优最基本的数仓命令analyze和explain，同时，基于数仓GaussDB(DWS)中产生的分布式计划多种多样的特点，补充对现有分布式计划种类及其性能优劣的详细介绍。⇔  GaussDB(DWS)性能调优基础篇一：万物之始analyze统计信息介绍analyze命令，依次解读什么是统计信息、为什么要收集统计信息、怎么收集统计信息以及什么时候应该收集统计信息。⇔  GaussDB(DWS)性能调优系列基础篇二：大道至简explain分布式计划详细解读explain展示的数仓执行计划，介绍如何通过执行计划了解数仓的执行过程、识别性能瓶颈，针对性调优。⇔  GaussDB(DWS)性能调优系列基础篇三：衍化至繁之分布式计划详解基于分布式数仓GaussDB(DWS)中产生的分布式计划多种多样的特点，补充对现有分布式计划种类及其性能优劣的详细介绍。数仓GaussDB(DWS)性能调优-实战篇从数据建模、表定义的设计，到数仓硬件、集群部署的选择，再到数仓系统级调优、数据表结构设计，以及单个SQL语句的编写及调优，都要考虑对性能的影响。系统级调优也好，语句级调优也罢，掌握这十八般武艺，你也能成为一个性能调优高手。⇔  GaussDB(DWS)性能调优系列实战篇一：十八般武艺之总体调优策略介绍数仓级别的性能调优思路和总体策略，包括系统级和语句级调优，本篇主要重点放在系统级调优。⇔  GaussDB(DWS)性能调优系列实战篇二：十八般武艺之坏味道SQL识别发现SQL中的坏味道（导致执行效率低下的SQL语句及其执行方式）是性能调优的前提，本文简要介绍如何通过自诊断视图识别和发现业务中存在的 “坏味道”SQL，以便针对性调优。⇔  GaussDB(DWS)性能调优系列实战篇三：十八般武艺之好味道表定义如何根据数仓特征和产品业务特征，设计合理的表定义，以达到性能提升的目的。⇔  GaussDB(DWS)性能调优系列实战篇四：十八般武艺之SQL改写通过SQL改写提升执行性能，同时改写方法也是数据应用开发过程应该遵循的好SQL的书写习惯。⇔  GaussDB(DWS)性能调优系列实战篇五：十八般武艺之路径干预路径干预方法介绍，路径生成是表关联方式确定的主要阶段，本文讨论几个影响路径生成的要素：cost_param、 scan方式、join方式、stream方式，并从原理上分析如何干预路径的生成。⇔  GaussDB(DWS)性能调优系列实战篇六：十八般武艺Plan hint运用计划干预方法介绍，执行计划数仓执行方式的外在展示，本文讨论如何通过plan hint提示优化器采用更高效的计划，可以使查询执行的性能获得大幅的提升，成为性能调优的一件有利的工具。part3: 数仓GaussDB(DWS)案例实践分享⇔ GaussBD(DWS)内存自适应控制技术介绍数仓GaussDB(DWS)引入了内存自适应控制的技术，在SQL语句复杂、处理数据量大的AP场景下，能够对运行的作业进行内存级的管控，避免高并发场景下内存不足产生的各种问题。⇔ 侵略如火，GaussDB(DWS)数仓高可用容灾利器之逻辑备份在大数据时代，数据的完整和可靠性成为一个数仓最核心的能力之一。如果企业、政府因为硬件故障导致数据丢失、误删，损失将是不可估量的。本文着重于讲解数仓GaussDB(DWS)推出的一款主力的备份恢复工具——Roach逻辑备份的实现原理。⇔ PB级数仓GaussDB(DWS)性能黑科技之并行计算技术解密GaussDB(DWS)开发了并行计算技术，在语句执行时可以充分利用硬件资源进行并行加速，提高执行的吞吐率。本文将详细介绍GaussDB(DWS)并行计算技术的原理，以及其在performance信息中的展示，帮助各位开发者朋友更好地分析并行的性能。等等，DWS还给大家准备了开工大奖↓↓↓现在只需关注GaussDB(DWS)公众号并分享本文至朋友圈即有机会抽取华为云限量定制T恤！本次活动共5个获奖名额！活动时间：即日始至2021年2月28日23:59（中奖信息将在结束后5个工作日内公示）PS：小伙伴记得将朋友圈分享截图反馈到公众号后台参与抽奖哦~快快转发参与起来，get开工好礼吧！！！备注：添加微信小助手”GaussDBDWS”加入GaussDB(DWS)大神学习分享群：（最新的学习资源、活动信息，小助手会跟您一起分享哦）扫码关注我哦，我在这里↓↓↓*本活动最终解释权归华为云数仓GaussDB(DWS)所有。【了解更多】数仓GaussDB(DWS)开发者论坛：https://bbs.huaweicloud.com/forum/forum-598-1.html数仓GaussDB(DWS)产品主页：https://www.huaweicloud.com/product/dws.html活动结束中奖信息公示：（请中奖用户添加小助手微信号”GaussDBDWS”，反馈您的信息）中奖名单公示恭喜*江川健一*12楼恭喜*十三姨*23楼恭喜*起风了*26楼恭喜*Ploseatience*39楼恭喜*南海*41楼*中奖信息均按照后台反馈截图编号，由线上抽奖助手随机抽取，感谢您的参与！

【问题现象】页面创建dws的ecs集群失败【分析过程】登录DWS页面，创建DWS集群后，在创建进度约30%左右时创建失败，页面显示报错码为ECS.0204登录DWS管理面数据库，select jobId from rds_instance where name like '%{clusterName}%';执行该sql查询创建集群的jobId，其中{clusterName}为创建失败的集群名称登录DWSController容器，根据步骤2中获取的jobId，获取集群创建的详细日志信息，从日志中可以查询到ECS接口返回的详细错误信息，对于ECS资源不足的报错信息一般为No Valid host。【解决方案】检查DWS的规格配置是否正确，进入DWS管理面数据库，select * from rds_resspecattr where specId = (select id from rds_resspec where specCode = "{dwsFlavor}");其中{dwsFlavor}为dws规格名称，查询结果中attrCode为flavor的字段value值即为底层ecs规格名称，登录ServiceOM页面，检查该规格是否存在，CPU和内存信息配置是否正确。若ECS规格正确，则根据报错信息联系ECS同事，检查底层规格是否就绪或底层规格是否充足。

【问题现象】    创建集群，创建失败，报DWS.6000，大概在创建到33%时创建失败,执行到RdsCreateInstanceTask失败【分析过程】        1.查看数据库中的失败步骤            1)登录dwscontroller服务后台数据库mysql           2)执行select task.job_id, task.task_name, task.begin_time, task.listener_num, task.retry_num, task.execution_status from rds_instance ins left join  taskmgr_task task on ins.jobId=task.job_id left JOIN taskmgr_job  job on  task.job_id=job.job_id where ins.`name` like '%集群名称%' order by task.job_id,task.begin_time;           3)查看execution_status列为"FAIL"及 对应的job_id        2.根据job_id从dwscontroller日志获取具体的错误信息           #grep {job_id} ossres-dws.log           有错误信息:"error_code":"BMS.0042"        3.根据2分析是规格有问题，需要核对裸金属规格和controller数据库中的底层规格是否一致   1)mysql中查询对应的底层规格   select c.* from rds_cluster_spec a ,rds_cluster_instance_resspec b,rds_resSpecAttr c   where a.id=b.cluster_spec_id and b.instance_spec_id=c.specId   and a.`code`='集群使用的裸金属规格';            2)查询serviceOM中裸金属的对应的规格信息           核对标准 cpu，dataDisk，diskNum，dnNum，mem，raidNum需要对应一致        【解决方案】   根据BMS.0042的信息，联系BMS同事进行处理           需要和负责规格的同事进行沟通确认是底层规格创建的问题，还是数据库初始化的问题  1.如果是规格创建问题，请参考：       《华为云Stack8.0.2技术中台与AI数据中台服务软件安装指南》--》创建裸金属服务器规格 部分进行创建  2.如果是数据库初始化问题，则修改修改对应的参数                      例如：                      update rds_resspecattr set value = "dws.kd1.12xlarge.4" where specId = "2f2f7036-f24e-4e9e-9c21-a77f741005c2" and attrCode = "flavor";                        update rds_resspecattr set value = "8" where specId = "2f2f7036-f24e-4e9e-9c21-a77f741005c2" and attrCode = "diskNum";

【问题现象】    创建集群，创建失败，报DWS.6000，大概在创建到13%时创建失败,执行到RdsCreateResourceTenantVpcTask失败【分析过程】        1.查看数据库中的失败步骤               1)登录dwscontroller服务后台数据库mysql              2)执行select task.job_id, task.task_name, task.begin_time, task.listener_num, task.retry_num, task.execution_status from rds_instance ins left join  taskmgr_task task on ins.jobId=task.job_id left JOIN taskmgr_job  job on  task.job_id=job.job_id where ins.`name` like '%集群名称%' order by task.job_id,task.begin_time;                 3)查看execution_status列为"FAIL"及 对应的job_id        2.根据job_id从dwscontroller日志获取具体的错误信息             #vi ossres-dws.log             有错误信息:"error_msg":"The IAM user is not authorized to access the API: op_svc user from untrusted ip","error_code":"APIGW.0302"                      3.根据1,2分析有此可见是网络白名单的问题，   需要联系APIGW的同事进行处理   询问安装人员是否扩容了网段，如果扩容了网段，且恰好CDK集群使用了该网段，或者dwscontroller服务器使用了扩容的网段则会出现该问题【解决方案】        1.询问安装人员是否扩容了网段，如果扩容了网段，收集扩容的所有网段        2.配置扩容网段到apigateway的白名单中             /opt/apigateway/resty/etc/router/conf/configure.ini        

Kettle是Pentaho开发的一款开源ETL工具，可在Window、Linux、Unix上运行，抽取数据高效稳定。它提供了一个图形化的用户界面来管理来自不同数据库的数据。如下博文以Windows 7 专业版、Kettle 6.1为例，讲解如何安装和配置Kettle工具。链接如下：https://bbs.huaweicloud.com/blogs/238753

【活动主题】免费学习大师课，13天带您get数仓全技能！1、活动介绍      为了让开发者朋友们能轻松学好用好数仓GaussDB(DWS)，我们推出了数仓GaussDB(DWS)视频培训系列课程打卡活动，本系列共13节课，从产品定位、集群部署、对象设计、性能调优等全方位带您深入掌握数仓GaussDB(DWS)架构和技能。本次课程帮大家制定了打卡计划，不仅课程免费学习，更有华为手环、蓝牙音箱、华为云定制T-shirt等多重好礼等你来拿，现在活动即刻开启，凡在本主题帖中留言、参与打卡或者论坛互动的用户均可参与抽奖哦~2、互动方式（以下互动方式任选一种或多种）互动时间从即日起至2021.2.10 23:59，获奖名单将在春节后5个工作日内公示~（1 ）打卡：在本活动贴学习每天的课程，并在评论区打卡晒出您的视频课程截图+学习心得；（2 ）盖楼：在本主题帖中跟帖盖楼，留言“新一代、全场景、云数据仓库GaussDB(DWS)”；（3 ）留言：在本主题帖中跟帖留言(包括但不限于课程截图+学习心得、数仓产品体验感受、平台建议等)；（4 ）分享：在GaussDB(DWS)论坛上发帖互动（问题求助，博文分享，问题解答，产品体验感受，产品优化建议等），将链接回复至本帖评论区；3、课程表如下Lesson 1：GaussDB(DWS)产品介绍Lesson 2：GaussDB(DWS)集群部署与管理Lesson 3：GaussDB(DWS) 数据库对象设计Lesson 4：GaussDB(DWS) 数据迁移Lesson 5：GaussDB(DWS) SQL进阶及应用开发指南Lesson 6：GaussDB(DWS)事务、锁机制管理Lesson 7：GaussDB(DWS)资源负载管理Lesson 8：GaussDB(DWS)性能调优Lesson 9：GaussDB(DWS)安全与权限设计Lesson 10：GaussDB(DWS) 补丁、升级及扩容流程Lesson 11：GaussDB(DWS) 备份与恢复Lesson 12：GaussDB(DWS) 日常巡检Lesson 13：GaussDB(DWS) 常见问题三板斧更多课程，敬请期待~戳我打卡第一课→《华为云数仓GaussDB(DWS)产品介绍》，快去评论区完成今日打卡吧~戳我打卡第二课→《GaussDB(DWS)集群部署与管理》，快去评论区完成今日打卡吧~戳我打卡第三课→《GaussDB(DWS) 数据库对象设计》，快去评论区完成今日打卡吧~戳我打卡第四课→《GaussDB(DWS) 数据迁移》，快去评论区完成今日打卡吧~戳我打卡第五课→《GaussDB(DWS) SQL进阶及应用开发指南》，快去评论区完成今日打卡吧~戳我打卡第六课：《GaussDB(DWS)事务、锁机制管理》，快去评论区完成今日打卡吧~戳我打卡第七课：《GaussDB(DWS)资源负载管理》，快去评论区完成今日打卡吧~戳我打卡第八课：《GaussDB(DWS)性能调优》，快去评论区完成今日打卡吧~戳我打卡第九课：《GaussDB(DWS)安全与权限设计》，快去评论区完成今日打卡吧~打卡第十课：《GaussDB(DWS) 补丁、升级及扩容流程》，快去评论区完成今日打卡吧~打卡第十一课：《GaussDB(DWS) 备份与恢复》，快去评论区完成今日打卡吧~打卡第十二课：《GaussDB(DWS) 日常巡检》，快去评论区完成今日打卡吧~打卡第十三课：《GaussDB(DWS) 常见问题三板斧》，快去评论区完成今日打卡吧~坚持打卡哦，加油！4、评奖方式学神奖*1（完成13节课程打卡的用户即有机会抽取）奖       品：华为手环评奖规则：完成13节课程打卡的用户即有机会抽取；心得需是从当日课程中提炼出真实的学习感受。 标兵奖*1（完成8节课程打卡的用户即有机会抽取）奖       品：华为mini蓝牙音箱评奖规则：完成8节课程打卡的用户即有机会抽取；心得需是从当日课程中提炼出真实的学习感受。勤奋奖*3（以上互动方式任选一种或多种参与）奖       品：华为云定制T-shirt评奖规则：活动结束后在盖楼、留言、分享中抽取。4、活动时间即日起——2021.2.10 23:59 获奖名单将在春节过后5个工作日内进行公示5、注意事项使用他人截图、打卡心得经发现视为作弊；一日补签打卡两节课视为作弊哦，大家一定要跟上进度，每日完成打卡；为防止有恶意发帖行为，同一ID一天回帖不得超过5条，若超过将取消获奖资格。每个ID只能参与一次评选，同一ID不可重复中奖。本次回帖内容需满足华为云论坛发帖规范 https://bbs.huaweicloud.com/forum/thread-23077-1-1.html备注：添加微信小助手”GaussDBDWS”加入GaussDB(DWS)大神学习分享群：（小助手会提醒大家每天学习打卡，最新的学习资源也会跟您一起分享哦）小伙伴们，快快行动起来吧！扫码关注我哦，我在这里↓↓↓活动已结束【获奖名单公示】获奖小伙伴快快（ps：请在5个工作日内）私聊小助手（扫描下方二维码或者微信搜索“GaussDBDWS”添加），留下您的获奖地址吧~奖项名称获奖用户（昵称）奖品学神奖千江有水千江月华为手环标兵奖真爱无敌华为mini蓝牙音箱勤奋奖谭涟漪华为云定制T-shirt勤奋奖bzhtoot华为云定制T-shirt勤奋奖Hello Digger华为云定制T-shirt没有中奖的小伙伴不要气馁，培训课程打卡活动第二期已经开始，欢迎大家前往参与互动哦>>【打卡互动赢大奖】DWS王者挑战赛

【问题现象】               DWS集群监控面板不显示监控信息：即 数据仓库服务-》集群列表-》操作-》监控面板进入某个集群的监控页面，其中集群概览，监控-》主机监控，设置-》监控设置 没有数据，且弹出“获取集群监控配置接口异常”【分析过程】        1.登录CDK Master，登录monitor容器查看日志                #kubectl get pod -n dws               #kubectl -ti exec dms-monitoring-xxxxxx -n dws  bash               #vi logs/dms-monitoring.log             日志中大量出现"ERROR com.huawei.dws.dms.monitoring.util.ResponseFactory - receive empty row data, failed to gen response."        2.登录集群节点查看dms agent日志               #vi /home/Ruby/dms_workdir/log/initial.log               遇到域名访问时出现错误信息：Name or service not know        3.查看/home/Ruby/InitDms.json 中"apiGatewayAddr"，可见与2中的域名对应，所以确定为域名解析问题，据了解，大多据点交付时，认为对于clouddns是弱引用，可能不部署该服务，所以造成域名无法解析【解决方案】        1.获取ip，在CDK master节点ping InitDms.json配置的域名 比如dws.dms.china-shujuhu-1.chnenergy.com.cn  获取ip 10.161.239.20        2.配置/home/Ruby/InitCes.json 中"apiGatewayAddr"："10.161.239.20"   解决oc监控问题              /home/Ruby/InitDms.json 中"apiGatewayAddr"："10.161.239.20"         3.重启dms agent，ps aux|grep agent --》kill -9  <agent_initial.py对应进程id>         4.查看/home/Ruby/dms_workdir/log/initial.log日志中有Successfully send 等，刷新界面，等过一段时间可看到信息        5.防止后面下发集群再现该问题，需要修改dwscontroller-x86_64服务参数dms.collection.apigateway.addr，cesGateway.endpoint中对应域名改为ip，等升级成功，同时要kebectl delete pod dwscontroller-xxx -n dws 逐个删除dwscontroller容器，等待重新拉起

此时推荐处理步骤，重新登录FIM，F12选择network项，然后我们选择MPPDB服务，点击数据库用户，可以看到如下图的资源列表里有user_roles?xxxx    500错误此时查看tomcat的catalina.log可以看到如下类型转换的错误此项是补丁升级后replaceOmsPatch脚本执行有问题（此项为补丁指导书必做的步骤，日志为/tmp/replaceOmsPatch.log）日志显示换包后开始restart tomcat，但是没有提示restart tomcat success看脚本逻辑是activeNode和localNode相等才能重启tomcat，但是看日志明显不会相等。此问题会在后续补丁解决。目前符合如上现象，可手动重启tomcat或直接重启Oms实现规避

GaussDB(DWS)数仓生态地图_工具类：版本说明：【GaussDB A】6.5.1/8.0.0/8.1.1类型细分类别产品公司/组织对接版本对接产品工具BIMicrosoft   PowerBI微软　GaussDB(DWS)SAS Enterprise BI serverSAS9.4M5GaussDB(DWS)SAP Business Objects(SAP BO)SAP4.2 sp5GaussDB(DWS)IBM Cognos AnalyticsIBM11.3GaussDB(DWS)TableauTableau10.4GaussDB(DWS)Qlik View  QlikViewQlik11.20.13314.0GaussDB(DWS)developerInformatica9.6.1GaussDB(DWS)KNIME Analytics PlatformKNIME4.1.0(JDBC   timestamp   with tz类型不支持)GaussDB(DWS)FineBI帆软软件有限公司5.1GaussDB(DWS)Primeton BigData/MetaCube等系列产品普元信息技术股份有限公司6.2GaussDB(DWS)永洪BI北京永洪商智科技有限公司8.6GaussDB(DWS)亿信BI北京亿信华辰软件有限责任公司4.7GaussDB(DWS)SmartBI广州思迈特软件有限公司V9GaussDB(DWS)ETLIBM InfoSphere     DataStageIBM7.5.2GaussDB(DWS)Informatica PowerCenterInformatica9.6.1GaussDB(DWS)Primeton BigData/MetaCube等系列产品普元信息技术股份有限公司6.2GaussDB(DWS)DataEtl华云中盛科技有限公司2GaussDB(DWS)KettleApache6.1GaussDB(DWS)报表CongnosIBM11.3GaussDB(DWS)SAP Cristal Report  中文名：水晶报表SAP4.2 sp5GaussDB(DWS)FineReport帆软软件有限公司10GaussDB(DWS)永洪Y-Reporting北京永洪商智科技有限公司科技8.6GaussDB(DWS)亿信BI北京亿信华辰软件有限责任公司4.7GaussDB(DWS)Spreadsheet广州思迈特软件有限公司V9GaussDB(DWS)数据挖掘SAS Enterprise MinerSAS9.4M5GaussDB(DWS)SSAS(SQL Server Analysis Service in VS)微软15.1     (最新的15.9+模型导入时SQL不兼容)GaussDB(DWS)数据复制R7-DIP翱旗科技　GaussDB(DWS)TurboDX DM北京数贝软件科技有限公司V4.0GaussDB(DWS)DRS 华为云　GaussDB(DWS)OTG深圳市商软信息科技有限公司4.2GaussDB(DWS)数据集成Informatica     PowerCenterInformatica9.6.1GaussDB(DWS)SSIS微软2008和2017(15.0.1301.433)GaussDB(DWS)SSDQ微软14.0.1000.169GaussDB(DWS)数据治理平台北京亿信华辰软件有限责任公司2.2GaussDB(DWS)中创企业服务总线ESB山东中创软件商用中间件股份有限公司10GaussDB(DWS)备份恢复Veritas     NetBackUp(NBU)Veritas7.7.3GaussDB(DWS)AnyBackup Express 爱数V7GaussDB(DWS)AnyBackup CDM爱数V7GaussDB(DWS)BDMP迪思杰（北京）数据管理技术有限公司V6.0GaussDB(DWS)作业调度(独立)Control-MBMC　GaussDB(DWS)报表/可视化SSRS微软15.0.1395.0GaussDB(DWS)Fine系列软件帆软软件有限公司10GaussDB(DWS)北京永洪商智科技有限公司Z-Data Hub北京永洪商智科技有限公司8.6GaussDB(DWS)SmartBI系列软件广州思迈特软件有限公司V9GaussDB(DWS)大数据可视化平台北京睿呈时代信息科技有限公司V2.0GaussDB(DWS)安全数据库安全审计系统   数据库安全管理产品北京安华金和科技有限公司V3.2GaussDB(DWS)闪捷数据库审计与防护系统杭州闪捷信息科技有限公司V3.0GaussDB(DWS)闪捷数据库加密系统杭州闪捷信息科技有限公司V3.0GaussDB(DWS)华为云数据库安全服务，DBSS华为云　GaussDB(DWS)数据治理平台(加密)北京亿信华辰软件有限责任公司2.2GaussDB(DWS)运维监控ZnSQL上海新炬网络信息技术股份有限公司V3.0GaussDB(DWS)ZnAIOps上海新炬网络信息技术股份有限公司V4.0GaussDB(DWS)UMP监控平台山东中创软件商用中间件股份有限公司　GaussDB(DWS)操作系统RHEL(Red Hat     Enterprise Linux)红帽公司6.4+/7.0+GaussDB(DWS)SLES(SUSE Enterprise Linux   System)Novell11     SP1/SP2/SP3/SP4GaussDB(DWS)12 SP0/SP1/SP2/SP3GaussDB(DWS)CentOS红帽公司6.4+/7.0+GaussDB(DWS)中标麒麟 KylinOS中标软件有限公司V7.0GaussDB(DWS)EulerOS华为2.8GaussDB(DWS)深度OS武汉深之度科技有限公司V15GaussDB(DWS)银河麒麟天津银河麒麟信息技术有限公司V4.0GaussDB(DWS)红旗RedFlag中国中科红旗软件技术有限公司7.5GaussDB(DWS)云平台/SaaSFusionSphere华为云　GaussDB(DWS)苍穹云平台金蝶软件（中国）有限公司V1.5GaussDB(DWS)开发工具toadQuest Software　GaussDB(DWS)DbVisualizer DbVis Software10.0.26GaussDB(DWS)DbeaverApache5.3.5/6.3.5GaussDB(DWS)Web中间件WebLogic 应用中间件Oracle　GaussDB(DWS)Inforsuite AS 应用中间件山东中创软件商用中间件股份有限公司V10.0GaussDB(DWS)　通用ISV金蝶云・苍穹高斯数据库解决方案金蝶软件（中国）有限公司-GaussDB(DWS)金融数据质量管控平台厦门至恒融兴信息技术有限公司-GaussDB(DWS)金融调度监控预警江苏红网技术股份有限公司-GaussDB(DWS)金融数仓深圳市长亮科技股份有限公司-GaussDB(DWS)交通智慧交通北京易华录信息技术股份有限公司-GaussDB(DWS)教育万数大数据决策分析平台浙江万朋教育科技股份有限公司-GaussDB(DWS)教育数据分析中间件南京迪塔维数据技术有限公司-GaussDB(DWS)教育数据治理南京迪塔维数据技术有限公司-GaussDB(DWS)教育教育大数据平台恒峰信息技术有限公司-GaussDB(DWS)数字政府智慧应急联合解决方案广州欣纬软件技术有限公司-GaussDB(DWS)数字政府基于GaussDB的大数据可视化平台北京睿呈时代信息科技有限公司-GaussDB(DWS)数字政府【鲲鹏】华为政务大数据与城信所时空大数据解决方案广州城市信息研究所有限公司-GaussDB(DWS)数字政府华为鲲鹏服务器的Gaussdb与中星技术的视**应用测试中星电子股份有限公司-GaussDB(DWS)数字政府政务大数据平台软通动力信息技术有限公司-GaussDB(DWS)数字政府华为&超图公司时空大数据平台联合解决方案北京超图软件股份有限公司-GaussDB(DWS)数字政府华为&中地数码时空大数据与云平台联合解决方案武汉中地数码科技有限公司-GaussDB(DWS)数字政府预算管理一体化系统/公共技术平台/授权中心北京博思致新互联网科技有限责任公司-GaussDB(DWS)数字政府政府智能会计管理系列产品V1.0北京博思财信网络科技有限公司-GaussDB(DWS)数字政府数据治理深圳市华傲数据技术有限公司-GaussDB(DWS)数字政府地理信息系统易智瑞（中国）信息技术有限公司-GaussDB(DWS)数字政府数据安全，数据共享交换软通动力信息技术有限公司-GaussDB(DWS)数字政府GIS地址生产顺丰科技有限公司-GaussDB(DWS)数字政府数据治理苏州龙石信息科技有限公司-GaussDB(DWS)数字政府智慧海关迪思杰（北京）数据管理技术有限公司-GaussDB(DWS)医疗全民健康上海森亿医疗科技有限公司-GaussDB(DWS)媒资媒体云北明软件有限公司-GaussDB(DWS)

【功能描述】快速校验集群内表文件是否有损坏文件或者表查询异常，以便扩容变更前进行修复。目前扫描性能1.16PB数据量，480DN耗时90小时。【实现说明】gdisk提供三种扫描方式：1）explain analyze select *方式，适用于单个主备dn扫描，使用方式如下：sh gs_tablescan.sh -m 0 -p 254902）verify方式，适用于连接cn扫描或者主dn扫描，使用方式如下：（CN扫描推荐此方式）sh gs_tablescan.sh -m 1 -p 253083）fast方式，只适用于连接cn扫描，此方式避免在cn汇聚全表数据，需要在对应库创建以下对象：check_bad_table_file_tab1、check_bad_table_file_tab2、check_bad_table_file()，巡检完该库后会自动删除。使用方式如下：sh gs_tablescan.sh -m 2 -p 25308 【补充功能】1）gs_tablescan.sh terminate 停止当前扫描任务2）当前目录process.log记录当前扫描进度3）echo $parallel_count > parallel 增大扫描并发量待当前表扫描完之后生效，不需要重启扫描任务。【日志文件生成说明】database.list：获取数据库列表信息$databaseName_schema.list：每个数据库存在的schema列表，每个数据对应一个文件$databaseName_table.list：每个数据库存在的table列表，每个数据对应一个文件，文件格式为$schemaName.$tableName$databaseName_table.list.doing：该库已经完成的table列表，正在对该库进行扫描，用来实现断点续。$databaseName_table.list.done：对该库扫描完成，内容为扫描完成的table信息process.log：展示获取table与扫描table的进度。terminate_mess.log：记录调用gdisk terminate时间以及终止explain analyze select相关日志。analyze_table.log：所有表执行explain analyze select的执行结果$tablName_analyze_log.tmp：巡检分区表时临时日志文件，可忽略$tablName_partition_type.tmp：巡检分区时存放分区信息，可忽略【使用案例】                1、omm用户登录第一个cn节点             2、创建工具部署路径mkdir -p /home/omm/diskcheck    3、以omm用户登录将表损坏检查工具传至/home/omm/diskcheck目录，并执行以下命令。cd /home/omm/diskcheckdos2unix *    4、执行以下命令修改巡检工具权限chmod +x /home/omm/diskcheck/gs_tablescan.sh       5、脚本运行方式一：手动执行命令进行巡检，该脚本启动后，会持续检查，预计会持续一周（根据巡检场景选做）cd /home/omm/diskcheckdos2unix *nohup ./gs_tablescan.sh >gdisk.log 2>&1 &方式二：控制脚本运行时段，添加脚本启动与停止定时任务1）备份当前环境定时任务crontab -l>/home/omm/diskcheck/crontab.bak2）添加定时任务，每天19点拉起脚本，每天7点停止脚本crontab -e 输入以下内容：* 19 * * * cd /home/omm/diskcheck;sh /home/omm/diskcheck/gs_tablescan.sh -m 1 -p 25308>>/home/omm/diskcheck/gdisk.log 2>&1 &* 7 * * * cd /home/omm/diskcheck;sh /home/omm/diskcheck/gs_tablescan.sh terminate>>/home/omm/diskcheck/terminate.log 2>&1 &注：巡检完成后需要手动删除定时任务    6、并发控制（仅线下环境支持）：cd /home/omm/diskcheckecho $parallel_count > parallel注：$parallel_count取值范围为： [1-10]，可以根据资源使用情况进行并发量调节，进行并发控制时可以动态加载并发量，不需要停止当前任务。增大与减少并发量时需要等正在扫描的表结束后才会生效，具体可查看gdisk进程总数进行判断是否并发控制是否生效，gdisk进程总数等于$parallel_count*4 + 1。ps -ux|grep gs_tablescan|grep -v grep|wc -l    7、紧急停止巡检任务（应急使用）以omm用户登录执行以下命令/home/omm/diskcheck/gs_tablescan.sh terminate    8、查看巡检进度cd /home/omm/diskchecktailf process.log9、结果确认：执行以下命令无结果数据说明无文件损坏，否则联系研发处理                            cat *|grep -i "output"                           cat *grep -i "cache"                           cat *|grep -i "Catalog "                           cat *|grep -i "could not open relation with"                           cat *|grep -i "duplicate "                           cat *|grep -i "Warning "注：进度文件展示获取table list与扫描表的进度，该文件在获取schema列表后会产生，此时显示获取table list进度，扫描第一张表结束后会展示扫描表的整体进度。

OGG即oracle goldengate是一款oracle公司的ETL工具。下面博文详细介绍了ogg和GaussDB(DWS)的对接和配置方法。https://bbs.huaweicloud.com/blogs/233084

ORACLE Business Intelligence Suite Enterprise Edition ( Oracle BIEE)是一种提供了整套的分析和报表功能的企业级商业智能产品。OBIEE支持针对详细商业数据的深入分析和数据挖掘，提供对做出关键决策的真实有用信息。OBIEE包含了一系列的组件，例如“Answer”，“Delivers”，“Interactive Dashboard”和“Applications”。GAUSSDB(DWS)与OBIEE可以实现高效对接，具体指导参见如下博文：https://bbs.huaweicloud.com/blogs/237332

错过了秋招、求职信息闭塞、实习经验缺乏...种种问题让众多归国学子在求职中处于劣势......别担心，只要您有梦，帮您创造未来~来这里看看世界百强的招聘信息吧，一起创造有AI的未来~【推荐阅读】【招兵买马-寻找优秀的你】钱和情怀，诗和远方我们都给你。【版主招募令】白茶清欢无别事，我在等风也等你~华为云GaussDB(DWS)数据仓库以2048大规模节点通过信通院评测认证【持续更新中】GaussDB(DWS)博文汇总贴，欢迎大家交流探讨~【#DevRun开发者沙龙直播汇总】往期黑科技直播回顾来了，快来看~（持续更新中~）

先熟悉下列存原理，可以更好理解后面的场景 。  1. 列存原理       在高斯数据库中，列存表数据按列存储，一列的每60000行(通过max_batchrow参数配置)存储为一个CU(压缩单元，列存表存取最小单元)，同一列的CU连续存储在一个文件中，当大于1GB时，切换到新文件中。       CU生成后数据固定不可更改。CU文件只能追加写。也就是说，后面对这个文件中的CU下的记录的更新或删除都不会更改这个CU(也就不会更改这个1G的文件)，更新操作是写入一条新记录到新CU，将老记录在字典中标记为作废(CU不会有任何的modify)。            从这里也可以知道，对于列存表如果反复做删除，更新后，即使做VACUUM (不带FULL) ，其实没有任何作用，因为对于每个CU都是从字典上标记某个记录为废弃，做VACUUM 后仅仅设置为可用空间，但是由于列存表的 CU 无法进行更改，所以这部分标识为可用的空间其实是无法进行复用的 (复用就是需要更改CU) 。  行存表由于没有所谓CU , 它的page在做VACUUM后是可以重用的(虽然测试来看重用率不高) 。 这也是为什么不建议在高斯DB A列存中进行删除和更新动作的原因  。        备注： 列存表存储单元是CU (Compression Unit) , 行存表存储单元称为Page----------------- CUDesc 表每行记录描述一个CU，包括最大最小值，以及CU在文件中偏移量和大小。其中col_id=-10的行称为VCU，cu_pointer来记录这一组CU（cu_id相同）中哪些行被删除（delete bitmap）。ctid唯一标识列存表的一行，由cu_id和CU内行编号(cu_id, offset)组成。-----------------    2. 列存表插入数据             高斯DB A的行存表插入数据，与postgreSQL一样处理。 但列存表不同，插入数据按每批生成CU, 比如单条语句插入，200条提交一次，那么生成的也是200个CU , 每个CU中存放一条记录 (本来最大可以存放 60000条记录，所谓的小CU问题)，， 通过 insert  into values(),(),(); 一次性写入多笔，那么一批也是一个CU (其中一个CU中存放的条数取决于values后面的值对数目)，相对于一笔笔插入，浪费的CU空间稍好一些，但也是不建议的方式，毕竟values(),(),()... 后能接的值有限，且这种插入方式没有做优化(相对于批量导入) 。         列存CU(压缩单元)只能append，因此如果CU中即使只存储了1条记录，也无法在剩余的空间中新存放其他记录，这中情况只能通过truncate或VACUUM FULL来释放或重新利用空间。   3.   update, insert 的影响及对策           列存表之前虽然有delta表但默认并没有启用，导致单条导入时每次都要产生一个新的CU，不但会导致单条导入性能很差，而且不能有效的使用列存压缩能力，从而导致数据膨胀影响查询的性能和磁盘使用率（CU 8K对齐）。       为解决上述问题，支持列存delta表，单条或者小批量导入时数据进入delta表中，避免小CU的产生，显著提升列存表单条导入的性能，同时解决由于小CU导致的数据膨胀问题。         启用delta表( 目前是库全局启用，无法单个表启动，有风险需谨慎 )：单条或者小批量导入时数据进入delta表中，避免小CU的产生，显著提升列存表单条导入的性能。当前是单次小于100条的插入，插入delta表。delta表的增删改查， 参考行存表的方式。deltamerge ：deltamerge的难点是merge的时机和性能，若干条事务信息不同的row，merge后成为相同的事务信息。 现在deltamerge采用的是手动deltamerge和vacuum内调用。  delete和update的时候需要区分主表还是delta表，oid+ctid的方式。