【问题现象】页面创建dws的ecs集群失败【分析过程】登录DWS页面，创建DWS集群后，在创建进度约30%左右时创建失败，页面显示报错码为ECS.0204登录DWS管理面数据库，select jobId from rds_instance where name like '%{clusterName}%';执行该sql查询创建集群的jobId，其中{clusterName}为创建失败的集群名称登录DWSController容器，根据步骤2中获取的jobId，获取集群创建的详细日志信息，从日志中可以查询到ECS接口返回的详细错误信息，对于ECS资源不足的报错信息一般为No Valid host。【解决方案】检查DWS的规格配置是否正确，进入DWS管理面数据库，select * from rds_resspecattr where specId = (select id from rds_resspec where specCode = "{dwsFlavor}");其中{dwsFlavor}为dws规格名称，查询结果中attrCode为flavor的字段value值即为底层ecs规格名称，登录ServiceOM页面，检查该规格是否存在，CPU和内存信息配置是否正确。若ECS规格正确，则根据报错信息联系ECS同事，检查底层规格是否就绪或底层规格是否充足。

【问题现象】    创建集群，创建失败，报DWS.6000，大概在创建到33%时创建失败,执行到RdsCreateInstanceTask失败【分析过程】        1.查看数据库中的失败步骤            1)登录dwscontroller服务后台数据库mysql           2)执行select task.job_id, task.task_name, task.begin_time, task.listener_num, task.retry_num, task.execution_status from rds_instance ins left join  taskmgr_task task on ins.jobId=task.job_id left JOIN taskmgr_job  job on  task.job_id=job.job_id where ins.`name` like '%集群名称%' order by task.job_id,task.begin_time;           3)查看execution_status列为"FAIL"及 对应的job_id        2.根据job_id从dwscontroller日志获取具体的错误信息           #grep {job_id} ossres-dws.log           有错误信息:"error_code":"BMS.0042"        3.根据2分析是规格有问题，需要核对裸金属规格和controller数据库中的底层规格是否一致   1)mysql中查询对应的底层规格   select c.* from rds_cluster_spec a ,rds_cluster_instance_resspec b,rds_resSpecAttr c   where a.id=b.cluster_spec_id and b.instance_spec_id=c.specId   and a.`code`='集群使用的裸金属规格';            2)查询serviceOM中裸金属的对应的规格信息           核对标准 cpu，dataDisk，diskNum，dnNum，mem，raidNum需要对应一致        【解决方案】   根据BMS.0042的信息，联系BMS同事进行处理           需要和负责规格的同事进行沟通确认是底层规格创建的问题，还是数据库初始化的问题  1.如果是规格创建问题，请参考：       《华为云Stack8.0.2技术中台与AI数据中台服务软件安装指南》--》创建裸金属服务器规格 部分进行创建  2.如果是数据库初始化问题，则修改修改对应的参数                      例如：                      update rds_resspecattr set value = "dws.kd1.12xlarge.4" where specId = "2f2f7036-f24e-4e9e-9c21-a77f741005c2" and attrCode = "flavor";                        update rds_resspecattr set value = "8" where specId = "2f2f7036-f24e-4e9e-9c21-a77f741005c2" and attrCode = "diskNum";

【问题现象】    创建集群，创建失败，报DWS.6000，大概在创建到13%时创建失败,执行到RdsCreateResourceTenantVpcTask失败【分析过程】        1.查看数据库中的失败步骤               1)登录dwscontroller服务后台数据库mysql              2)执行select task.job_id, task.task_name, task.begin_time, task.listener_num, task.retry_num, task.execution_status from rds_instance ins left join  taskmgr_task task on ins.jobId=task.job_id left JOIN taskmgr_job  job on  task.job_id=job.job_id where ins.`name` like '%集群名称%' order by task.job_id,task.begin_time;                 3)查看execution_status列为"FAIL"及 对应的job_id        2.根据job_id从dwscontroller日志获取具体的错误信息             #vi ossres-dws.log             有错误信息:"error_msg":"The IAM user is not authorized to access the API: op_svc user from untrusted ip","error_code":"APIGW.0302"                      3.根据1,2分析有此可见是网络白名单的问题，   需要联系APIGW的同事进行处理   询问安装人员是否扩容了网段，如果扩容了网段，且恰好CDK集群使用了该网段，或者dwscontroller服务器使用了扩容的网段则会出现该问题【解决方案】        1.询问安装人员是否扩容了网段，如果扩容了网段，收集扩容的所有网段        2.配置扩容网段到apigateway的白名单中             /opt/apigateway/resty/etc/router/conf/configure.ini        

Kettle是Pentaho开发的一款开源ETL工具，可在Window、Linux、Unix上运行，抽取数据高效稳定。它提供了一个图形化的用户界面来管理来自不同数据库的数据。如下博文以Windows 7 专业版、Kettle 6.1为例，讲解如何安装和配置Kettle工具。链接如下：https://bbs.huaweicloud.com/blogs/238753

【活动主题】免费学习大师课，13天带您get数仓全技能！1、活动介绍      为了让开发者朋友们能轻松学好用好数仓GaussDB(DWS)，我们推出了数仓GaussDB(DWS)视频培训系列课程打卡活动，本系列共13节课，从产品定位、集群部署、对象设计、性能调优等全方位带您深入掌握数仓GaussDB(DWS)架构和技能。本次课程帮大家制定了打卡计划，不仅课程免费学习，更有华为手环、蓝牙音箱、华为云定制T-shirt等多重好礼等你来拿，现在活动即刻开启，凡在本主题帖中留言、参与打卡或者论坛互动的用户均可参与抽奖哦~2、互动方式（以下互动方式任选一种或多种）互动时间从即日起至2021.2.10 23:59，获奖名单将在春节后5个工作日内公示~（1 ）打卡：在本活动贴学习每天的课程，并在评论区打卡晒出您的视频课程截图+学习心得；（2 ）盖楼：在本主题帖中跟帖盖楼，留言“新一代、全场景、云数据仓库GaussDB(DWS)”；（3 ）留言：在本主题帖中跟帖留言(包括但不限于课程截图+学习心得、数仓产品体验感受、平台建议等)；（4 ）分享：在GaussDB(DWS)论坛上发帖互动（问题求助，博文分享，问题解答，产品体验感受，产品优化建议等），将链接回复至本帖评论区；3、课程表如下Lesson 1：GaussDB(DWS)产品介绍Lesson 2：GaussDB(DWS)集群部署与管理Lesson 3：GaussDB(DWS) 数据库对象设计Lesson 4：GaussDB(DWS) 数据迁移Lesson 5：GaussDB(DWS) SQL进阶及应用开发指南Lesson 6：GaussDB(DWS)事务、锁机制管理Lesson 7：GaussDB(DWS)资源负载管理Lesson 8：GaussDB(DWS)性能调优Lesson 9：GaussDB(DWS)安全与权限设计Lesson 10：GaussDB(DWS) 补丁、升级及扩容流程Lesson 11：GaussDB(DWS) 备份与恢复Lesson 12：GaussDB(DWS) 日常巡检Lesson 13：GaussDB(DWS) 常见问题三板斧更多课程，敬请期待~戳我打卡第一课→《华为云数仓GaussDB(DWS)产品介绍》，快去评论区完成今日打卡吧~戳我打卡第二课→《GaussDB(DWS)集群部署与管理》，快去评论区完成今日打卡吧~戳我打卡第三课→《GaussDB(DWS) 数据库对象设计》，快去评论区完成今日打卡吧~戳我打卡第四课→《GaussDB(DWS) 数据迁移》，快去评论区完成今日打卡吧~戳我打卡第五课→《GaussDB(DWS) SQL进阶及应用开发指南》，快去评论区完成今日打卡吧~戳我打卡第六课：《GaussDB(DWS)事务、锁机制管理》，快去评论区完成今日打卡吧~戳我打卡第七课：《GaussDB(DWS)资源负载管理》，快去评论区完成今日打卡吧~戳我打卡第八课：《GaussDB(DWS)性能调优》，快去评论区完成今日打卡吧~戳我打卡第九课：《GaussDB(DWS)安全与权限设计》，快去评论区完成今日打卡吧~打卡第十课：《GaussDB(DWS) 补丁、升级及扩容流程》，快去评论区完成今日打卡吧~打卡第十一课：《GaussDB(DWS) 备份与恢复》，快去评论区完成今日打卡吧~打卡第十二课：《GaussDB(DWS) 日常巡检》，快去评论区完成今日打卡吧~打卡第十三课：《GaussDB(DWS) 常见问题三板斧》，快去评论区完成今日打卡吧~坚持打卡哦，加油！4、评奖方式学神奖*1（完成13节课程打卡的用户即有机会抽取）奖       品：华为手环评奖规则：完成13节课程打卡的用户即有机会抽取；心得需是从当日课程中提炼出真实的学习感受。 标兵奖*1（完成8节课程打卡的用户即有机会抽取）奖       品：华为mini蓝牙音箱评奖规则：完成8节课程打卡的用户即有机会抽取；心得需是从当日课程中提炼出真实的学习感受。勤奋奖*3（以上互动方式任选一种或多种参与）奖       品：华为云定制T-shirt评奖规则：活动结束后在盖楼、留言、分享中抽取。4、活动时间即日起——2021.2.10 23:59 获奖名单将在春节过后5个工作日内进行公示5、注意事项使用他人截图、打卡心得经发现视为作弊；一日补签打卡两节课视为作弊哦，大家一定要跟上进度，每日完成打卡；为防止有恶意发帖行为，同一ID一天回帖不得超过5条，若超过将取消获奖资格。每个ID只能参与一次评选，同一ID不可重复中奖。本次回帖内容需满足华为云论坛发帖规范 https://bbs.huaweicloud.com/forum/thread-23077-1-1.html备注：添加微信小助手”GaussDBDWS”加入GaussDB(DWS)大神学习分享群：（小助手会提醒大家每天学习打卡，最新的学习资源也会跟您一起分享哦）小伙伴们，快快行动起来吧！扫码关注我哦，我在这里↓↓↓活动已结束【获奖名单公示】获奖小伙伴快快（ps：请在5个工作日内）私聊小助手（扫描下方二维码或者微信搜索“GaussDBDWS”添加），留下您的获奖地址吧~奖项名称获奖用户（昵称）奖品学神奖千江有水千江月华为手环标兵奖真爱无敌华为mini蓝牙音箱勤奋奖谭涟漪华为云定制T-shirt勤奋奖bzhtoot华为云定制T-shirt勤奋奖Hello Digger华为云定制T-shirt没有中奖的小伙伴不要气馁，培训课程打卡活动第二期已经开始，欢迎大家前往参与互动哦>>【打卡互动赢大奖】DWS王者挑战赛

【问题现象】               DWS集群监控面板不显示监控信息：即 数据仓库服务-》集群列表-》操作-》监控面板进入某个集群的监控页面，其中集群概览，监控-》主机监控，设置-》监控设置 没有数据，且弹出“获取集群监控配置接口异常”【分析过程】        1.登录CDK Master，登录monitor容器查看日志                #kubectl get pod -n dws               #kubectl -ti exec dms-monitoring-xxxxxx -n dws  bash               #vi logs/dms-monitoring.log             日志中大量出现"ERROR com.huawei.dws.dms.monitoring.util.ResponseFactory - receive empty row data, failed to gen response."        2.登录集群节点查看dms agent日志               #vi /home/Ruby/dms_workdir/log/initial.log               遇到域名访问时出现错误信息：Name or service not know        3.查看/home/Ruby/InitDms.json 中"apiGatewayAddr"，可见与2中的域名对应，所以确定为域名解析问题，据了解，大多据点交付时，认为对于clouddns是弱引用，可能不部署该服务，所以造成域名无法解析【解决方案】        1.获取ip，在CDK master节点ping InitDms.json配置的域名 比如dws.dms.china-shujuhu-1.chnenergy.com.cn  获取ip 10.161.239.20        2.配置/home/Ruby/InitCes.json 中"apiGatewayAddr"："10.161.239.20"   解决oc监控问题              /home/Ruby/InitDms.json 中"apiGatewayAddr"："10.161.239.20"         3.重启dms agent，ps aux|grep agent --》kill -9  <agent_initial.py对应进程id>         4.查看/home/Ruby/dms_workdir/log/initial.log日志中有Successfully send 等，刷新界面，等过一段时间可看到信息        5.防止后面下发集群再现该问题，需要修改dwscontroller-x86_64服务参数dms.collection.apigateway.addr，cesGateway.endpoint中对应域名改为ip，等升级成功，同时要kebectl delete pod dwscontroller-xxx -n dws 逐个删除dwscontroller容器，等待重新拉起

此时推荐处理步骤，重新登录FIM，F12选择network项，然后我们选择MPPDB服务，点击数据库用户，可以看到如下图的资源列表里有user_roles?xxxx    500错误此时查看tomcat的catalina.log可以看到如下类型转换的错误此项是补丁升级后replaceOmsPatch脚本执行有问题（此项为补丁指导书必做的步骤，日志为/tmp/replaceOmsPatch.log）日志显示换包后开始restart tomcat，但是没有提示restart tomcat success看脚本逻辑是activeNode和localNode相等才能重启tomcat，但是看日志明显不会相等。此问题会在后续补丁解决。目前符合如上现象，可手动重启tomcat或直接重启Oms实现规避

GaussDB(DWS)数仓生态地图_工具类：版本说明：【GaussDB A】6.5.1/8.0.0/8.1.1类型细分类别产品公司/组织对接版本对接产品工具BIMicrosoft   PowerBI微软　GaussDB(DWS)SAS Enterprise BI serverSAS9.4M5GaussDB(DWS)SAP Business Objects(SAP BO)SAP4.2 sp5GaussDB(DWS)IBM Cognos AnalyticsIBM11.3GaussDB(DWS)TableauTableau10.4GaussDB(DWS)Qlik View  QlikViewQlik11.20.13314.0GaussDB(DWS)developerInformatica9.6.1GaussDB(DWS)KNIME Analytics PlatformKNIME4.1.0(JDBC   timestamp   with tz类型不支持)GaussDB(DWS)FineBI帆软软件有限公司5.1GaussDB(DWS)Primeton BigData/MetaCube等系列产品普元信息技术股份有限公司6.2GaussDB(DWS)永洪BI北京永洪商智科技有限公司8.6GaussDB(DWS)亿信BI北京亿信华辰软件有限责任公司4.7GaussDB(DWS)SmartBI广州思迈特软件有限公司V9GaussDB(DWS)ETLIBM InfoSphere     DataStageIBM7.5.2GaussDB(DWS)Informatica PowerCenterInformatica9.6.1GaussDB(DWS)Primeton BigData/MetaCube等系列产品普元信息技术股份有限公司6.2GaussDB(DWS)DataEtl华云中盛科技有限公司2GaussDB(DWS)KettleApache6.1GaussDB(DWS)报表CongnosIBM11.3GaussDB(DWS)SAP Cristal Report  中文名：水晶报表SAP4.2 sp5GaussDB(DWS)FineReport帆软软件有限公司10GaussDB(DWS)永洪Y-Reporting北京永洪商智科技有限公司科技8.6GaussDB(DWS)亿信BI北京亿信华辰软件有限责任公司4.7GaussDB(DWS)Spreadsheet广州思迈特软件有限公司V9GaussDB(DWS)数据挖掘SAS Enterprise MinerSAS9.4M5GaussDB(DWS)SSAS(SQL Server Analysis Service in VS)微软15.1     (最新的15.9+模型导入时SQL不兼容)GaussDB(DWS)数据复制R7-DIP翱旗科技　GaussDB(DWS)TurboDX DM北京数贝软件科技有限公司V4.0GaussDB(DWS)DRS 华为云　GaussDB(DWS)OTG深圳市商软信息科技有限公司4.2GaussDB(DWS)数据集成Informatica     PowerCenterInformatica9.6.1GaussDB(DWS)SSIS微软2008和2017(15.0.1301.433)GaussDB(DWS)SSDQ微软14.0.1000.169GaussDB(DWS)数据治理平台北京亿信华辰软件有限责任公司2.2GaussDB(DWS)中创企业服务总线ESB山东中创软件商用中间件股份有限公司10GaussDB(DWS)备份恢复Veritas     NetBackUp(NBU)Veritas7.7.3GaussDB(DWS)AnyBackup Express 爱数V7GaussDB(DWS)AnyBackup CDM爱数V7GaussDB(DWS)BDMP迪思杰（北京）数据管理技术有限公司V6.0GaussDB(DWS)作业调度(独立)Control-MBMC　GaussDB(DWS)报表/可视化SSRS微软15.0.1395.0GaussDB(DWS)Fine系列软件帆软软件有限公司10GaussDB(DWS)北京永洪商智科技有限公司Z-Data Hub北京永洪商智科技有限公司8.6GaussDB(DWS)SmartBI系列软件广州思迈特软件有限公司V9GaussDB(DWS)大数据可视化平台北京睿呈时代信息科技有限公司V2.0GaussDB(DWS)安全数据库安全审计系统   数据库安全管理产品北京安华金和科技有限公司V3.2GaussDB(DWS)闪捷数据库审计与防护系统杭州闪捷信息科技有限公司V3.0GaussDB(DWS)闪捷数据库加密系统杭州闪捷信息科技有限公司V3.0GaussDB(DWS)华为云数据库安全服务，DBSS华为云　GaussDB(DWS)数据治理平台(加密)北京亿信华辰软件有限责任公司2.2GaussDB(DWS)运维监控ZnSQL上海新炬网络信息技术股份有限公司V3.0GaussDB(DWS)ZnAIOps上海新炬网络信息技术股份有限公司V4.0GaussDB(DWS)UMP监控平台山东中创软件商用中间件股份有限公司　GaussDB(DWS)操作系统RHEL(Red Hat     Enterprise Linux)红帽公司6.4+/7.0+GaussDB(DWS)SLES(SUSE Enterprise Linux   System)Novell11     SP1/SP2/SP3/SP4GaussDB(DWS)12 SP0/SP1/SP2/SP3GaussDB(DWS)CentOS红帽公司6.4+/7.0+GaussDB(DWS)中标麒麟 KylinOS中标软件有限公司V7.0GaussDB(DWS)EulerOS华为2.8GaussDB(DWS)深度OS武汉深之度科技有限公司V15GaussDB(DWS)银河麒麟天津银河麒麟信息技术有限公司V4.0GaussDB(DWS)红旗RedFlag中国中科红旗软件技术有限公司7.5GaussDB(DWS)云平台/SaaSFusionSphere华为云　GaussDB(DWS)苍穹云平台金蝶软件（中国）有限公司V1.5GaussDB(DWS)开发工具toadQuest Software　GaussDB(DWS)DbVisualizer DbVis Software10.0.26GaussDB(DWS)DbeaverApache5.3.5/6.3.5GaussDB(DWS)Web中间件WebLogic 应用中间件Oracle　GaussDB(DWS)Inforsuite AS 应用中间件山东中创软件商用中间件股份有限公司V10.0GaussDB(DWS)　通用ISV金蝶云・苍穹高斯数据库解决方案金蝶软件（中国）有限公司-GaussDB(DWS)金融数据质量管控平台厦门至恒融兴信息技术有限公司-GaussDB(DWS)金融调度监控预警江苏红网技术股份有限公司-GaussDB(DWS)金融数仓深圳市长亮科技股份有限公司-GaussDB(DWS)交通智慧交通北京易华录信息技术股份有限公司-GaussDB(DWS)教育万数大数据决策分析平台浙江万朋教育科技股份有限公司-GaussDB(DWS)教育数据分析中间件南京迪塔维数据技术有限公司-GaussDB(DWS)教育数据治理南京迪塔维数据技术有限公司-GaussDB(DWS)教育教育大数据平台恒峰信息技术有限公司-GaussDB(DWS)数字政府智慧应急联合解决方案广州欣纬软件技术有限公司-GaussDB(DWS)数字政府基于GaussDB的大数据可视化平台北京睿呈时代信息科技有限公司-GaussDB(DWS)数字政府【鲲鹏】华为政务大数据与城信所时空大数据解决方案广州城市信息研究所有限公司-GaussDB(DWS)数字政府华为鲲鹏服务器的Gaussdb与中星技术的视**应用测试中星电子股份有限公司-GaussDB(DWS)数字政府政务大数据平台软通动力信息技术有限公司-GaussDB(DWS)数字政府华为&超图公司时空大数据平台联合解决方案北京超图软件股份有限公司-GaussDB(DWS)数字政府华为&中地数码时空大数据与云平台联合解决方案武汉中地数码科技有限公司-GaussDB(DWS)数字政府预算管理一体化系统/公共技术平台/授权中心北京博思致新互联网科技有限责任公司-GaussDB(DWS)数字政府政府智能会计管理系列产品V1.0北京博思财信网络科技有限公司-GaussDB(DWS)数字政府数据治理深圳市华傲数据技术有限公司-GaussDB(DWS)数字政府地理信息系统易智瑞（中国）信息技术有限公司-GaussDB(DWS)数字政府数据安全，数据共享交换软通动力信息技术有限公司-GaussDB(DWS)数字政府GIS地址生产顺丰科技有限公司-GaussDB(DWS)数字政府数据治理苏州龙石信息科技有限公司-GaussDB(DWS)数字政府智慧海关迪思杰（北京）数据管理技术有限公司-GaussDB(DWS)医疗全民健康上海森亿医疗科技有限公司-GaussDB(DWS)媒资媒体云北明软件有限公司-GaussDB(DWS)

【功能描述】快速校验集群内表文件是否有损坏文件或者表查询异常，以便扩容变更前进行修复。目前扫描性能1.16PB数据量，480DN耗时90小时。【实现说明】gdisk提供三种扫描方式：1）explain analyze select *方式，适用于单个主备dn扫描，使用方式如下：sh gs_tablescan.sh -m 0 -p 254902）verify方式，适用于连接cn扫描或者主dn扫描，使用方式如下：（CN扫描推荐此方式）sh gs_tablescan.sh -m 1 -p 253083）fast方式，只适用于连接cn扫描，此方式避免在cn汇聚全表数据，需要在对应库创建以下对象：check_bad_table_file_tab1、check_bad_table_file_tab2、check_bad_table_file()，巡检完该库后会自动删除。使用方式如下：sh gs_tablescan.sh -m 2 -p 25308 【补充功能】1）gs_tablescan.sh terminate 停止当前扫描任务2）当前目录process.log记录当前扫描进度3）echo $parallel_count > parallel 增大扫描并发量待当前表扫描完之后生效，不需要重启扫描任务。【日志文件生成说明】database.list：获取数据库列表信息$databaseName_schema.list：每个数据库存在的schema列表，每个数据对应一个文件$databaseName_table.list：每个数据库存在的table列表，每个数据对应一个文件，文件格式为$schemaName.$tableName$databaseName_table.list.doing：该库已经完成的table列表，正在对该库进行扫描，用来实现断点续。$databaseName_table.list.done：对该库扫描完成，内容为扫描完成的table信息process.log：展示获取table与扫描table的进度。terminate_mess.log：记录调用gdisk terminate时间以及终止explain analyze select相关日志。analyze_table.log：所有表执行explain analyze select的执行结果$tablName_analyze_log.tmp：巡检分区表时临时日志文件，可忽略$tablName_partition_type.tmp：巡检分区时存放分区信息，可忽略【使用案例】                1、omm用户登录第一个cn节点             2、创建工具部署路径mkdir -p /home/omm/diskcheck    3、以omm用户登录将表损坏检查工具传至/home/omm/diskcheck目录，并执行以下命令。cd /home/omm/diskcheckdos2unix *    4、执行以下命令修改巡检工具权限chmod +x /home/omm/diskcheck/gs_tablescan.sh       5、脚本运行方式一：手动执行命令进行巡检，该脚本启动后，会持续检查，预计会持续一周（根据巡检场景选做）cd /home/omm/diskcheckdos2unix *nohup ./gs_tablescan.sh >gdisk.log 2>&1 &方式二：控制脚本运行时段，添加脚本启动与停止定时任务1）备份当前环境定时任务crontab -l>/home/omm/diskcheck/crontab.bak2）添加定时任务，每天19点拉起脚本，每天7点停止脚本crontab -e 输入以下内容：* 19 * * * cd /home/omm/diskcheck;sh /home/omm/diskcheck/gs_tablescan.sh -m 1 -p 25308>>/home/omm/diskcheck/gdisk.log 2>&1 &* 7 * * * cd /home/omm/diskcheck;sh /home/omm/diskcheck/gs_tablescan.sh terminate>>/home/omm/diskcheck/terminate.log 2>&1 &注：巡检完成后需要手动删除定时任务    6、并发控制（仅线下环境支持）：cd /home/omm/diskcheckecho $parallel_count > parallel注：$parallel_count取值范围为： [1-10]，可以根据资源使用情况进行并发量调节，进行并发控制时可以动态加载并发量，不需要停止当前任务。增大与减少并发量时需要等正在扫描的表结束后才会生效，具体可查看gdisk进程总数进行判断是否并发控制是否生效，gdisk进程总数等于$parallel_count*4 + 1。ps -ux|grep gs_tablescan|grep -v grep|wc -l    7、紧急停止巡检任务（应急使用）以omm用户登录执行以下命令/home/omm/diskcheck/gs_tablescan.sh terminate    8、查看巡检进度cd /home/omm/diskchecktailf process.log9、结果确认：执行以下命令无结果数据说明无文件损坏，否则联系研发处理                            cat *|grep -i "output"                           cat *grep -i "cache"                           cat *|grep -i "Catalog "                           cat *|grep -i "could not open relation with"                           cat *|grep -i "duplicate "                           cat *|grep -i "Warning "注：进度文件展示获取table list与扫描表的进度，该文件在获取schema列表后会产生，此时显示获取table list进度，扫描第一张表结束后会展示扫描表的整体进度。

OGG即oracle goldengate是一款oracle公司的ETL工具。下面博文详细介绍了ogg和GaussDB(DWS)的对接和配置方法。https://bbs.huaweicloud.com/blogs/233084

ORACLE Business Intelligence Suite Enterprise Edition ( Oracle BIEE)是一种提供了整套的分析和报表功能的企业级商业智能产品。OBIEE支持针对详细商业数据的深入分析和数据挖掘，提供对做出关键决策的真实有用信息。OBIEE包含了一系列的组件，例如“Answer”，“Delivers”，“Interactive Dashboard”和“Applications”。GAUSSDB(DWS)与OBIEE可以实现高效对接，具体指导参见如下博文：https://bbs.huaweicloud.com/blogs/237332

错过了秋招、求职信息闭塞、实习经验缺乏...种种问题让众多归国学子在求职中处于劣势......别担心，只要您有梦，帮您创造未来~来这里看看世界百强的招聘信息吧，一起创造有AI的未来~【推荐阅读】【招兵买马-寻找优秀的你】钱和情怀，诗和远方我们都给你。【版主招募令】白茶清欢无别事，我在等风也等你~华为云GaussDB(DWS)数据仓库以2048大规模节点通过信通院评测认证【持续更新中】GaussDB(DWS)博文汇总贴，欢迎大家交流探讨~【#DevRun开发者沙龙直播汇总】往期黑科技直播回顾来了，快来看~（持续更新中~）

先熟悉下列存原理，可以更好理解后面的场景 。  1. 列存原理       在高斯数据库中，列存表数据按列存储，一列的每60000行(通过max_batchrow参数配置)存储为一个CU(压缩单元，列存表存取最小单元)，同一列的CU连续存储在一个文件中，当大于1GB时，切换到新文件中。       CU生成后数据固定不可更改。CU文件只能追加写。也就是说，后面对这个文件中的CU下的记录的更新或删除都不会更改这个CU(也就不会更改这个1G的文件)，更新操作是写入一条新记录到新CU，将老记录在字典中标记为作废(CU不会有任何的modify)。            从这里也可以知道，对于列存表如果反复做删除，更新后，即使做VACUUM (不带FULL) ，其实没有任何作用，因为对于每个CU都是从字典上标记某个记录为废弃，做VACUUM 后仅仅设置为可用空间，但是由于列存表的 CU 无法进行更改，所以这部分标识为可用的空间其实是无法进行复用的 (复用就是需要更改CU) 。  行存表由于没有所谓CU , 它的page在做VACUUM后是可以重用的(虽然测试来看重用率不高) 。 这也是为什么不建议在高斯DB A列存中进行删除和更新动作的原因  。        备注： 列存表存储单元是CU (Compression Unit) , 行存表存储单元称为Page----------------- CUDesc 表每行记录描述一个CU，包括最大最小值，以及CU在文件中偏移量和大小。其中col_id=-10的行称为VCU，cu_pointer来记录这一组CU（cu_id相同）中哪些行被删除（delete bitmap）。ctid唯一标识列存表的一行，由cu_id和CU内行编号(cu_id, offset)组成。-----------------    2. 列存表插入数据             高斯DB A的行存表插入数据，与postgreSQL一样处理。 但列存表不同，插入数据按每批生成CU, 比如单条语句插入，200条提交一次，那么生成的也是200个CU , 每个CU中存放一条记录 (本来最大可以存放 60000条记录，所谓的小CU问题)，， 通过 insert  into values(),(),(); 一次性写入多笔，那么一批也是一个CU (其中一个CU中存放的条数取决于values后面的值对数目)，相对于一笔笔插入，浪费的CU空间稍好一些，但也是不建议的方式，毕竟values(),(),()... 后能接的值有限，且这种插入方式没有做优化(相对于批量导入) 。         列存CU(压缩单元)只能append，因此如果CU中即使只存储了1条记录，也无法在剩余的空间中新存放其他记录，这中情况只能通过truncate或VACUUM FULL来释放或重新利用空间。   3.   update, insert 的影响及对策           列存表之前虽然有delta表但默认并没有启用，导致单条导入时每次都要产生一个新的CU，不但会导致单条导入性能很差，而且不能有效的使用列存压缩能力，从而导致数据膨胀影响查询的性能和磁盘使用率（CU 8K对齐）。       为解决上述问题，支持列存delta表，单条或者小批量导入时数据进入delta表中，避免小CU的产生，显著提升列存表单条导入的性能，同时解决由于小CU导致的数据膨胀问题。         启用delta表( 目前是库全局启用，无法单个表启动，有风险需谨慎 )：单条或者小批量导入时数据进入delta表中，避免小CU的产生，显著提升列存表单条导入的性能。当前是单次小于100条的插入，插入delta表。delta表的增删改查， 参考行存表的方式。deltamerge ：deltamerge的难点是merge的时机和性能，若干条事务信息不同的row，merge后成为相同的事务信息。 现在deltamerge采用的是手动deltamerge和vacuum内调用。  delete和update的时候需要区分主表还是delta表，oid+ctid的方式。

云小课手把手教您快速上手GaussDB(DWS)，以下是已推出的云小课，欢迎各位收藏哦~第1期：如何通过Data Studio连接数据仓库？第2期：导入DWS数据量太大？试试GDS并行导入第3期：车海茫茫中寻找你--GaussDB(DWS)海量数据分析第4期：GaussDB(DWS)轻松导入MRS-Hive数据源第5期：GaussDB(DWS)数据落盘安全吗？来直面三大灵魂拷问第6期：大数据时代的隐私利器-GaussDB(DWS)数据脱敏第7期：不可不知的调优技巧-GaussDB(DWS)表结构优化第8期：打造企业数据“高内聚，低耦合”--试试GaussDB(DWS)逻辑集群，实现数据物理隔离第9期：运筹帷幄-GaussDB(DWS)教你分析阻塞SQL的几个妙招第10期：GaussDB(DWS)数据存储尽在掌控，冷热数据切换自如第11期：GaussDB(DWS)如何使用函数实现数据列加解密第12期：GaussDB(DWS)资源管理介绍第13期：快使用JDBC连接GaussDB(DWS)，来一起玩转数据库~不要忘了收藏我哦，欢迎持续关注本贴，内容持续更新中！

“云原生”在2020年成为备受瞩目的热词，云原生在确保企业数字化转型中资源快速供给、按需使用的同时，支持敏捷的应用开发、稳定的交付运维，加速企业的敏捷创新，是企业数字化转型、智能化升级的必经之路。12月30日，在华为云原生2.0技术峰会上，云原生数据仓库GaussDB(DWS)架构师应邀为大家解读数仓深度技术。GaussDB(DWS)云原生数据仓库五大核心竞争力关键能力1- 融：云原生架构，支持跨源数据融合分析、冷热数据分级存储融合分析能力是云原生数据仓库GaussDB(DWS)核心亮点之一。GaussDB(DWS)采用一套SQL引擎，支持Oracle、Mysql、HDFS等多源数据融合分析，并通过算子下推、加速集群等技术对分析性能进行了大幅优化，在数据免搬迁的前提下，实现了跨源数据免搬迁、高效分析。GaussDB(DWS)云原生数据仓库支持冷热数据多温存储，热数据存储于数仓内部，以获得良好的查询分析性能，冷数据可分级存储到更低成本的OBS中，不仅降低存储成本，并且在OBS内，通过合法鉴权，数据能够共享开放，供其他引擎处理分析，GaussDB(DWS)当前已经支持表内不同分区间的冷热数据存储，未来还将支持更细粒度、更加智能的冷热数据管理。 关键能力2 - 快 ：聚合云海量算力，软硬垂直优化，效率最优第二大特点，快。GaussDB(DWS)主要通过多层级全并行架构来实现。并行的第一个层级，是集群内物理节点间的并行，CN将计划动态分布到多个服务器，通过分布式执行框架，将查询计划在集群内多台物理节点并行执行；第二个层级，是算子级并行，在每个服务器内，查询算子能够利用一个节点内多个CPU核心进行并行计算；第三个层级，是在一个CPU核心的指令序列中支持SIMD指令，结合我们的向量化引擎，实现一个指令同时操作多条数据。同时，我们还集成了现代编译器技术，利用LLVM框架，运行时动态生成执行代码，减少无关指令生成；数据量越大，可获得的性能提升效果越好。正是因为有这样一个全并行计算引擎，我们可以将系统资源最大化利用，提供极致的分析性能。随着金融风控，以及IoT场景对数据实时处理分析的诉求，我们正式发布了GaussDB(DWS)实时数仓版本，快上加快，将快发挥到极致。实时数仓的快主要体现在两个方面。首先是入库速度快，与传统数仓不同，数据的加载不再是T+1的大批量加载模式，而是更加实时的高并发小批量模式。DWS实时数仓时序数据单机入库性能达10w/s，流数据达60w/s，并能够线性扩展。其次是计算分析快，支持基于流式数据的持续计算查询，预置了丰富的时序和流处理函数，通过SQL即可完成复杂流式计算，可实现亿级数据，秒级聚合。正所谓一切皆SQL，经历了几十年的发展，SQL依然是最简洁高效的数据开发语言，能极大的简化应用开发。以Druid监控的一个场景为例，原先1900行的脚本，在GaussDB(DWS)实时数仓中采用SQL语句，仅用150行代码就能实现同样的功能，开发效率提升10+倍。关键能力3 - 大 ：云分布式、按需扩展，支持10PB级数据，大而有序第三个特点，大。我们在Shared-Nothing全分布式架构下，不仅实现了容量线性扩展，在数据加载、数据分析性能上同样实现了线性扩展，从小集群逐步扩展到大集群规模过程中，随着节点数增加，线性扩展比可以高达0.9。从技术上看，大集群需要攻克通信风暴、故障容错和数据备份恢复一致性三大难题。我们通过独创的Multi-Streams多流通信技术，支持集群内百亿级的通信连接，突破了大规模通信的技术瓶颈。在高可用方面，大规模集群下硬件故障成为常态，我们积累了多年，做了大量硬件故障感知及容错处理的工作，来保证大规模集群下的集群自愈和业务可用。在备份恢复方面，我们不仅通过多层级并行实现了线性扩展，还做到了完全在线的全局强一致物理备份，甚至支持表级别的细粒度恢复，竞争力达到了业界领先。GaussDB(DWS)现网运行的PB级数据量以上的大集群已经有10+个，最大商用单集群规模达到240节点。在产品能力上，GaussDB(DWS)可扩展至2048节点，并且该规模在12月已通过信通院的权威评测，树立了业界新标杆。另外，我们还实现了逻辑集群特性，一套物理集群可针对不同业务划分多个逻辑集群，数据相互隔离，支持跨逻辑集群的计算资源调动。通过逻辑集群，可以进一步扩展集群的规模。 关键能力4 - 稳：高可用设计，支持跨AZ容灾，数据无忧、永远在线第四大特点，稳。首先，产品所有内部组件CN、DN、GTM、CM等采用多活或主备设计，通过集群管理进行故障检测和切换。其次，在硬件层面，除了最基本的宕机、断网的直接故障外，GaussDB(DWS)还针对夯死、慢节点、亚健康等僵而不死的复杂场景，做了大量的建模和针对性优化，能够实现故障的准确探测和自愈。在数据可靠性方面，对于数仓而言，数据存一份有单点故障问题，存三份又太浪费资源，一般来讲数据一主一备是个相对合理的选择，但在故障造成网络分区的场景下，很容易出现双主“脑裂”问题，造成数据不一致。GaussDB(DWS)独创的“主-备-从”技术，引入“主”、“备”、“从”三种角色。集群正常时数据仅在主备间进行同步，发生单点故障时数据向“从”同步，从而保证任何状况下都有两副本的数据冗余。在网络分区等异常场景下，一旦主备产生数据分叉，从备又可以承担仲裁者的角色，通过日志比对找到持有正确数据的节点继续提供服务。从而既完美解决了一主一备的脑裂问题，又能够仅用两副本空间代价实现接近三副本的可靠性。对于可靠性要求更高的客户，我们还提供了双集群容灾能力，通过跨AZ、跨Region的物理复制，实现异构集群容灾。时间有限，我们本次只粗略介绍了GaussDB(DWS)高可用技术的一小部分，通过多年的技术积累，我们基本做到了“数据无忧、永远在线”的目标。关键能力5 - 易：快速迁移传统数仓，助力企业轻松上云第五个特点，易。利用GaussDB(DWS)的迁移工具，用户能够非常容易的将数据从线下的Teradata、Oracle等传统数仓快速搬迁上云。迁移主要分为应用迁移和数据迁移两部分。应用迁移是指由于线下传统数据仓库的语法及功能不同，导致业务脚本、存储过程等需要改造适配，为此，GaussDB(DWS)把深耕市场多年、成功迁移数十套Teradata和Oracle数仓的成功经验，开发为一套完整的语法迁移工具，能够支持对数据类型、SQL语法、DSQL脚本、存储过程等语法的自动化转换，对Teradata的常用语法自动化转换率超过90%，对Oracle超过60%。对于动辄几十TB、数百TB的海量数据而言，数据迁移速度极大程度影响业务停机的时间，这对网络、入库能力和迁移工具的效率都提出了很高的要求，以我们去年的某次数据搬迁为例，1PB的数据仅用11小时即完成传输，加上准备工作和数据校验的时间，端到端也仅用时17小时，搬迁速率91TB/小时，并且做到数据0丢失。 GaussDB(DWS)经过近10年的技术沉淀，已服务于全球1000+客户，广泛应用于金融、政府、运营商、交通、物流、互联网等领域。【推荐阅读】【最新活动汇总】DWS活动火热进行中，互动好礼送不停（持续更新中）  HOT  【博文汇总】GaussDB(DWS)博文汇总1，欢迎大家交流探讨~（持续更新中）【维护宝典汇总】GaussDB(DWS)维护宝典汇总贴1，欢迎大家交流探讨（持续更新中）【项目实践汇总】GaussDB(DWS)项目实践汇总贴，欢迎大家交流探讨（持续更新中）【DevRun直播汇总】GaussDB(DWS)黑科技直播汇总，欢迎大家交流学习（持续更新中）【培训视频汇总】GaussDB(DWS) 培训视频汇总,欢迎大家交流学习（持续更新中）扫码关注我哦，我在这里↓↓↓