【问题版本】 HCS831【问题描述】 下发集群失败报DWS.0042【问题影响】 创建集群失败【定位过程】1、按照此案例排查失败步骤：https://bbs.huaweicloud.com/blogs/427974，并获取失败task的jobid;2、通过jobid去dwscontroller服务过滤日志，发现有"errorcode message":"FSOPS.NOVA.Schpduler.HuaweiDiskFilter"，找BMS侧排查；BMS侧排查发现：下发选的az不对，筛选到的裸机都是bmsaz2.r1的，目标裸机都是bmsaz.r1下3、选对az后重新创建，发现还是失败，同样的找jobID去搜日志，发现到下载包失败，找OBS侧排查，日志如下；[4a90xxxx-xxxx-xxxx-xxxx-xxxxxxx28965b].installPackage download check result failed.instance return failMsg:{'errorCode': 'E001',errorMsg': 'Failed to download or pre install packages. Error: Failed to download package [8.1.3.333-dws-x86_64-91636-8f04b691-0b660213-20240612155607.tar.gz] from OBS at 3 times. Error: udstool download failed: ...下面有打印：...internal.utils.RestUtils$DefaultObsDnslookup|493|internet host address:[dws-instance-xxxx.obsv3.ndc-r-1.egov.iq/194.xxx.xxx.xxx]2025-01-10 20:23:30 900|com.obs.services.internal.RestStorageService executeRequest 600 OkHttp cost 20022 ms to apply http request2025-01-10 20:23:30 901 com.obs.services.internal.RestStorageService handleThrowable 220 Request failed, Response code: 408; Request ID: null; Request path: https://dws-instance-ndc-r-1.obsv3.ndc-r-1.egov.iq/8.1.3.333-dws-x86_64-91636-8f04b691-0b660213-20240612155607.tar.gz2025-01-1020:23:30 901|com.obs.services.AbstractClient|doActionWithResult|403|Storage|1|HTTP+XML|getObject|I||2025-01-10 20:22:10|2025-01-10 20:23:30|||408|\n, None..'}. RPC msg|com.huawei.hwClouds.dbs.executor.RdsDownloadPackageTask.getInstallCheckResult(RdsDownloadPackageTask.java:220 )4、OBS侧排查发现：手动wget能下载，请求未走到OBS，返回的是公网IP，怀疑是DNS解析问题，让找CloudDNS的人排查；dws-instance-xxxx.obsv3.ndc-r-1.egov.iq/194.xxx.xxx.xxx5、客户这边配置了公网的DNS解析，导致内网的CloudDNS解析也是公网的IP地址；6、让客户修改回去，修改后重新下发成功； 

 请看图：无缘无故报个这个问题，官网文档搜不到一点有用信息，搞什么？tpops 是 24.1.30版本                 

【问题版本】 ESL821【问题描述】 chronyc同步状态有问题【问题影响】 无【问题根因】 告警检查时间精度太粗，导致连续十次检查结果相同进而导致告警上报【定位过程】 1、FI界面上报ALM-12012 NTP服务异常和ALM-12037 NTP服务器异常告警，排查网络正常，123端口也是通的；2、排查发现chrony同步状态异常，排查发现配置文件/etc/chrony.conf中外部时钟源配置的noselect；3、当/etc/chrony.conf中外部时钟源为noselect时，不能配置成iburst，这个可能和我们的脚本有冲突导致chrony重启；noselect代表不使用chrony本身的OS机制进行时间同步。调整为其他(ibrust)则会使chrony机制与之冲突，且会导致FI自身生成chrony.conf失败，从而导致检查配置文件失败，重启chrony。4、同样还是排查如下日志：/var/log/Bigdata/omm/oms/ha/scriptlog/ha_ntp.log/var/log/Bigdata/nodeagent/scriptlog/ntpChecker.log5、由于告警检查时间精度太粗，导致连续十次检查结果相同进而导致告警上报，修改脚本后恢复正常；【规避措施】1、root修改主备OMS节点如下两个文件：（find /opt/huawei/  -name chrony查出来）/opt/huawei/Bigdata/om-server_8.2.0.X/OMS/workspace0/ha/module/harm/plugin/script/chrony/opt/huawei/Bigdata/om-server_8.2.0.X/om/inst/script/chrony注释213、214行，下面另起一行添加如下：EXTERNAL_NTP_OFFSET=$(sudo ${SUDO_PATH_OMS} external_offset_record $ntp_server_ip)2、root修改主备OMS节点如下三个文件：（find /opt/huawei/ -name "manager_sudoExecute.sh"查出来）/opt/huawei/Bigdata/om-server_8.2.0.X/om/sbin/sudo/runtime/manager_sudoExecute.sh/opt/huawei/Bigdata/om-agent_8.2.0.X/nodeagent/bin/sudo/runtime/manager_sudoExecute.sh/opt/huawei/Bigdata_func/sudo/runtime/manager_sudoExecute.sh修改2536行为如下：offset_record=$(echo $offset_record 1000 | awk '{printf "%f\n" ,$1*$2}')

【问题版本】 HCS821【问题描述】ServiceOM集群管理更多点集群监控信息报错【问题影响】 无【问题根因】 CDK参数配置问题【定位过程】    1、ServiceOM界面，资源管理--集群--更多--点集群监控信息报错；    2、界面F12接口monitor报417，保留traceID；    3、登录EICommon-Region-Master-01节点，拿traceID去对应dbsinsight服务搜日志，发现报错信息为：    query cluster monitor info exector exception.  fail reason,(ClusterMonitorService.java:107)    ... Table 'event.instance_monitor' doesn't exist    4、报表不存在，是因为dbsinsight服务CDK参数配置的数据库信息不对导致，event修改成monitor后恢复；【规避措施】修改dbsinsight服务CDK参数后点升级即可，参数如下：    1）修改monitor_db_url的值中event库为monitor；    2）修改LIVENESS_PROBE.PERRIOD_SECONDS值加1，如100改成101；

编号问题说明标题连接  1巡检工具介绍如何手动执行巡检来进行测试补充中  2问题定位巡检卡住相关问题补充中              

1.创建小时分区表预创建分区720个，分区保留策略为最近720小时CREATE table day_part(id int,d_time timestamp)  DISTRIBUTE BY HASH (id)PARTITION BY RANGE (d_time)(PARTITION p1 START('2025-01-06 11:17:00 ') END('2025-02-06 12:17:00') EVERY(interval '1 hours'));ALTER TABLE  day_part ADD PARTITION pmax VALUES LESS THAN (maxvalue);2.确认最近1个月的小时分区预创建成功select pg_get_tabledef('day_part');3.更改表分区策略为最近2小时4.检查分区自动删除到最近2小时 请问第3，4步骤怎么实现

物化自动定时刷新怎么使用的？实验过程如下，物化视图没有自动刷新

【问题现象】      创建集群失败，并且会提示（DWS.6016）创建集群失败,Connect Managelp failed, listen times out！  【常见版本】全版本     【定位思路】     1、登录rms数据库查看失败task名称、jobid、执行任务的controller容器，操作方法：https://bbs.huaweicloud.com/blogs/427974  失败任务：RdsPingInstanceManagerIpTask   2、登录rms数据库查看rds_instance表获取manageip，登录数据库方法见：https://bbs.huaweicloud.com/blogs/427974  查询manageIP的sql：select name,manageIp from rds_instance where name like '%创建失败集群名称%'   3、登录DWS管控面管理节点EICommon-region-masterXX任一节点，然后使用curl命令测试上面获取的manageIp网络是否通：  cur -kv https://manageIp:12017    4、网络不通可能原因（仅提供协助排查思路，具体定位细节需要给网络创建关联单进行排查）：  4.1、交换机信息与neutron要求的规格是否匹配（交换机是否按最佳实践配置）  4.2、交换机高速平面VXLAN是否打通（跨leaf场景）  4.3、裸机内部是否发生报错（device_id、host_id是否为空，裸机网关绑定是否正确）  4.4、交换机到裸机的物理连线是否正确（检查光纤链路）  ps:就一个局点就可能出现上述多个原因，网络不通可能是多个因素导致，请仔细排查！！！ 

DWS 线下8.1.1.5版本，select sum(case when a>1 then 1 else 0 end) as a1 ,sum(case when a>2 then 1 else 0 end) as a2,...feom test where dt='20241225';像这种case when 冗余计算这种除了先拆开计算还有什么好方法？

【2025年即将到来】大家在新的一年有哪些想要了解和学习的知识呢

细粒度恢复多表方案https://bbs.huaweicloud.com/forum/thread-0217170509284925120-1-1.htmlGaussDB的容灾方案https://bbs.huaweicloud.com/forum/thread-0263170509617678149-1-1.html双集群的问题分析https://bbs.huaweicloud.com/forum/thread-0217170509678699121-1-1.html数据膨胀的原因https://bbs.huaweicloud.com/forum/thread-02119170509771104117-1-1.htmlvacuum功能https://bbs.huaweicloud.com/forum/thread-0276170509837207155-1-1.htmlFSM信息的可视化读取https://bbs.huaweicloud.com/forum/thread-02119170509929722118-1-1.htmlvacuum操作的内部原理https://bbs.huaweicloud.com/forum/thread-0263170510259364150-1-1.html多租户的作用https://bbs.huaweicloud.com/forum/thread-0241170510747556137-1-1.html资源池设置https://bbs.huaweicloud.com/forum/thread-0263170510805311151-1-1.html通过设置用户属性进行存储空间管控https://bbs.huaweicloud.com/forum/thread-0217170510847972123-1-1.htmlWDR的作用https://bbs.huaweicloud.com/forum/thread-0241170510991202138-1-1.html如何生成WDR报告https://bbs.huaweicloud.com/forum/thread-0296170511026284142-1-1.html云数仓安全层层防护https://bbs.huaweicloud.com/forum/thread-0217170511253337124-1-1.html定数据库操作记录审计日志https://bbs.huaweicloud.com/forum/thread-0296170511512594143-1-1.html全并行分布式架构https://bbs.huaweicloud.com/forum/thread-0276170511904200156-1-1.html

通过智能多维的混合负载管理，华为云GaussDB(DWS)可在集群内实现实时、批量、交互式负载的一站式数据分析。为数据接入提供丰富的数据源接口，满足数据分析的全流程中不同角色对数据分析的不同需求。通过自研TCP多流技术提高物理连接数量级，在MPP架构下数据节点全并行数据交换，华为云GaussDB(DWS)实现单集群最大支持2048节点。2021年Q1建成投产的480节点大集群分析师平台，成为金融行业最大规模商用数据仓库集群，支持上万分析师在线作业，极大满足了大企业数据量激增对平台容量扩展的需求。通过30多项查询重写技术，优化Ad hoc查询性能，实现高并发毫秒级点查询。在已商用的GaussDB(DWS)数据分析平台中，灵活查询平均运行时间由30分钟降低至50秒，查询平均等待时长更是由5小时降低至1.5分钟，查询效率提升200倍！对企业而言，业务数据从产生到汇聚，再到面向场景化分析，每个环节都分秒必争，快速释放数据潜能已成为企业数字化转型的刚需。无缝融合OLAP引擎、时序引擎、CEP引擎，简化数据分析组件架构，实现T+1和T+0合一的一站式数据分析，实时数据与历史数据关联分析技术做到同行业技术领先。在已投产的实时数仓方案中，流数据高峰流量每秒千万级实时接入，解决了传统方案流数据接入流量速率的瓶颈问题。

GaussDB(DWS)支持对特定数据库操作记录审计日志，包括：日志保留策略、用户越权访问、存储过程以及对数据库对象的DML、SELECT、COPY和DDL操作。审计日志配置后，当GaussDB(DWS)集群状态异常，或根据业务需要，用户可以查询审计信息确定故障原因或定位历史操作记录。配置方法：1.登录GaussDB(DWS)管理控制台。单击“集群管理”。2.在集群列表中，单击指定集群的名称，然后单击“安全设置”。3.在“审计配置”区域中，设置审计日志保留策略。4.根据需要设置以下操作的审计开关。5.设置是否开启审计日志转储功能。

云数仓外部：由华为云的云安全管理产品保驾护航。如：Anti-DDoS、DDoS、Web应用防火墙、漏洞扫描服务、企业主机安全、数据加密服务、SSL证书管理、云堡垒机等。·云数仓内部：主要通过三权分立、行级访问控制、审计管理三种方式进行防护。通过DWS三权分立模型，将管理员分成三类：系统管理员，安全管理员和审计管理员，不存在一手遮天的管理员，当某个管理员密码泄露时，使数据库破坏降到最低。从此各司其职，安全管理员负责用户，审计管理员负责日志审计，系统管理员负责系统运维。开启方法：1.录GaussDB(DWS)管理控制台。在左侧导航树中，单击“集群管理”。2.在集群列表中，单击指定集群的名称，然后单击“安全设置”，打开三权分立开关。依次设置安全管理员用户名、密码、审计管理员用户、密码。3.单击“应用”。在弹出的“保存配置”窗口中，选择是否勾选“立即重启集群”，然后单击“是”，重启后生效。行级访问控制特性是将数据库访问控制精确到数据表行级别，使数据库达到行级访问控制的能力。不同用户执行相同的SQL查询操作，读取到的结果是不同的。即同一张表，不同用户只能查看自身相关的数据信息，不能查看其他用户的数据信息。

有了快照后便可以对性能监测数据进行计算分析，生成报告供用户查看。不同的分析角度和分析方式可以得到不同的报告。目前WDR支持对比前后两次快照数据，生成该时间段的性能监测报告，简称“WDR报告”。由于GaussDB(DWS)是分布式数据库，由多个节点组成，节点又分为CN（Coordinator）和DN（Datanode），相应地WDR报告也分为集群（cluster）和单节点（node）两种范围（scope）。两种scope的报告内容有所不同，前者由集群总体的性能数据组成，后者针对单个节点的性能表现进行分析计算。对于单节点scope的报告，CN和DN上的报告内容也有所不同。报告scope在生成报告时由用户指定。GaussDB(DWS)提供了系统函数generate_wdr_report()用于创建WDR报告。生成报告前，首先需确定起止snapshot_id。通过查询dbms_om.snapshot表格，针对感兴趣的时间段，取得两个时间点对应的snapshot_id。