-
【问题版本】 HCS821【问题描述】ServiceOM集群管理更多点集群监控信息报错【问题影响】 无【问题根因】 CDK参数配置问题【定位过程】 1、ServiceOM界面,资源管理--集群--更多--点集群监控信息报错; 2、界面F12接口monitor报417,保留traceID; 3、登录EICommon-Region-Master-01节点,拿traceID去对应dbsinsight服务搜日志,发现报错信息为: query cluster monitor info exector exception. fail reason,(ClusterMonitorService.java:107) ... Table 'event.instance_monitor' doesn't exist 4、报表不存在,是因为dbsinsight服务CDK参数配置的数据库信息不对导致,event修改成monitor后恢复;【规避措施】修改dbsinsight服务CDK参数后点升级即可,参数如下: 1)修改monitor_db_url的值中event库为monitor; 2)修改LIVENESS_PROBE.PERRIOD_SECONDS值加1,如100改成101;
-
编号问题说明标题连接 1巡检工具介绍如何手动执行巡检来进行测试补充中 2问题定位巡检卡住相关问题补充中
-
1.创建小时分区表预创建分区720个,分区保留策略为最近720小时CREATE table day_part(id int,d_time timestamp) DISTRIBUTE BY HASH (id)PARTITION BY RANGE (d_time)(PARTITION p1 START('2025-01-06 11:17:00 ') END('2025-02-06 12:17:00') EVERY(interval '1 hours'));ALTER TABLE day_part ADD PARTITION pmax VALUES LESS THAN (maxvalue);2.确认最近1个月的小时分区预创建成功select pg_get_tabledef('day_part');3.更改表分区策略为最近2小时4.检查分区自动删除到最近2小时 请问第3,4步骤怎么实现
-
物化自动定时刷新怎么使用的?实验过程如下,物化视图没有自动刷新
-
【问题现象】 创建集群失败,并且会提示(DWS.6016)创建集群失败,Connect Managelp failed, listen times out! 【常见版本】全版本 【定位思路】 1、登录rms数据库查看失败task名称、jobid、执行任务的controller容器,操作方法:https://bbs.huaweicloud.com/blogs/427974 失败任务:RdsPingInstanceManagerIpTask 2、登录rms数据库查看rds_instance表获取manageip,登录数据库方法见:https://bbs.huaweicloud.com/blogs/427974 查询manageIP的sql:select name,manageIp from rds_instance where name like '%创建失败集群名称%' 3、登录DWS管控面管理节点EICommon-region-masterXX任一节点,然后使用curl命令测试上面获取的manageIp网络是否通: cur -kv https://manageIp:12017 4、网络不通可能原因(仅提供协助排查思路,具体定位细节需要给网络创建关联单进行排查): 4.1、交换机信息与neutron要求的规格是否匹配(交换机是否按最佳实践配置) 4.2、交换机高速平面VXLAN是否打通(跨leaf场景) 4.3、裸机内部是否发生报错(device_id、host_id是否为空,裸机网关绑定是否正确) 4.4、交换机到裸机的物理连线是否正确(检查光纤链路) ps:就一个局点就可能出现上述多个原因,网络不通可能是多个因素导致,请仔细排查!!!
-
[性能调优] DWS 线下8.1.1.5版本,select sum(case when a>1 then 1 else 0 end) as a1 ,sum(case when a>2 then 1 else 0 end) as a2,...feom teDWS 线下8.1.1.5版本,select sum(case when a>1 then 1 else 0 end) as a1 ,sum(case when a>2 then 1 else 0 end) as a2,...feom test where dt='20241225';像这种case when 冗余计算这种除了先拆开计算还有什么好方法?
-
【2025年即将到来】大家在新的一年有哪些想要了解和学习的知识呢
-
细粒度恢复多表方案https://bbs.huaweicloud.com/forum/thread-0217170509284925120-1-1.htmlGaussDB的容灾方案https://bbs.huaweicloud.com/forum/thread-0263170509617678149-1-1.html双集群的问题分析https://bbs.huaweicloud.com/forum/thread-0217170509678699121-1-1.html数据膨胀的原因https://bbs.huaweicloud.com/forum/thread-02119170509771104117-1-1.htmlvacuum功能https://bbs.huaweicloud.com/forum/thread-0276170509837207155-1-1.htmlFSM信息的可视化读取https://bbs.huaweicloud.com/forum/thread-02119170509929722118-1-1.htmlvacuum操作的内部原理https://bbs.huaweicloud.com/forum/thread-0263170510259364150-1-1.html多租户的作用https://bbs.huaweicloud.com/forum/thread-0241170510747556137-1-1.html资源池设置https://bbs.huaweicloud.com/forum/thread-0263170510805311151-1-1.html通过设置用户属性进行存储空间管控https://bbs.huaweicloud.com/forum/thread-0217170510847972123-1-1.htmlWDR的作用https://bbs.huaweicloud.com/forum/thread-0241170510991202138-1-1.html如何生成WDR报告https://bbs.huaweicloud.com/forum/thread-0296170511026284142-1-1.html云数仓安全层层防护https://bbs.huaweicloud.com/forum/thread-0217170511253337124-1-1.html定数据库操作记录审计日志https://bbs.huaweicloud.com/forum/thread-0296170511512594143-1-1.html全并行分布式架构https://bbs.huaweicloud.com/forum/thread-0276170511904200156-1-1.html
-
通过智能多维的混合负载管理,华为云GaussDB(DWS)可在集群内实现实时、批量、交互式负载的一站式数据分析。为数据接入提供丰富的数据源接口,满足数据分析的全流程中不同角色对数据分析的不同需求。通过自研TCP多流技术提高物理连接数量级,在MPP架构下数据节点全并行数据交换,华为云GaussDB(DWS)实现单集群最大支持2048节点。2021年Q1建成投产的480节点大集群分析师平台,成为金融行业最大规模商用数据仓库集群,支持上万分析师在线作业,极大满足了大企业数据量激增对平台容量扩展的需求。通过30多项查询重写技术,优化Ad hoc查询性能,实现高并发毫秒级点查询。在已商用的GaussDB(DWS)数据分析平台中,灵活查询平均运行时间由30分钟降低至50秒,查询平均等待时长更是由5小时降低至1.5分钟,查询效率提升200倍!对企业而言,业务数据从产生到汇聚,再到面向场景化分析,每个环节都分秒必争,快速释放数据潜能已成为企业数字化转型的刚需。无缝融合OLAP引擎、时序引擎、CEP引擎,简化数据分析组件架构,实现T+1和T+0合一的一站式数据分析,实时数据与历史数据关联分析技术做到同行业技术领先。在已投产的实时数仓方案中,流数据高峰流量每秒千万级实时接入,解决了传统方案流数据接入流量速率的瓶颈问题。
-
GaussDB(DWS)支持对特定数据库操作记录审计日志,包括:日志保留策略、用户越权访问、存储过程以及对数据库对象的DML、SELECT、COPY和DDL操作。审计日志配置后,当GaussDB(DWS)集群状态异常,或根据业务需要,用户可以查询审计信息确定故障原因或定位历史操作记录。配置方法:1.登录GaussDB(DWS)管理控制台。单击“集群管理”。2.在集群列表中,单击指定集群的名称,然后单击“安全设置”。3.在“审计配置”区域中,设置审计日志保留策略。4.根据需要设置以下操作的审计开关。5.设置是否开启审计日志转储功能。
-
云数仓外部:由华为云的云安全管理产品保驾护航。如:Anti-DDoS、DDoS、Web应用防火墙、漏洞扫描服务、企业主机安全、数据加密服务、SSL证书管理、云堡垒机等。·云数仓内部:主要通过三权分立、行级访问控制、审计管理三种方式进行防护。通过DWS三权分立模型,将管理员分成三类:系统管理员,安全管理员和审计管理员,不存在一手遮天的管理员,当某个管理员密码泄露时,使数据库破坏降到最低。从此各司其职,安全管理员负责用户,审计管理员负责日志审计,系统管理员负责系统运维。开启方法:1.录GaussDB(DWS)管理控制台。在左侧导航树中,单击“集群管理”。2.在集群列表中,单击指定集群的名称,然后单击“安全设置”,打开三权分立开关。依次设置安全管理员用户名、密码、审计管理员用户、密码。3.单击“应用”。在弹出的“保存配置”窗口中,选择是否勾选“立即重启集群”,然后单击“是”,重启后生效。行级访问控制特性是将数据库访问控制精确到数据表行级别,使数据库达到行级访问控制的能力。不同用户执行相同的SQL查询操作,读取到的结果是不同的。即同一张表,不同用户只能查看自身相关的数据信息,不能查看其他用户的数据信息。
-
有了快照后便可以对性能监测数据进行计算分析,生成报告供用户查看。不同的分析角度和分析方式可以得到不同的报告。目前WDR支持对比前后两次快照数据,生成该时间段的性能监测报告,简称“WDR报告”。由于GaussDB(DWS)是分布式数据库,由多个节点组成,节点又分为CN(Coordinator)和DN(Datanode),相应地WDR报告也分为集群(cluster)和单节点(node)两种范围(scope)。两种scope的报告内容有所不同,前者由集群总体的性能数据组成,后者针对单个节点的性能表现进行分析计算。对于单节点scope的报告,CN和DN上的报告内容也有所不同。报告scope在生成报告时由用户指定。GaussDB(DWS)提供了系统函数generate_wdr_report()用于创建WDR报告。生成报告前,首先需确定起止snapshot_id。通过查询dbms_om.snapshot表格,针对感兴趣的时间段,取得两个时间点对应的snapshot_id。
-
WDR是GaussDB(DWS)数据库监控特性的衍生品。数据库内核在运行过程中积累了大量的一手数据,像执行各类SQL的数量,表和索引的访问次数和时间,CPU、内存等底层软硬件的运行情况等。用户可以通过数据库提供的系统视图实时查询这些数据。例如,查询PGXC_WORKLOAD_SQL_COUNT视图可以获得自数据库启动以来各类SQL的执行次数。将这些一手的性能监测数据保存下来,并进行自动化的统计分析,就得获知某段时间内数据库的运行情况,例如是否繁忙,是否有不合理的SQL,有哪些异常事件等,从而为诊断问题,性能调优提供参考依据。这便是WDR的由来。对监测数据进行分析之前先要保存下来。出于性能考虑,数据库内核将各种监测数据都放在了内存里,以便快速更新和读取。一旦进程重启,这些数据将会丢失。因此,WDR做的第一件事就是将内存里的检测数据保存到外设上。这些被保存的性能监测数据被称为“快照”,而保存的过程称为“创建快照”。注意不要将这里的“快照”与数据库的Snapshot混淆。后者指的是Database中的数据在某一时刻的状态,而WDR创建的“快照”是指将某一时刻查询到的系统视图的内容保存在专门的表格中。
-
1、创建组用户关联组资源池CREATE USER tenant_a RESOURCE POOL 'resource_pool_a' PASSWORD 'Gauss_234';2、创建业务用户关联业务资源池CREATE USER tenant_a1 RESOURCE POOL 'resource_pool_a1' USER GROUP 'tenant_a' PASSWORD 'Gauss_234';3、通过设置用户属性(PERM SPACE、TEMP SPACE、SPILL SPACE)可以进行存储空间管控:(1)修改用户“tenant_space_test”永久表空间限额不受限制。ALTER USER tenant_space_test PERM SPACE 'unlimited';(2)修改用户“tenant_space_test”临时表空间限额为100G。ALTER USER tenant_space_test TEMP SPACE '100G';(3)修改用户“tenant_space_test”算子落盘空间限额为200G。ALTER USER tenant_space_test SPILL SPACE '200G';
-
通过设置资源池属性可以进行以下几方面的资源隔离:(1)通过设置mem_percent、memory_limit进行内存资源管理;(2)通过设置io_limits、io_priority进行IO管控;(3)通过设置active_statements、max_dop进行并发管控;(4)可以设置指定的控制组,进行CPU和异常规则的管理;(5)设置资源池异常规则;1、组资源池创建名称为“resource_pool_a”的组资源池关联到了“class_a”控制组。CREATE RESOURCE POOL resource_pool_a WITH (control_group='class_a');2、业务资源池(1)创建名称为“resource_pool_a1”的业务资源池关联到了“workload_a1”控制组CREATE RESOURCE POOL resource_pool_a1 WITH (control_group='class_a:workload_a1');(2)更新一个资源池,其控制组指定为"DefaultClass"组下属的"High" Timeshare Workload控制组。ALTER RESOURCE POOL pool1 WITH (CONTROL_GROUP="High");(3)修改资源池“resource_pool_a1”的内存比例为可用内存大小的20%,即设置MEM_PERCEN的取值为20。ALTER RESOURCE POOL resource_pool_a1 WITH (MEM_PERCENT=20);
上滑加载中
推荐直播
-
GaussDB管理平台TPOPS,DBA高效运维的一站式解决方案
2024/12/24 周二 16:30-18:00
Leo 华为云数据库DTSE技术布道师
数据库的复杂运维,是否让你感到头疼不已?今天,华为云GaussDB管理平台将彻底来改观!本期直播,我们将深入探索GaussDB管理平台的TPOPS功能,带你感受一键式部署安装的便捷,和智能化运维管理的高效,让复杂的运维、管理变得简单,让简单变得可靠。
回顾中 -
DTT年度收官盛典:华为开发者空间大咖汇,共探云端开发创新
2025/01/08 周三 16:30-18:00
Yawei 华为云开发工具和效率首席专家 Edwin 华为开发者空间产品总监
数字化转型进程持续加速,驱动着技术革新发展,华为开发者空间如何巧妙整合鸿蒙、昇腾、鲲鹏等核心资源,打破平台间的壁垒,实现跨平台协同?在科技迅猛发展的今天,开发者们如何迅速把握机遇,实现高效、创新的技术突破?DTT 年度收官盛典,将与大家共同探索华为开发者空间的创新奥秘。
回顾中
热门标签