• [技术干货] 本地客户端Data Studio(windows)连接集群
     1.驱动下载 Data Studio是一款运行在Windows操作系统上的SQL客户端工具,有着丰富的GUI界面,能够管理数据库和数据库对象,编辑、运行、调试SQL脚本,查看执行计划等。在GaussDB(DWS) 管理控制台下载Data Studio软件包,解压后免安装即可使用。 因为是.Net 在window上开发所以下载JDBC驱动,进行安装就好了,完成后安装文件夹如下2.在Windows环境使用ODBC连接参考网站:cid:link_0按官方文档配置好后测试连接 
  • [技术干货] GaussDB(DWS)的部署
    GaussDB(DWS)是一款具备分析及混合负载能力的分布式数据库,支持x86和Kunpeng硬件架构,支持行存储与列存储,提供GB~PB级数据分析能力、多模分析和实时处理能力,用于数据仓库、数据集市、实时分析、实时决策和混合负载等场景,广泛应用于汽车、制造、零售、物流、互联网、金融、政府、电信等行业分析决策系统。  1.购买GaussDB(DWS) 1、华为云官网:http://bbs.huaweicloud.com/ 2、搜索DWS 3、点击立即购买 4、选择购买数据仓库集群 5、进行支付 6、数仓初始化 刚买的数据仓库初始化大概需要半小时 7、进绑定IP地址 点击绑定IP 无公网ip可自行购买  完成后如下,如果不使用记得进行删除哦 至此我们就可以通过外网访问数据库了 。
  • [分享交流] 【分享交流】2024年大家对GaussDB(DWS)有哪些期待?
    GaussDB(DWS)开发者一站式平台,旨在为GaussDB(DWS)的开发者们提供最全面的信息资讯。精品技术文章、最佳实践、直播集锦、热门活动、海量案例、智能机器人,海量资源一站式集成,2024年大家对GaussDB(DWS)有哪些期待?
  • [集群购买/创建] GaussDB(DWS)console界面下载客户端失败(国网OBS)
    【问题版本】 HCS821【问题描述】 国网管控面升级后下载客户端失败,报NoSuchBucket【问题影响】 无【问题根因】 国网部署形态,下载客户端都是使用的总部的桶,下载链接中写入了regionId【定位过程】1、console界面点击下载客户端按钮后,报NoSuchBucket和Thespecified bucket does not exist;2、国网局点都是统一用的总部的桶去下载,需要检查hosts配置是否正确;3、若配置正确,本地ping域名和TelnetIP加443端口测试是否通;注意:(若还是无法下载,可能需要清浏览器缓存、更换浏览器、更换电脑尝试)【规避措施1】(一劳永逸)1、国网部署形态,下载客户端都是使用的总部的桶,下载链接中写入了regionId,需要如下操作后才能下载;2、本地hosts文件配置:(注:IP使用总部的OBS桶IP;域名使用网省带自己regionId的域名)XX.XX.XX.XX obs.{regionId}.sgic.sgcc.com.cn2、本地ping域名和TelnetIP加443端口测试通,就可以登录console界面下载;注意:(若修改后无法下载,需要清浏览器缓存、更换浏览器、更换电脑尝试)【规避措施2】(升级console会更换js文件,只适合短期规避)1、修改Console-Static-01/02两节点上的/opt/cloud/static/private/dws/config.js配置文件中的OBS url对应字段dwsMaintenabceBucketURL的值去掉regionId;具体修改为:"dwsMaintenabceBucketURL": "https://obs.sgic.sgcc.com.cn/dws-tool"2、本地hosts文件配置:(注:IP使用总部的OBS桶IP;域名使用总部不带regionId的域名)XX.XX.XX.XX obs.sgic.sgcc.com.cn3、本地ping域名和TelnetIP加443端口测试通,就可以登录console界面下载;注意:(若修改后无法下载,需要清浏览器缓存、更换浏览器、更换电脑尝试)
  • [存储] GaussDB(DWS)告警:创建表失败
    问题背景:在实际生产环境中,遇到“创建表失败”该怎么排查?原理是什么,通过以下内容我们可以有一定的了解检测原理: cm_agent进程会按照默认周期150s的间隔,在集群的CN实例去创建临时表,如果建表失败6次,则会上报创建表失败的告警。 功能实际作用:创建表的DDL正常执行能准确反馈当前集群并无故障,失败告警能反馈一定程度上集群存在瓶颈或者异常。告警ID:1078919300 告警名称:创建表失败 配置信息: 配置文件:cm.conf abnormal_check_create_table = '{ "_name" : "libac_create_table.so", "check_interval" : "150", "check_count" : "6" }' 参数说明: _name 参数说明:异常检测插件的名字CreateTable插件 check_interval 参数说明:cm_agent进行create table检测的时间间隔。 取值范围:非负整型,单位为秒。 默认取值:150 check_count 参数说明:cm_agent触发create table异常告警的create table连续异常次数的阈值。 取值范围:非负整型。 默认取值:6 日志打印: 日志路径:$GAUSSLOG/cm/cm_agent/ 以下日志信息来源实验室环境(不涉及外部IP和主机名称):2023-02-19 10:32:39.303 tid=44230 Ac-create_table-5001 ERROR: Failed to create tmp table (task failed count 3). 2023-02-19 10:32:39.306 tid=44230 Ac-create_table-5001 ERROR: Failed to run the abnormal check handler: plugin="create_table", interval=150, instanceId=5001. 2023-02-19 10:35:10.914 tid=44230 Ac-create_table-5001 ERROR: Execute sql "BEGIN;SET STATEMENT_TIMEOUT = 120000;CREATE TABLE IF NOT EXISTS sys.cm_agent_abnormal_check_tmp_tablen_5001(a int);DROP TABLE IF EXISTS sys.cm_agent_abnormal_check_tmp_table_on_5001;END;" failed with error message: ERROR: dn_6015_6016: canceling statement due to statement timeout 2023-02-19 10:35:10.915 tid=44230 Ac-create_table-5001 ERROR: Failed to create tmp table (task failed count 4). 2023-02-19 10:35:10.917 tid=44230 Ac-create_table-5001 ERROR: Failed to run the abnormal check handler: plugin="create_table", interval=150, instanceId=5001. 2023-02-19 10:37:41.750 tid=44230 Ac-create_table-5001 ERROR: Execute sql "BEGIN;SET STATEMENT_TIMEOUT = 120000;CREATE TABLE IF NOT EXISTS sys.cm_agent_abnormal_check_tmp_tablen_5001(a int);DROP TABLE IF EXISTS sys.cm_agent_abnormal_check_tmp_table_on_5001;END;" failed with error message: ERROR: dn_6003_6004: canceling statement due to statement timeout 2023-02-19 10:37:41.750 tid=44230 Ac-create_table-5001 ERROR: Failed to create tmp table (task failed count 5). 2023-02-19 10:37:41.753 tid=44230 Ac-create_table-5001 ERROR: Failed to run the abnormal check handler: plugin="create_table", interval=150, instanceId=5001. 2023-02-19 10:40:11.961 tid=44230 Ac-create_table-5001 ERROR: Execute sql "BEGIN;SET STATEMENT_TIMEOUT = 120000;CREATE TABLE IF NOT EXISTS sys.cm_agent_abnormal_check_tmp_tablen_5001(a int);DROP TABLE IF EXISTS sys.cm_agent_abnormal_check_tmp_table_on_5001;END;" failed with error message: ERROR: dn_6003_6004: canceling statement due to statement timeout 2023-02-19 10:40:11.961 tid=44230 Ac-create_table-5001 ERROR: Failed to create tmp table (task failed count 6). 2023-02-19 10:40:11.965 tid=44230 Ac-create_table-5001 LOG: [Alarm Module]Component alarm report succeed! Cmd: /opt/huawei/Bigdata/mppdb/snas_cm_cmd alarm 1078919300 0 00080000000011000800060033FI-MPPDB192.168.253.53test-1Cn5001Failed#to#create#table#on#CN#5001, retCmd: 0. 异常原因: 1、集群压力过载。一般来说cm_agent如果30s内没有收到cn的回复,那么创建表就会失败。常见于集群压力比较大,创建表30s内没有执行完,可搜索cma日志关键字recv timeout expired。 2、实例发生异常。如上日志打印信息dn实例异常。 解决方案: 1、因集群压力导致的告警,需要排查具体过载场景,比如长时间CPU高,需要优化业务,咱们DWS有性能监控工具如CPU内存IO和dbmonitor工具可具体作为排查的手段。 2、因实例长时间故障导致的告警,需要及时排查原因和修复实例故障。 调整参数: 说明 不建议调整参数,不建议调整参数,不建议调整参数。因当前参数容忍度评估在合理范围,如实在需调整请参考命令。 gs_guc reload -Z cm -c "abnormal_check_create_table = '{ \"_name\" : \"libac_create_table.so\", \"check_interval\" : \"180\", \"check_count\" : \"10\" }'"
  • [问题求助] explain analyze 在执行查询时,除了显示查询计划外,还会提供哪些额外的信息?
    explain analyze 在执行查询时,除了显示查询计划外,还会提供哪些额外的信息?
  • [问题求助] 在 dws 中,explain verbose 与 explain 有什么不同?
    在 dws 中,explain verbose 与 explain 有什么不同?
  • [问题求助] EXPLAIN 命令在 DWS 中如何帮助用户理解查询的性能?
    EXPLAIN 命令在 DWS 中如何帮助用户理解查询的性能?
  • [问题求助] GaussDB(DWS)的规划器在选择查询计划时,主要考虑了哪些因素?
    GaussDB(DWS)的规划器在选择查询计划时,主要考虑了哪些因素?
  • [存储] GaussDB(DWS)磁盘使用率报错No space left on device之索引节点inode
    了解背景什么是inode?在Linux系统里一切皆文件。文件存储在硬盘上,硬盘的最小存储单位“扇区”(Sector),每扇区存512字节(Bytes),即0.5KB。 在OS层,发生IO操作在硬盘上,不会一个个扇区读取,效率太低,而是一次性连续读取多个扇区,即一次性读一个“块”(Block)。 块是OS层最小的存取单位,一般地默认os块大小为4K,比如常见的centos、redhat、suse、oracle等OS,kylin server一般默认是64K。数据库系统一般默认数据块大小是8K,比如GaussDB(DWS)、Postgres、Oracle默认都是8K。 如果需要查看块大小可以使用getconf PAGE_SIZE或者getconf PAGESIZE。 数据都在文件里写,文件存储在“块”中,但是,文件的字节数、拥有者的User ID、Group ID、读写执行权限、文件时间戳ctime/mtime/atime、连接数、文件数据block的位置并不和该文件的数据存储在一起,这部分内容我们叫文件的元信息。也就是说除了文件名和文件内容以外的信息,都存储在元信息里,这个元信息俗称索引节点,即inode。 既然说了是元数据,数据指定要存储在硬盘上那么,inode也是要占用磁盘空间的。每个inode一般是128Byte或者256Byte,inode的总数是在磁盘分区格式化时指定。我们假设1G的磁盘,每1K设置1个inode 128Byte,那么inode占用的磁盘空间将高达128MB,占磁盘总量的1/8。inode还有好多有趣的应用这里不再赘述,小伙伴们可自行了解吆。问题描述某客户配置了生产环境应用系统的自动备份最近连续多天失败,需要分析原因。问题根因遇到No space left on device报错1. 检查磁盘使用率df -h2. 检查是否为inode满了df -i说明:以下主机名为随机名称。[root@abcde-db03 ~]# df -iFilesystem Inodes IUsed IFree IUse% Mounted ondevtmpfs 16478032 433 16477599 1% /devtmpfs 16480828 1 4183134 1% /dev/shmtmpfs 16480828 1 4183134 1% /var/chroot/dev/shmtmpfs 16480828 1458 4181677 1% /runtmpfs 16480828 17 4183118 1% /sys/fs/cgroup/dev/vda1 2621440 2621440 0 100% //dev/nvme0n1p1 156281344 8265 156273088 1% /var/chroot/DWS/data1/dev/nvme0n1p2 156281344 6025 156275319 1% /var/chroot/DWS/data2tmpfs 16480828 1 16480827 1% /run/user/1001tmpfs 16480828 1 16480827 1% /run/user/0说明:可以看到IFree实际已经为0,IUse%实际已经100%,代表inode已经写满了,正常状态下IUse也不会写满,在70%以下认为在合理范围。分析过程步骤1 根据备份日志排查发现,日志/opt/dws/tmp/无法写文件报错No space left on device[root@abcde-db03 ~]# vi /home/Ruby/log/cloud-dws-deploy.log步骤2 根据df -i检查发现/opt/dws/tmp挂载点在/根目录下,且根目录的inode使用率到100%[root@abcde-db03 ~]# df -h步骤3 根据检查根目录发现/tmp目录下gauss_error_file_*、gauss_hosts_file*、gauss_output_file*、gauss_result_file*类文件很多,多达100w+[root@abcde-db03 ~]# df -i[root@abcde-db03 ~]# cd /tmp[root@abcde-db03 tmp]# ls -l gauss_*_file_*|wc -l1381639这类文件主要gs_checkperf工具产生的临时文件,gs_checkperf主要是集群内监控执行采集节点各项指标如磁盘CPU内存等指标和巡检时会产生,执行动作完成后临时文件就不需要了,临时文件是历史动作有失败时会保留,评估可以直接删除,删除一定经客户许可。解决方案定时任务定时清理临时文件删除一定经客户许可,删除一定经客户许可,删除一定经客户许可。批量删除文件后inode使用率恢复正常,删除操作谨慎操作,需要按照客户流程执行,禁止私自操作[root@abcde-db03 tmp]# pwd/tmp[root@abcde-db03 tmp]# find /tmp -maxdepth 1 -name "gauss_*_file_*" -type f |xargs -n 1000 rm -f说明:xargs -n 1000 rm -f主要使用在文件数量多的时候,避免删除报错Argument list too long
  • [开发应用] 使用gsql查询时,返回的小数比如0.5,0.25等结果的时候不显示0
    使用gsql查询时,返回的小数比如0.5,0.25等结果的时候不显示0
  • [活动公告] 【获奖名单已公布】【云咖问答】第9期 数仓调优专家坐阵,与您畅聊GaussDB(DWS)运维工具TopSQL,提问互动赢开发者定制礼品~
    数仓在使用过程中,难免会面临查询语句出现异常中断、阻塞时间长等突发问题,如果没能及时记录信息,事后就需要投入更多的人力及时间成本进行问题的定位和解决,有时还无法定位到错误出现的地方。为了解决这种场景,GaussDB(DWS)提供了强大的运维工具TopSQL,对运行中和运行完成的语句全方面记录,帮助用户定位性能问题。TopSQL被誉为性能定位、劣化分析等的重要基石,为用户提供覆盖内存、耗时、IO、网络、空间等多方面的信息记录。在线体验性能调优沙箱实验,点击预约直播听专家详解TopSQL工具。本期我们邀请了华为云数仓GaussDB(DWS)调优专家刘老师坐阵,和大家一起探讨关于运维利刃—TopSQL的话题。【本期云咖】【问题参考】(包括不限于)1. GaussDB(DWS)在开启全部的topsql情况下,会影响查询性能吗2. GaussDB(DWS)中topsql会占用多大空间,是否需要手动清理3. 如果根据topsql指导日常的业务优化4. topsql能否统计到存储倾斜的场景……对于GaussDB(DWS)运维工具TopSQL,你有哪些疑问呢? 【活动时间】2024年2月19日-3月3日【参与方式】直接在此活动帖下方回帖提问即可。【获奖规则】参与云咖问答的提问我们会整理在问答专题中,你的提问将会帮助更多的开发者~欢迎大家踊跃提问,积极互动~【活动规则】1、开发者用户发布的提问,必须与本期产品相关,其他产品求助帖不参与此次活动,将视为无效内容,否则取消该用户获奖资格。(其他产品求助可发帖到相应的版块进行提问);2、本次活动不限用户的总提问数及连续提问数,但需保证提问质量,如华为云社区小编认定参与用户有恶意灌水嫌疑,则取消该用户获奖资格;3、本次活动将根据实际参与情况发放奖励,包括但不限于用户百分之百中奖或奖项轮空的情况;以上奖品均为实物奖品,具体发放视出库情况而定; 4、每期活动预计于结束后10天内完成奖项公示,并于结束后20个工作日内完成邮寄。【温馨提示】1、请务必使用个人实名账号参与活动(IAM、企业账号等账号参与无效)。如一个实名认证对应多个账号,只有一个账号可领取奖励,若同一账号填写多个不同收件人或不同账号填写同一收件人,均不予发放奖励。2、所有获得奖品的获奖用户,请于获奖后3日内完成实名认证,否则视为放弃奖励。
  • [维护宝典] GaussDB(DWS)查询视图报错:ERROR: The view "xxx" is invalid! Hint: Please turn on GUC parameter "view_independ
    【问题背景】:执行查询抛出报错:ERROR: The view "xxx" is invalid! Hint: Please turn on GUC parameter "view_independ问:抛出该报错的问题原因为?答:参数view_independent打开的时候执行ddl操作,让视图无效,后续关闭参数,这个时候再查询抛出该报错,问:view_independent这个参数默认为关闭,打开后再关闭,对数据库中的视图是否有什么潜在的影响答:打开后再关闭,中间若进行过删除视图操作,可能会存在很多无效视图。当参数view_independent开启时,存在视图依赖的表、函数、同义词及其他视图可以单独删除(临时表及临时视图除外),关联视图保留但不可用。当参数view_independent关闭时,存在视图依赖的表、函数、同义词及其他视图不可以单独删除,仅可使用cascade级联删除。
  • [账号/权限/数据库密...] GaussDB(DWS) 无法回收用户的权限,revoke成功后仍有权限
    【问题现象】:对某个用户revoke某项权限后,用权限查询函数查询,发现该用户仍有该权限【根因】:用户权限来源不是直接赋予,而是通过role(角色)或者SYSADMIN(系统管理员)获得的。【排查方法】:1. 查询 pg_authid 表,通过 rolsystemadmin 字段判断是否是系统管理员,系统管可以管理所有普通用户和数据库。2. 可以通过下列语句查询role的赋予情况,role为角色,member为被赋权用户。然后再排查role所拥有的权限。select r1.rolname as role, r2.rolname as member, r3.rolname as grantor, admin_option from pg_auth_members a,pg_roles r1,pg_roles r2,pg_roles r3 where a.roleid = r1.oid and a.member = r2.oid and a.grantor = r3.oid;【解决方法】:回收用户的role(角色)或者SYSADMIN(系统管理员),但这会影响用户的其他权限,如有需要,请将权限更细粒度划分。revoke role_name from user_name;revoke all privileges from user_name; --回收系统管理员权限【复现示例】:将test_schema_user的权限赋予test_schema_user2,用revoke回收test_schema_user2的test_schema的create权限,利用has_schema_privilege查询test_schema_user2的权限情况,发现其仍有test_schema的create权限。参考:访问权限查询函数_数据仓库服务 GaussDB(DWS)_8.1.3推荐版_函数和操作符_系统信息函数 (huaweicloud.com)
  • [其他] GaussDB(DWS)8.1.3-ESL支持的麒麟操作系统信息
    GaussDB(DWS)8.1.3-ESL支持的麒麟操作系统如下:服务器类型操作系统软件支持的版本号对应操作系统内核版本通用X86服务器银河麒麟银河麒麟V10SP1(基于OpenEuler开发的银河麒麟V10SP1,目前仅支持20210518版本)Linux localhost.localdomain 4.19.90-23.8.v2101.ky10.x86_64 #1 SMP Mon May 17 17:08:34 CST 2021 x86_64 x86_64 x86_64 GNU/LinuxTaiShan服务器银河麒麟银河麒麟V10SP1(基于OpenEuler开发的银河麒麟V10SP1,目前仅支持20200711版本)Linux localhost.localdomain 4.19.90-17.ky10.aarch64 #1 SMP Sun Jun 28 14:27:40 CST 2020 aarch64 aarch64 aarch64 GNU/Linux
总条数:2190 到第
上滑加载中