-
如题,比较初级的疑问,还望各位大佬指教。1、GaussDB的官方文档对于架构方面的描述感觉有点欠缺,搞不懂分布式版和主备版的区别在哪?2、此外,现有的材料看起来GaussDB的分布式版看起来跟DWS差别不是很大?
-
DWS 中是否有函数匹配某个值出现的次数?
-
对接HDFS/星环1.1 创建用户创建远端数据湖集群的用户,需有权限读取该集群HDFS上要访问的数据目录,验证此用户是否具有访问目标目录的权限的方法是:在远端HD集群上下载客户端,通过此用户利用HDFS客户端命令访问目标目录(例如用户名是admin,要访问的目录是/tmp/test):kinit adminhdfs dfs -ls /tmp/test1.2 获取配置文件从数据湖集群获取core-site.xml、user.keytab、krb5.conf、hdfs-site.xml四个文件如果目标端为星环:需星环端关闭oauth2认证方式,只使用kerberos认证,并重启整套星环集群,并获取以上四个配置文件1.3 手动创建并修改文件手动创建elk-site.xml文件,并根据实际内容修改红色字体内容,admin@hadoop.COM为用户名+域名,/MRS/hdfs_cfg/user.keytab为后续1.4步骤上传.Keytab文件绝对路径<?xml version="1.0" encoding="UTF-8"?><configuration><property><name>dfs.namenode.kerberos.principal</name><value>admin@hadoop.COM</value></property><property><name>remote_connect_hdfs_enable</name><value>true</value></property><property><name>dfs.namenode.kerberos.keytab</name><value>/MRS/hdfs_cfg/user.keytab</value></property></configuration>创建路径/opt/huawei/Bigdata/mppdb/hdfs/conf将core-site.xml、user.keytab、krb5.conf、hdfs-site.xml、elk-site.xml五个文件上传,并赋权为集群安装用户Chmod 755 *Chown omm:wheel *1.4 创建外表SERVER红色字体根据实际目标HDFS的主备namenode实例的业务IP及端口号进行修改create server server_test foreign data wrapper hdfs_fdw options(address '主namenodeIp:25000,备namenodeIp:25000',hdfscfgpath '/opt/huawei/Bigdata/mppdb/hdfs/conf/ ',type 'HDFS');1.5 创建外表如果为星环独有torc表,可能无法读取,需更换为orc表CREATE FOREIGN TABLE region( R_REGIONKEY INT4, R_NAME TEXT, R_COMMENT TEXT)SERVER server_testOPTIONS( FORMAT 'orc', FOLDERNAME '/user/hive/warehouse/mppdb.db/region_orc11_64stripe/')DISTRIBUTE BY roundrobin;查询:select * from region limit 10;
-
使用\copy导入文件数据时,不管文件格式是txt还是csv,当文件中包含ascii为00的字段值时,导入就会失败,感觉会把0x00当做是字符串的结束,然后就没有读取到完整的一行数据,从而导入失败,请问这种问题有没有解决方案?
-
一版本能力简介1)8.0 autovacuum不可用。2)8.1.1 建议只开系统表的autovacuum。3)813 930版本可以打开系统表和用户表的autovacuum。二 最佳实践2.1 autovacuum的GUC参数 autovacuum的默认guc可以通过执行如下sql查看:select name,setting from pg_settings where name like '%vacuum%'; 每个guc参数的具体含义可以参考产品文档此处不再赘述,且811版本的默认参数设置以813为准,本文仅重点说明四种GUC参数。(产品文档地址:cid:link_0https://support.huaweicloud.com/devg-813-dws/dws_04_0896.html)1) 系统表和用户表开关(1) autovacuum_max_workers = 0,autovacuum被彻底关闭,不会对任何表做清理。(2) autovacuum_max_workers > 0 和 autovacuum = off,只对系统表和开了delta表的列存表做清理(eg:vacuum delta表,vacuum cudesc表和delta merge)。(3) autovacuum_max_workers > 0 和 autovacuum = on, 会对所有表做清理。注:上述描述的列存表的清理,仅包含对列存辅助表的清理,主表的清理为813特性,且默认关闭,不再次赘述。2) 行存清理阈值Autovacuum中判断行存表是否应被清理是根据如下公式进行的:dead_tuples> (autovacuum_vacuum_threshold + autovacuum_vacuum_scale_factor * live_tuples)其中dead_tuple和live_tuples为该表的脏数据和活跃数据,可以通过pg_stat_get_tuples_deleted和pg_stat_get_live_tuples函数获得,若行存表因为不满足公式而不能被autovacuum清理的时候,需要根据实际情况调试guc参数,一般只需调整autovacuum_vacuum_scale_factor大于该表的脏页率即可。对于新集群若知道集群中大表的平均脏页率(脏页率查询方法详见3.3),可以直接设置autovacuum_vacuum_scale_factor,若不好计算,可以参考813版本中默认值设置(811的默认值与813有不同),等待集群运行一段时间后,收集平均脏页率再调整。 3)autovacuum延迟机制机制原理:当vacuum的开销达到了设置的阈值时会休息一段时间。可以通过如下公式计算一次vacuum的额外休眠时间:机制目的:为了减少autovacuum发起的vacuum在并发活动的数据库上的I/O影响。注:(1)上述公式中的 n(dirty),n(hit) 和n(miss)为autovacuum日志中buffer usage所显示的hits,misses和dirtied的数量。(2)若发现autovacuum发起的vacuum较慢,可以调大autovacuum_vacuum_cost_delay和autovacuum_vacuum_cost_limit。4)autovacuum日志(log_autovacuum_min_duration)该日志默认关闭,通过guc参数:log_autovacuum_min_duration设置,介绍如下:参数说明:当自动清理的执行时间大于或者等于某个特定的值时,向服务器日志中记录自动清理执行的每一步操作。设置此选项有助于追踪自动清理的行为。参数类型:SIGHUP例如:将log_autovacuum_min_duration设置为250ms,记录所有运行大于或者等于250ms的自动清理命令的相关信息。该参数的设置推荐以常用大表中平均vacuum的时间为参考。取值范围:整型,最小值为-1,单位为毫秒。当参数设置为0时,表示所有的自动清理操作都记录到日志中。当参数设置为-1时,表示所有的自动清理操作都不记录到日志中。默认值:-1日志标识:automatic vacuum of table …..附录1 autovacuum自动让锁机制Autovacuum有自动让锁机制,即当DDL业务拿表锁发现是被autovacuum阻塞时,会kill掉autovacuum线程,并打印日志:sending cancel to blocking autovacuum PID。该机制有如下特列:1)业务拿四级锁(常见的vacuum,analyze)被阻塞时,autovacuum不会让锁。2)当多个autovacuum线程对一个分区表做vacuum时,autovacuum的自动让锁机制失效。3)8.1.1版本上autovacuum若与业务发生死锁,自动让锁机制不生效。
-
请问SQL server迁移GaussDB有什么工具可以实现对象的迁移?
-
【问题来源】【必填】 湖北农信【问题简要】【必填】 CMS报表及CMS数据库表相关问题【问题类别】【必填】 CMS【AICC解决方案版本】【必填】 AICC版本 AICC 8.15.0 CTI版本 ICDV300R008C23【期望解决时间】【选填】 尽快解决【问题现象描述】【必填】 虚拟呼叫中心性能报表:呼入失败数是否有更详细的解释(在什么样的业务场景下会失败?)2、t_cms_call_agent_day.hang_up_release_num(人工转IVR挂机数)、t_cms_call_agent_day.HANG_UP_NUM(人工转IVR次数):分别统计的是哪些业务场景下的数量?3、T_CMS_CALLIN_SKILL_DAY.QUEUE_FLOW_IVR_NUM(排队溢出转IVR数)/ QUEUE_FLOW_QUEUE_NUM(排队溢出转队列数)/ QUEUE_FLOW_AGENT_NUM(排队溢出转座席数)均未统计到溢出量,数据库表这三个字段数量为零(已经确认溢出的通话确实进入了指定的IVR设备中)。截图为was平台溢出配置4、T_CMS_CALLIN_SKILL_DAY.AGENT_REQUEST_NUM(人工呼入请求服务数)、T_CMS_CALLIN_SKILL_DAY.IN_CALL_SUCC_NUM(人工通话次数)与 T_CMS_CALLIN_DAY.in_occupy_num(人工请求次数)、T_CMS_CALLIN_DAY.in_call_succ_num(人工通话次数) 统计规则分别是什么样的?
-
GaussDB 怎么区分public下哪些是用户自己创建的函数或存储过程?
-
GaussDB 线下集群 8009迁移到8.1.1.3版本集群是否可以平滑过渡?有什么已知风险?
-
GaussDB 8.1.1.3线下版本集群,如何对接OBS使用?
-
GaussDB A 8.1.1.3版本集群为什么建议大表update或大量不同表的update 改成delete加insert实现?
-
GaussDB A 纯软场景线下那个版本有物化视图?
-
GaussDB A 8.1.1.3版本集群为什么不建议大表大数据量update或大量不同表的update?
-
codeArts2月份技术干货合集以及数据库版块问题合集。 1.pytest中的fixture基本用法【转】 https://bbs.huaweicloud.com/forum/thread-0234112932818513063-1-1.html 2.java double 类型_关于Java中的double类型数据【转】 https://bbs.huaweicloud.com/forum/thread-0222111742558810011-1-1.html 3.解决 Maven ‘parent.relativePath‘ of POM【转】 https://bbs.huaweicloud.com/forum/thread-0236112434845316028-1-1.html 4.Non-resolvable parent POM for解决【转】 https://bbs.huaweicloud.com/forum/thread-0220112499223799035-1-1.html 5.在Maven中出现Could not find artifact ...:pom:0.0.1-SNAPSHOT and ‘parent.relativePath‘的错误怎么解决?【转】 https://bbs.huaweicloud.com/forum/thread-0267112499546748034-1-1.html 6.Unable to start ServletWebServerApplicationContext due to missing ServletWebServerFactory bean【转】 https://bbs.huaweicloud.com/forum/thread-0221112501396435024-1-1.html 7.Python利用plotly绘制正二十面体详解【转】 https://bbs.huaweicloud.com/forum/thread-0275112930670884059-1-1.html 8.基于Python实现绘制一个足球【转】 https://bbs.huaweicloud.com/forum/thread-0261112931071459060-1-1.html 9.python __init__与 __new__的区别【转】 https://bbs.huaweicloud.com/forum/thread-0234112931373944060-1-1.html 10.详解Flask数据库的连接与使用【转】 https://bbs.huaweicloud.com/forum/thread-0221112931454173048-1-1.html 11.tensorflow1.x和tensorflow2.x中的tensor转换为字符串的实现【转】 https://bbs.huaweicloud.com/forum/thread-0261112931688113061-1-1.html 12.Flask中特殊装饰器的使用【转】 https://bbs.huaweicloud.com/forum/thread-0237112931865991052-1-1.html 13.pytorch 简介及常用工具包展示【转】 https://bbs.huaweicloud.com/forum/thread-0236112932234100050-1-1.html 14.Pytorch中的 torch.distributions库详解【转】 https://bbs.huaweicloud.com/forum/thread-0234112932425200062-1-1.html 数据库版块问题合集 1.【GaussDB】连接高斯数据库建议使用什么工具? https://bbs.huaweicloud.com/forum/thread-0220111983015871012-1-1.html 2.【GaussDB】数据库存入空字符串会全部被转成NULL,这个能控制不转吗? https://bbs.huaweicloud.com/forum/thread-0236111894276100005-1-1.html 3.【GaussDB】 GaussDB create sequence有if not exists 的类似写法吗 https://bbs.huaweicloud.com/forum/thread-0237111825559668004-1-1.html 4.【GaussDB】连接高斯数据库建议使用什么工具? https://bbs.huaweicloud.com/forum/thread-0220111983015871012-1-1.html 5.【GaussDB】报错: "ERROR:query returened no rows when process into context",怎么处理? https://bbs.huaweicloud.com/forum/thread-0261111825433614001-1-1.html
-
GaussDB 8009版本及8113版本 是否存在系统表,可以查看最近一次业务表数据是否有变动?来判断是否为无用表
上滑加载中
推荐直播
-
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家;李炎-华为云码道产品专家;彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战,从0到1打通消息通道;码道鸿蒙端云一体化实战,快速搭建员工签到系统。
回顾中 -
华为云开发者AI素养直播课·第三期2026/08/21 周五 16:00-18:00
林华鼎-华为云AI开发者运营负责人;念擎-华为云AI开发者运营案例开发专家
本期直播内容:AI六层能力首次详细解读 + 新一代华为云开发者空间亮相 + 校园案例直播带练
回顾中
热门标签