• [维护宝典] 【维护宝典汇总--变更】GaussDB(DWS) 变更相关维护宝典汇总贴,欢迎大家交流探讨(持续更新中)
    序号标题链接1重装主机报scp错误https://bbs.huaweicloud.com/forum/thread-105678-1-1.html2数据重分布收尾检查时报错pgxc_class中有6个oid未重分布https://bbs.huaweicloud.com/forum/thread-105674-1-1.html3数据重分布报错Could not   begin transaction on Datanodeshttps://bbs.huaweicloud.com/forum/thread-102891-1-1.html4集群在执行升级FIM相关步骤后,DN-01节点每20min重启一次,导致内核mppdb无法升级,回退FIM升级步骤后,DN-01https://bbs.huaweicloud.com/forum/thread-102887-1-1.html5【变更】维护宝典汇总贴来啦~https://bbs.huaweicloud.com/forum/thread-100101-1-1.html6某局点在elk升级前执行补充rpm包命令时,其中一个节点报upgrade   error,general errorhttps://bbs.huaweicloud.com/forum/thread-98019-1-1.html7GaussDB200   6.5.1补丁升级前准备报错应急处理案例(核心原因传错包)https://bbs.huaweicloud.com/forum/thread-96881-1-1.html8GaussDB(DWS)低版本升级到8.0版本sequence问题处理https://bbs.huaweicloud.com/forum/thread-92850-1-1.html9透明加密后集群整节点启动失败https://bbs.huaweicloud.com/forum/thread-92048-1-1.html10GaussDB(DWS)集群启停(机器下电场景)https://bbs.huaweicloud.com/forum/thread-91017-1-1.html11GaussDB(DWS)集群启停(机器不下电场景)https://bbs.huaweicloud.com/forum/thread-91016-1-1.html12ELK扩容常见问题总结(持续更新)https://bbs.huaweicloud.com/forum/thread-89242-1-1.html13修改ip报错启动集群失败https://bbs.huaweicloud.com/forum/thread-85914-1-1.html14修改ip报错gs_guc:The   gs_ctl build is doing now, the gs_guc process shttps://bbs.huaweicloud.com/forum/thread-85912-1-1.html15新添加cn到lvs不生效https://bbs.huaweicloud.com/forum/thread-85909-1-1.html16gs_replace做节点替换,在config阶段报错syntax   error near unexpected token '|https://bbs.huaweicloud.com/forum/thread-85904-1-1.html17重装主机在初始化服务和实例失败,postinstall日志报ifcfg-bond0   not existhttps://bbs.huaweicloud.com/forum/thread-85490-1-1.html18升级manager失败(60%):报timeout   180 systemctl daemon-reload failed to https://bbs.huaweicloud.com/forum/thread-83792-1-1.html19终止数据重分布重新运行业务,应用程序连接数据库报错negative   bitmapset member not allowed等错https://bbs.huaweicloud.com/forum/thread-82986-1-1.html20重分布过程查询活跃语句在重分布业务库中的表,但是连接业务库找不到pgxc_redistbhttps://bbs.huaweicloud.com/forum/thread-81786-1-1.html21数据重分布重入时delete   pgxc_redistb操作耗时长,3小时以上无法完成https://bbs.huaweicloud.com/forum/thread-81763-1-1.html22DWS数据重分布慢系统盘IO高https://bbs.huaweicloud.com/forum/thread-81762-1-1.html23【DWS】【8.0】升级8.0过程中更新系统表失败https://bbs.huaweicloud.com/forum/thread-79952-1-1.html24某局点6.5.1-8.0.0.2升级manager报错https://bbs.huaweicloud.com/forum/thread-79912-1-1.html25某局点升级有节点备份元数据Input/output   errorhttps://bbs.huaweicloud.com/forum/thread-79909-1-1.html26数据重分布报错Failed to   check used space of the data usershttps://bbs.huaweicloud.com/forum/thread-79841-1-1.html27数据重分布报错individual   table redistribution failedhttps://bbs.huaweicloud.com/forum/thread-77741-1-1.html28添加主机时在初始化服务和实例失败,日志报lost   connectionhttps://bbs.huaweicloud.com/forum/thread-77201-1-1.html29表数据量太大,数据导入后,创建索引太慢https://bbs.huaweicloud.com/forum/thread-76763-1-1.html30某线下局点升级manager时因日志权限错误导致报错https://bbs.huaweicloud.com/forum/thread-76198-1-1.html31升级集群失败(42%):报SCP  /opt/huawei/Bigdata/mppdb/gtm/gtm.controlhttps://bbs.huaweicloud.com/forum/thread-73209-1-1.html32重装主机在初始化服务和实例失败https://bbs.huaweicloud.com/forum/thread-71007-1-1.html33扩容或重装主机时在第一步校验参数失败报Failed   to verify nodes connection错误https://bbs.huaweicloud.com/forum/thread-70961-1-1.html34升级manager安装部署新版本脚本执行失败.https://bbs.huaweicloud.com/forum/thread-70539-1-1.html35操作系统 stack   size的值小于3074导致集群dn和cn状态down unkownhttps://bbs.huaweicloud.com/forum/thread-70524-1-1.html36集群升级分发软件包失败,其中一个mppdb节点的互信丢失https://bbs.huaweicloud.com/forum/thread-70512-1-1.html37CN自动剔除导致安装集群补丁失败https://bbs.huaweicloud.com/forum/thread-70123-1-1.html38创建工程的时候报未知错误https://bbs.huaweicloud.com/forum/thread-70116-1-1.html39C80SPC3xx升级8.0.0.1,升级确认时报错https://bbs.huaweicloud.com/forum/thread-70115-1-1.html40升级前部署update   service失败,报failed to generate keystore filehttps://bbs.huaweicloud.com/forum/thread-70113-1-1.html41某局点在升级集群过程中,因max_coordinators设置过大导致升级失败https://bbs.huaweicloud.com/forum/thread-70109-1-1.html42C80SPC300升级8.0.0.1,在升级集群阶段报读alarm_Item.conf文件失败https://bbs.huaweicloud.com/forum/thread-70100-1-1.html43C80SPC300在升级8.0.0.1,在升级集群阶段所有备dn都是pending状态,升级集群失败https://bbs.huaweicloud.com/forum/thread-70094-1-1.html44某局点扩容变更后因未关闭网卡lro、gro参数导致cn连接报错   data channel connect failedhttps://bbs.huaweicloud.com/forum/thread-69966-1-1.html45某局点c80spc305-8.0.0.1升级因上传包错误导致升级失败https://bbs.huaweicloud.com/forum/thread-69942-1-1.html46C80SPC3XX升级8.0   升级集群mppdbserver阶段启动集群CN实例失败https://bbs.huaweicloud.com/forum/thread-69343-1-1.html47C80SPC3xx升级8.0.0.1升级集群的meta组件过程中sssd服务启动失败,系统临时资源不可用https://bbs.huaweicloud.com/forum/thread-69340-1-1.html48C80SPC3XX升级8.0.0.1的时候在升级manager步骤44%报错https://bbs.huaweicloud.com/forum/thread-68828-1-1.html49manager升级过程中执行backup_om_server.sh报错,/var/spool/cron/omm文件不存在https://bbs.huaweicloud.com/forum/thread-67934-1-1.html506.5.1.8版本扩容,前台查看扩容重分布进度一直卡在99%https://bbs.huaweicloud.com/forum/thread-67907-1-1.html51扩容问题定位指南cid:link_152上传包报错,时间不同步,fcd的时间和swift时间https://bbs.huaweicloud.com/forum/thread-177763-1-1.html53C80SPC80x升级8.0.0.2升级集群42%报错,更新系统表失败updatacatalogfailedcid:link_254ECF-->Region:初始化Master虚拟机失败https://bbs.huaweicloud.com/forum/thread-168590-1-1.html55ECF-->Region:创建EI公共CDK集群安装失败https://bbs.huaweicloud.com/forum/thread-154104-1-1.html56老版本巡检工具speed_test残留排查方法https://bbs.huaweicloud.com/forum/thread-139009-1-1.html57添加主机第五步添加节点报diskmgt.service无法启动https://bbs.huaweicloud.com/forum/thread-139043-1-1.html58GaussDB(DWS)switchover标准步骤https://bbs.huaweicloud.com/forum/thread-140502-1-1.html59【8.1.1】某局点升级8.1.1在升级Manager步骤,DeployOMServer报错https://bbs.huaweicloud.com/forum/thread-145499-1-1.html60升级数据库报错,在【升级集群】步骤42%报错https://bbs.huaweicloud.com/forum/thread-148602-1-1.html61在33%RdsCreateInstance步骤失败https://bbs.huaweicloud.com/forum/thread-132763-1-1.html62租户面升级UpdatePreinstallTask失败https://bbs.huaweicloud.com/forum/thread-132748-1-1.html63报DWS.6004,BMS.0010,到30%失败,子任务执行到RdsCreateInstanceTaskhttps://bbs.huaweicloud.com/forum/thread-130122-1-1.html64报DWS.6000,到15%时创建失败,执行到RdsCreateResourceTenantVpcTaskhttps://bbs.huaweicloud.com/forum/thread-128955-1-1.html65升级数据库只读,DDL报错cannotexecutexinaread-onlytransactionhttps://bbs.huaweicloud.com/forum/thread-121738-1-1.html66升级停老集群阶段一个dn进程一直停不掉https://bbs.huaweicloud.com/forum/thread-121526-1-1.html67在升级集群前准备失败,升级日志报获取环境变量失败问题https://bbs.huaweicloud.com/forum/thread-120685-1-1.html68数据重分布重入时deletepgxc_redistb操作耗时长,3小时以上无法完成https://bbs.huaweicloud.com/forum/thread-116906-1-1.html69扩容问题定位方法解析https://bbs.huaweicloud.com/forum/thread-116903-1-1.html70重装主机FAQhttps://bbs.huaweicloud.com/forum/thread-116846-1-1.html71数据重分布报错pmk在个别dn上不存在https://bbs.huaweicloud.com/forum/thread-115557-1-1.html72【8.0.0.1】报错Failedtocheckusedspaceofthedatabaseusershttps://bbs.huaweicloud.com/forum/thread-115556-1-1.html73添加主机在初始化服务和实例失败,还原元数据报错optionfoldername存在非法字符https://bbs.huaweicloud.com/forum/thread-115555-1-1.html74【管控面升级】HCS803-->810,升级阶段;DWS_upgrade-dms-dbm-job执行失败cid:link_075【租户面升级】8.1.1.5->8.1.2 UpdateFinalizeTask FAILcid:link_376【配置租户】manager页面创建子租户报错关联mppdb服务失败cid:link_477【变更】扩容,添加节点报错,dn_6049_6050 not definedcid:link_578【扩容】GaussDB(DWS)扩容后新的节点未被监控cid:link_679【变更】集群升级后,升级preinstall工具报错noclassdeffounderror org wcc frameworkcid:link_780【变更】升级集群执行到44%失败 failed to start the clustercid:link_881【变更】补丁前准备执行到22%失败cid:link_982【变更】升级回滚执行到20%失败cid:link_1083【变更】扩容添加节点报错invalid value for guc parameter comm_max_datanode256cid:link_1184【变更】升级集群前准备56%报错,postinstall执行失败cid:link_1285【变更】升级集群更新系统表失败,cannot drop view xx because other s depandcid:link_1386【变更】扩容重分布后页面显示部分成功cid:link_1487【DWS部署安装】对接周边系统:安装Service OM插件 子任务工步报错-HCS-Deploy859500cid:link_1588【租户面升级】租户面升级UpdateDataStoreTask FAILhttps://bbs.huaweicloud.com/forum/thread-185524-1-1.html89【租户面升级】升级UpdateDatastoreTask工步失败后的手动升级方法cid:link_1690【负载管理配置】console面添加资源管理队列报错资源不足cid:link_1791【在线扩容】分段扩容,重分步阶段UDF业务报错cid:link_1892【在线扩容】分段扩容,第二步扩容失败,RdsCheckClusterScalaOutTask失败cid:link_1993【在线扩容】分段扩容在线扩容加节点采用扩容空闲节点的时候报错已售罄cid:link_2094【变更】GaussDB升级8.1.1,manager升级8.0.2.1后,页面监控不再显示cid:link_2195【变更】主机执行preinstall报错,报错failed to check host xx.xx.xx.xxhttps://bbs.huaweicloud.com/forum/thread-183181-1-1.html96【变更】扩容添加新节点,初始化实例报错,postinstall.log日志报Failed to rebuild instancecid:link_2297【变更】重分布过程中,需要对还未重分布的表进行操作,提示当前表is redistributingcid:link_2398【管控面升级】“DB节点挂到CMDB云服务树”工步执行失败cid:link_2499ECF安装-Region:EI 公共CDK集群 master 节 失败cid:link_25100【变更】8.0升级8.1.1执行到升级集群44%,data preupdate执行失败cid:link_26101【变更】8.0升级8.1.1执行到升级集群0%,service stop执行失败cid:link_27102【变更】6.5.1及以下版本,安装LVS,执行gs_loadbalance报错sh:-c line 0 syntax errorhttps://bbs.huaweicloud.com/forum/thread-179695-1-1.html103log4j漏洞规避过程中,发现找不到log.manager进程cid:link_28104【扩容】扩容14%失败cid:link_29105【升级】DWS.instance-package-register 任务执行失败https://bbs.huaweicloud.com/forum/thread-178846-1-1.html106【扩容】重分步进程意外退出cid:link_30107【扩容】扩容在23%时失败,裸机频被繁备拉起释放又重试cid:link_31108【扩容】扩容在23%时失败cid:link_32109【扩容】扩容时console报"操作不合法"https://bbs.huaweicloud.com/forum/thread-178745-1-1.html110【变更】GaussDB(DWS)线下环境变更前checklistcid:link_33
  • [维护宝典] 【维护宝典汇总--SQL】GaussDB(DWS) SQL相关维护宝典汇总贴,欢迎大家交流探讨(持续更新中)
    序号标题链接1【SQL优化小技巧】利用存储过程(函数)屏蔽查询时的报错处理,来简化业务的设计cid:link_22查看当前时间异常cid:link_13【用户权限】public组权限控制,新建用户自动拥有所有权限,不能控制只访问部分表https://bbs.huaweicloud.com/forum/thread-107168-1-1.html4TPCDS-Q23 报错https://bbs.huaweicloud.com/forum/thread-101079-1-1.html5【SQL】维护宝典汇总贴来啦~https://bbs.huaweicloud.com/forum/thread-100099-1-1.html6TPCDS测试https://bbs.huaweicloud.com/forum/thread-98619-1-1.html7SQL执行C函数报错,查看后台UDF进程异常,UDF   state显示downhttps://bbs.huaweicloud.com/forum/thread-93599-1-1.html8round函数的使用方法https://bbs.huaweicloud.com/forum/thread-91087-1-1.html9数据库及表大小查询https://bbs.huaweicloud.com/forum/thread-85737-1-1.html10SQL执行C函数报错,查看后台UDF进程异常,UDF   state显示downhttps://bbs.huaweicloud.com/forum/thread-84290-1-1.html11日期相减产生的interval类型的显示格式https://bbs.huaweicloud.com/forum/thread-83702-1-1.html12集群外客户端通过 gsql   访问集群出现ssl SYSCALL error问题https://bbs.huaweicloud.com/forum/thread-76163-1-1.html13执行存储过程报错:value out of   range: underflow https://bbs.huaweicloud.com/forum/thread-76162-1-1.html14内存参数不合理导致的性能下降https://bbs.huaweicloud.com/forum/thread-76007-1-1.html15copy 导入数据时,报 Failed   to ABORT an implicitly PREPARED transactionhttps://bbs.huaweicloud.com/forum/thread-71369-1-1.html16DWS中sql性能差的问题定位方法https://bbs.huaweicloud.com/forum/thread-68375-1-1.html17数据库迁移时数据无法访问问题处理https://bbs.huaweicloud.com/forum/thread-68301-1-1.html18如何pg_terminate_backend多条sqlhttps://bbs.huaweicloud.com/forum/thread-148364-1-1.html19执行sql报错:ERROR:bufferoverflow,limitof20000https://bbs.huaweicloud.com/forum/thread-137344-1-1.html20客户使用JDBC执行sql报错:ERROR:insufficientdataleftinmessagehttps://bbs.huaweicloud.com/forum/thread-119769-1-1.html21报错:thespaceusedonDNhasexceededthesqlusespacelimithttps://bbs.huaweicloud.com/forum/thread-119304-1-1.html22多nodegroup场景sql执行慢,查看等锁的wait-status是nonehttps://bbs.huaweicloud.com/forum/thread-123154-1-1.html23【磁盘只读】异常SQL触发集群只读后触发语句确认cid:link_0
  • [技术干货] 【博文汇总--POC&维护】GaussDB(DWS) POC&维护相关博文汇总贴,欢迎大家交流探讨(持续更新中)
    序号博文题目博文链接1并发场景低效SQL检测方法cid:link_12【GaussDB(DWS)】资源管控方案技术分享cid:link_23MPP架构下数据倾斜率分析cid:link_34数据仓库日常巡检策略总结cid:link_45GaussDB(DWS)性能优化最佳实践cid:link_56【GaussDB(DWS)】数据仓库自动化清理功能实现cid:link_67华为云数仓GaussDB(DWS)】SQL语句上线验收操作指导cid:link_78DWS数据库用户权限设计与管理cid:link_89GaussDB(DWS)之数据库对象设计cid:link_910GaussDB(DWS)存储过程实现作业执行过程日志记录方法示例cid:link_1011【GaussDB(DWS)】如何调整表的分布列cid:link_1112GaussDB(DWS) 字符集浅谈cid:link_1213华为商城(Vmall)背后的黑科技cid:link_1314DWS权限管理概述cid:link_1415DWS资源负载管理原理概述cid:link_1516GaussDB(DWS)&TD分区表设计原理和使用对比cid:link_16178种ETL算法汇总大全!看完你就全明白了cid:link_1718DWS与Greenplum一些语法差异总结cid:link_1819GaussDB(DWS)中GTM组件对sequence管理cid:link_1920GaussDB(DWS) gds线下迁移cid:link_2021Roach备份恢复GaussDB(DWS)cid:link_2122GaussDB(DWS)   一些常见参数调优分享cid:link_2223GaussDB(DWS)   车辆检索与技战法浅析cid:link_2324主流Web中间件与GaussDB(DWS)   对接介绍cid:link_24257*24国际运维节:运维人的那些事儿,你知道吗?cid:link_2526GaussDB(DWS)表级锁功能实操与思考cid:link_2627ORACLE   CONNECT_BY_ROOT,CONNECT_BY_ISLEAF等在GaussDB(DWS)上实现cid:link_2728解密华为数据仓库产品GaussDB(DWS)cid:link_2829ORACLE   触发器在GaussDB(DWS)上的实现cid:link_2930GaussDB(DWS)对被视图引用的表进行DDL操作步骤cid:link_3031【GaussDB   (DWS)】业务表拆分显示策略分享cid:link_3132GaussDB(DWS)通过GDS导出的文件竟然无法重新导入到源表?原来是分隔符与字符集不兼容搞的鬼https://bbs.huaweicloud.com/blogs/19887533GaussDB A   集群安装过程及部分问题解决方案cid:link_3234【数仓搬迁】gsql结合python交互应用的实用技巧cid:link_3335【数仓搬迁】数据一致性比对解决方案cid:link_3436SQL下盘导致磁盘IO高问题分析cid:link_3537DWS数据脏页统计及空间回收介绍cid:link_3638GaussDB(DWS)工作负载管理实战cid:link_3739DWS服务参数优化cid:link_3840DWS历史sql资源消耗分析方法cid:link_3941【Linux】 top 命令详解cid:link_4042DWS服务sql不下推问题总结cid:link_4143关于DWS 空间释放(vacuum   full) 最佳实践cid:link_4244DWS开发指导cid:link_4345ADB for mysql 【INSERT   [IGNORE] INTO table_name】迁移 DWS 改写方法https://bbs.huaweicloud.com/blogs/22154246TD常用字典视图在GaussDB(DWS)上实现cid:link_4447使用Python连接GaussDB(DWS)cid:link_4548由两个问题引发的对GaussDB(DWS)负载均衡的思考cid:link_4649使用DWS访问存算分离的MRS集群的数据cid:link_4750GaussDB(DWS)   Flink实时流入库简单介绍cid:link_4851GaussDB(DWS)与OGG对接cid:link_4952SQL执行流程cid:link_5053Informatica10.2与GaussDB   A8.0对接cid:link_5154AIX服务器安装psql工具连接GaussDBcid:link_5255Cognos11.0.12   对接GaussDB Acid:link_5356GaussDB(DWS)与SAP_IDP&UPD对接配置cid:link_5457GAUSSDB(DWS)对接OBIEE指导cid:link_5558GaussDB(DWS)与Kettle对接指导cid:link_5659GaussDB(DWS)与HVR对接测试cid:link_5760DWS运维常用SQLcid:link_5861Gauss DB对接Tableaucid:link_5962华为云DWS与阿里云ADB(MySQL)的差异总结cid:link_6063GaussDB(DWS)   震惊!复杂语句的SQL优化竟然是?cid:link_6164perl通过ODBC连接GaussDB(DWS)cid:link_6265GaussDB(DWS)运维的那些事?   ——关于释放磁盘异常占用空间的经验总结cid:link_6366Gauss DB A数据库安装使用的端口号cid:link_6467GaussDB(DWS)对接系列-BI工具BIP对接cid:link_6568Gauss   DB(DWS)对接系列-BI工具SAS对接cid:link_6669GaussDB(DWS)对接系列-BI工具BIEE对接cid:link_6770GaussDB(DWS)常见的三种公共模式cid:link_6871配置SQL ON   OBS桶策略,实现DWS访问分离cid:link_6972DWS console 配置参数说明cid:link_7073【GaussDB(DWS)实践系列】数据倾斜检查与修改方法cid:link_7174GaussDB(DWS)中Oracle不兼容语法修改集cid:link_7275GaussDBA(DWS)多租户资源管理配置实例cid:link_7376GaussDB(DWS)对接系列-数据可视化工具Grafana7.4.3版本对接cid:link_7477【数仓迁移】TD迁移GaussDB(DWS)之DDL迁移对照cid:link_7578【易运维】GaussDB(DWS)审计日志转储实践cid:link_7679GaussDB(DWS)实践系列DWS与OBS数据互导cid:link_7780GaussDBA(DWS)sequence序列使用注意事项(持续更新)cid:link_7881数据仓库服务(DWS)事件管理记录为空的问题解决方案cid:link_7982GaussDB(DWS)记录数据表操纵日志--系统日志提取方案cid:link_8083调用CESAPI查看数据仓库服务(DWS)监控指导cid:link_8184DWSPowerBI对接指导cid:link_8285逻辑集群中的用户权限cid:link_8386GaussDB(DWS)实践系列-常用命令FAQcid:link_8487【TD迁移】【函数迁移之一】因字符集变化引起的函数适配cid:link_8588谁阻塞了谁的前进--锁等待监控查询cid:link_8689DWS对接DLIFlink实现实时数据接入cid:link_8790给强大的“心脏”配上“超级流水线”-GaussDB(DWS)数据仓库平台ETL系统建设方案cid:link_8891GaussDB(DWS)发生数据倾斜不要慌,一文教你轻松获取表倾斜率cid:link_8992GaussDB(DWS)实践系列-工作负载管理交付指南(线上版本)cid:link_9093GaussDB(DWS)实践系列-工作负载管理交付指南(线下版本)cid:link_9194GaussDB(DWS)实践系列-DWS集群NBU备份恢复操作步骤cid:link_9295GaussDB(DWS)--基于用户的空间管理方法cid:link_9396教你如何优雅的编译和使用TPC-DS工具cid:link_9497GaussDB(DWS)实践系列-GaussDB(DWS)如何查询对象(表)的创建时间?cid:link_9598从二进制文件导入到GaussDB(DWS)cid:link_9699GaussDB(DWS)实践系列-行级访问策略优化实践cid:link_97100GaussDB(DWS)实践系列-两级用户权限管理实践cid:link_98101Oracle存储过程中table%Rowtype语法改写cid:link_99102减少读写互锁方案分享--交换分区特性实例cid:link_100103GaussDB(DWS)权限管理场景总结https://bbs.huaweicloud.com/blogs/280402104RDS-DRS-DWS数据复制链路优化方案比对cid:link_101105GaussDB(DWS)COPY命令实现不同编码库之间数据容错写入cid:link_102106DWS菜鸟的私房菜の实时数据接入のDRS实时数据同步直通DWScid:link_103107【TD迁移GaussDB(DWS)】【函数迁移之二】TD常用日期函数适配https://bbs.huaweicloud.com/blogs/285981108巡检工具部署及使用(线上版本gs_check)cid:link_104109GaussDB(DWS)脏页空间回收实践https://bbs.huaweicloud.com/blogs/289400110GaussDB(DWS)实践系列mybatis改造https://bbs.huaweicloud.com/blogs/289334111GaussDBDWS中的内存资源配置实践https://bbs.huaweicloud.com/blogs/289372112GaussDB(DWS)实践系列-《分区表TTL管理实现》cid:link_105113运维&应急&变更标准方案套件cid:link_0114GaussDB(DWS)性能问题处理套路cid:link_106115GaussDB(DWS)waitinccnqueue的时候,怎么迅速定位处理?cid:link_107116GaussDB(DWS)“表信息查询”与“分布列等信息修改”的一个方便脚本cid:link_108 117磁盘使用率相关问题定位指南cid:link_109118详解GaussDB(DWS)数据库查询关联的广播和重分布cid:link_110119GaussDB(DWS)   Hang问题定位指南cid:link_111120JDBC问题定位指南cid:link_112121GaussDB(DWS)集群启停问题定位指南cid:link_113122GaussDB(DWS)线程残留定位手段cid:link_114123GaussDB(DWS)多租户技术深入讲解cid:link_115124GaussDB(DWS)生产应急指导cid:link_116125GaussDB(DWS)增删CN操作总结cid:link_117126蒲公英的约定——等待事务syncid:link_118127GaussDB for DWS实例故障修复cid:link_119128GaussDB(DWS)delete误删数据后如何恢复https://bbs.huaweicloud.com/blogs/197988129GaussDB(DWS)扩容问题定位指南(一)cid:link_120130GaussDB(DWS)扩容问题定位指南(二)cid:link_121131GaussDB   (DWS)高可用问题定位指南cid:link_122132GaussDB(DWS)升级问题定位指南(一)https://bbs.huaweicloud.com/blogs/203238133GaussDB(DWS)升级问题定位指南(二)cid:link_123134GaussDB(DWS)升级问题定位指南(三)cid:link_124135GaussDB(DWS)主备均衡指南cid:link_125136GaussDB(DWS)补丁问题定位指南cid:link_126137GaussDB(DWS)NTP变更指南cid:link_127138GaussDB(DWS)系统表清理指南cid:link_128139GaussDB(DWS)数据重分布原理cid:link_129140GaussDB(DWS)vacuum   full专题——vacuum full执行慢怎么办?cid:link_130141GaussDB(DWS)修改IP问题定位指南cid:link_131142GaussDB(DWS)   负载管理简单介绍以及作业排队处理方法cid:link_132143GaussDB(DWS)节点替换&实例修复问题定位指南cid:link_133144GaussDB常规锁简介cid:link_134145列存表如何查看CU信息cid:link_135146内存不可用报错:memory   temporarily unavailable 的排查方法cid:link_136147gs_replace修复节点时容易遇到的坑cid:link_137148suse 12.3   操作系统问题导致cn卡死或频繁重启cid:link_138149GaussDB网络重传/丢包问题定位总结cid:link_139150数据仓库之维度建模介绍-- 未完成cid:link_140151代码 or   指令,浅析ARM架构下的函数的调用过程cid:link_141152GaussDB外部连接报错汇总cid:link_142153GaussDB(DWS)数据重分布跳表方案cid:link_143154【维护案例】绝对表空间使用不规范致使内存异常cid:link_144155GaussDB(DWS)网卡多队列未配置告警处理指南cid:link_145156【维护案例】新装、扩容集群通信报错:data/control   channel disconnectcid:link_146157GaussDB重要通信参数汇总cid:link_147158GaussDB通信原理总结cid:link_148159GaussDB(DWS)实例长期处于catchup问题分析cid:link_149160Unity   背包系统的完整实现(基于MVC框架思想)cid:link_150161GaussDB(DWS)lvs部署指南cid:link_151162GaussDB(DWS)JDBC连接报错案例集锦cid:link_152163升级&扩容变更咨询问题FAQcid:link_153164GaussDB(DWS)   license常见咨询问题cid:link_154165GaussDB(DWS)安装问题案例集锦cid:link_155166GaussDB(DWS)资源管理配置问题定位指南cid:link_156167Gaussdb(for   Cassandra) copy最佳实践方案cid:link_157168DWS日常巡检FAQcid:link_158169GaussDB(DWS)LVS问题定位思路及案例分享cid:link_159170集群创建业务及集群创建失败案例案例整理cid:link_160171GaussDB集群问题总纲cid:link_161172GaussDB通信性能问题定位总结cid:link_162173GaussDB(DWS)之查询为什么没有走索引cid:link_163174华为云PB级数据库GaussDB(forRedis)揭秘第五期:高斯Redis在IM场景中的应用cid:link_164175GaussDB(DWS)函数下推属性介绍cid:link_165176GaussDB(DWS)资源负载管理参数配置全解cid:link_166177保障业务连续性,GaussDB(DWS)高可用有妙招cid:link_167178负载管理:让“笨”的数仓“聪明”起来cid:link_168179列存表并发更新时时的锁等待问题原理cid:link_169180通俗易懂数仓建模—Inmon范式建模与Kimball维度建模https://bbs.huaweicloud.com/blogs/256371181PG的WAL机制cid:link_170182MTKCTP移植流程https://bbs.huaweicloud.com/blogs/258367183GaussDBDWS存储类问题汇总cid:link_171184GaussDB(DWS)快速上手支撑现网变更cid:link_172185GaussDB(DWS)对象依赖案例集锦cid:link_173186keepalive(AnI/OERRORoccuredwhilesendingtothebackend)cid:link_174187PG数据库HOT链简介https://bbs.huaweicloud.com/blogs/259873188华为云FusionInsight湖仓一体解决方案cid:link_175189Hive分布式数据仓库(1)cid:link_176190Hive分布式数据仓库(2)https://bbs.huaweicloud.com/blogs/262891191走进元数据不一致系列(一)——Catalogismissingnattribute(s)forrelidxxxcid:link_177192DWS线下集群重装OS场景下重装主机实施方案cid:link_178193DWSCN事务号回卷故障构造及恢复cid:link_179194GaussDB(DWS)分布式Join原理浅析cid:link_180195GaussDB(DWS)Nodeagent进程故障问题汇总cid:link_181196数据库中CHAR,VARCHAR,TEXT等字段的区别cid:link_182197语句等锁超时排查解决方法cid:link_183198DWS集群创建失败场景-NoIPaddressesavailableonnetworkxxxxxcid:link_184199扩容分段重分步https://bbs.huaweicloud.com/blogs/280888200句柄不回收,空间不释放https://bbs.huaweicloud.com/blogs/298143201探讨建立基于应用维度的系统资源的监控与分析cid:link_185202【DWS运维变更】【标准变更方案】【纯软】gs_replace修复实例https://bbs.huaweicloud.com/blogs/301635203GaussDB:根据relfilenode查找Schema、表名,判断是表文件还是索引文件cid:link_186204管控面监控面板部分显示异常cid:link_187205【DWS】集群监控信息(DMS),页面无数据显示。https://bbs.huaweicloud.com/blogs/317152206GaussDB(DWS)递归(withrecursive)执行逻辑解析https://bbs.huaweicloud.com/blog207GaussDB(DWS) FI manager用户、角色、租户问题前端排查思路cid:link_189208DWS语句处于idle in transaction状态常见场景cid:link_190209GaussDB(DWS) FI manager节点健康检查逻辑梳理cid:link_191210GaussDB(DWS)等待视图wait_status常见状态介绍https://bbs.huaweicloud.com/blogs/338836211DWS性能优化之IO高问题处理cid:link_192212主动预防-DWS关键工具安装确认https://bbs.huaweicloud.com/blogs/358659
  • [技术干货] 【博文汇总--测试】GaussDB(DWS) 测试相关博文汇总贴,欢迎大家交流探讨(持续更新中)
    序号博文题目博文链接1DWS的SCHEMA介绍cid:link_02DWS表对象VACUUM FULL实践cid:link_13DWS日期时间类型格式设置及不同格式时间数据入库指导cid:link_24GaussDB(DWS)负载管理核心技术解密三:   工作负载管理测试分析cid:link_35华为云数仓GaussDB(DWS)备份恢复的实现cid:link_46GaussDB(DWS)透明加密介绍cid:link_57常用测试模型:TPCDShttps://bbs.huaweicloud.com/blogs/1980878GaussDB(DWS) 扩容加节点介绍cid:link_69GaussDB(DWS)自定义函数返回多结果集cid:link_710GaussDB(DWS)基础实践:MRS数据导入DWScid:link_811GaussDB(DWS)流式数据入库实践一:Python接口cid:link_912GaussDB for DWS   负载管理核心技术解密四: 工作负载计划解密cid:link_1013GaussDB(DWS)流式数据入库实践二:C接口cid:link_1114GaussDB(DWS)流式数据入库实践三:Java接口cid:link_1215GaussDB(DWS)全文检索特性初探cid:link_1316GaussDB(DWS)典型数据仓库业务之拉链表模型cid:link_1417GaussDB(DWS)高可用之单点故障业务不中断cid:link_1518GaussDB 加解密函数简介cid:link_1619Sql ON Anywhere之数据篇cid:link_1720GaussDB(DWS)   基于disk双集群容灾场景介绍cid:link_1821GaussDB(DWS)执行计划_REMOTE_XXX_QUERY_信息解读cid:link_1922GaussDB(DWS)大集群集群运维技巧cid:link_2023GaussDB(DWS)   集群管理(CM)介绍(一)cid:link_2124GaussDB(DWS)纳管集群安装部署类问题定位指南cid:link_2225GaussDB for DWS   资源监控核心技术解密: TopSQL查询监控解密cid:link_2326GaussDB(DWS)通信视图监控分析cid:link_2427GaussDBA审计功能简介cid:link_2528GaussDB(DWS):备机DN重建cid:link_2629GaussDB(DWS)基于OBS备份恢复场景介绍cid:link_2730列存文件格式使用cid:link_2831GaussDB(DWS)连接池自动重连功能cid:link_2932GaussDB(DWS)巡检之日常巡检介绍cid:link_3033kubectl常用命令cid:link_3134GaussDB(DWS)通信相关视图参数使用一:comm_quota_sizecid:link_3235GaussDB(DWS)负载管理核心技术解密五:空间管控解密cid:link_3336GaussDB(DWS)逻辑备份之db级备份cid:link_3437GaussDB(DWS)中PLPGSQL过程语言异常信息捕获cid:link_3538GaussDB(DWS)DMS功能简介cid:link_3639Sudo配置典型提权场景列举cid:link_3740DWS存储分区表cid:link_3841DWS并行导入导出的使用cid:link_3942GaussDB(DWS)环境安装环境问题攻克https://bbs.huaweicloud.com/blogs/28570043GaussDB(DWS)《ROACH小课堂Ⅰ测试方法篇之测试基础理论》https://bbs.huaweicloud.com/blogs/28832944GaussDB(DWS)列存表一些常用信息查询使用cid:link_4045GaussDB(DWS)负载管理核心技术解密:负载管控逻辑解密cid:link_4146GaussDB(DWS)中自定义函数实现用户权限管理https://bbs.huaweicloud.com/blogs/29332847GaussDB(DWS)长期稳定性测试https://bbs.huaweicloud.com/blogs/29818448GaussDB(DWS)安全测试之TLS协议cid:link_4249GaussDB(DWS)《ROACH小课堂Ⅰ测试方法篇之故障测试》cid:link_4350GaussDB(DWS)逻辑集群复制表解密cid:link_4451GaussDB(DWS)审计日志转储OBS及查询实践cid:link_4552GaussDB(DWS)租户面告警分析流程cid:link_4653GaussDB(DWS)通信视图分析cid:link_4754GaussDB(DWS)《ROACH小课堂Ⅰ测试方法篇之测试》cid:link_4855数据倾斜预警—数据导入存储倾斜即时检测cid:link_4956GaussDB(DWS)跨集群互联互通使用介绍cid:link_5057GaussDB(DWS)安全测试之XSS注入https://bbs.huaweicloud.com/blogs/31348358GaussDB(DWS)API环境配置打通接口测试cid:link_5159GaussDB(DWS)递归(with recursive)执行逻辑解析cid:link_5260GaussDB(DWS)编码导入导出cid:link_5361GaussDB(DWS)大集群环境FusionCare巡检工具部署使用cid:link_5462GaussDB(DWS)《ROACH小课堂Ⅲ问题定位篇之日志寻踪》cid:link_5563GaussDB(DWS)《ROACH小课堂Ⅳ特性篇之备份恢复介质》cid:link_5664GaussDB(DWS)《构建与崩塌之有效的指导文档》cid:link_5765GaussDB(DWS) 《DWS之TPCD-DS&TPC-H与查询性能的那些事儿》https://bbs.huaweicloud.com/blogs/33718366GaussDB(DWS) OLAP函数浅析cid:link_5867GaussDB(DWS)《通过JDBC,实现远程COPY导入数据到DWS》cid:link_5968喜大普奔!数仓支持界面查看实时日志!cid:link_6069在线运维-集群在线扩缩容cid:link_61
  • [技术干货] 【博文汇总--存储】GaussDB(DWS) 存储相关博文汇总贴,欢迎大家交流探讨(持续更新中)
    序号博文题目博文链接1EXT4文件系统损坏导致的实例无法启动的排查与修复cid:link_02GaussDB(DWS)高可用之数据复制cid:link_13GaussDB(DWS)高可用之备机重建cid:link_24GaussDB(DWS)高可用之CN&GTM组件高可用介绍cid:link_35GaussDB对接NBU备份环境配置指南cid:link_46Linux的Zombie进程的成因以及优化方法cid:link_57数仓GaussDB(DWS)GTM总结https://bbs.huaweicloud.com/blogs/1982438侵略如火,GaussDB(DWS)数仓高可用容灾利器之逻辑备份cid:link_69GaussDB中两阶段事务的故障与恢复cid:link_710GaussDB(DWS)数据同步状态查看方法cid:link_811GaussDB(DWS)   SQL On Anywhere之外表cid:link_912GaussDB(DWS)存储系列之行存表cid:link_1013GaussDB(DWS)的容灾应该如何设计cid:link_1114未雨绸缪,数据保护之NBU介质备份cid:link_1215GaussDB(DWS)   GDS导入容错详解cid:link_1316GaussDB(DWS) 锁管理介绍cid:link_1417Gauss行列存储压缩总结cid:link_1518GaussDB DWS的SQL ON   ANYWHERE技术解密cid:link_1619GaussDB(DWS)数据利器GDS探析cid:link_1720GaussDB(DWS)创建行存表的最佳实践cid:link_1821GaussDB(DWS)集群状态可不用,实例状态处于Promoting状态问题分析cid:link_1922GaussDB(DWS)备份容灾之分盘存储cid:link_2023数仓GaussDB(DWS)全量备份总结cid:link_2124GaussDB(DWS)存储系列之pagehack&pg_xlogdump工具使用方法总结cid:link_2225非侵入式备份及其在NBU上的应用cid:link_2326GaussDB(DWS) VACUUM总结cid:link_2427GaussDB(DWS)系统表简介&一致性要求cid:link_2528GaussDB(DWS)行存表的数据膨胀与空间重用cid:link_2629GaussDB(DWS)高可用之备机重建介绍cid:link_2730GaussDB(DWS)特殊对象名cid:link_2831GaussDB(DWS)事务隔离级别简介cid:link_2932GaussDB(DWS)问题定位常用SQLcid:link_3033DWS索引的正确“打开姿势”cid:link_3134从原理到实践,手把手带你轻松get数仓双集群容灾cid:link_3235DWS对接NBU备份故障排除指南cid:link_3336GaussDB(DWS)GDS单文件并发导入cid:link_3437增量备份中的cbm设计cid:link_3538为什么vacuum后表还是继续膨胀?cid:link_3639ORC文件格式的三种压缩算法的对比cid:link_3740不动如山,GaussDB(DWS)业务容错利器——物理细粒度备份恢复技术cid:link_3841数据膨胀了?又没有空间了?一招教你解决cid:link_3942GaussDB(DWS)备份容灾之CN增量备份cid:link_4043GaussDB(DWS)列存delta表的简单介绍https://bbs.huaweicloud.com/blogs/28559944GaussDB(DWS)极致性价比--冷热数据管理cid:link_4145《打破黑盒子——GaussDB(DWS)导入导出业务监控方法总结》https://bbs.huaweicloud.com/blogs/28932246GaussDB(DWS)内核死锁检测的实现cid:link_4247GaussDB(DWS)深入浅出之集群迁移断点续做cid:link_4348GaussDB(DWS)外表列存格式介绍之Parquetcid:link_4449《GaussDB(DWS)中UPSERT特性用法》cid:link_4550GaussDB(DWS)基本IO框架https://bbs.huaweicloud.com/blogs/33567651GaussDB(DWS) 分区自动管理介绍cid:link_46
  • [技术干货] 【博文汇总--SQL】GaussDB(DWS)SQL相关博文汇总贴,欢迎大家交流探讨(持续更新中)
    序号博文题目博文链接1GaussDB(DWS)性能调优:列存表scan性能优化cid:link_02GaussDB(DWS)性能调优基础篇一:万物之始analyze统计信息cid:link_13GaussDB for   DWS内存自适应控制技术介绍cid:link_24GaussDB(DWS)的stream执行机制cid:link_35分布式数据存储倾斜快速检测cid:link_46华为云数仓GaussDB(DWS)内存知识梳理cid:link_57华为云数仓GaussDB(DWS)之地理数据库:   PostGIS介绍(一)cid:link_68数据仓库中数据模型以及ETL算法cid:link_79GaussDB(DWS)的explain   performance详解cid:link_810拿走磁盘也甭想读数据——透明加密保安全cid:link_911GaussDB(DWS)TD与Oracle兼容模式差异cid:link_1012Unique SQL特性原理与应用cid:link_1113GaussDB(DWS)性能调优系列实战篇二:十八般武艺之坏味道SQL识别cid:link_12 14GaussDB(DWS)性能调优系列基础篇二:大道至简explain分布式计划cid:link_1315GaussDB(DWS)性能调优系列基础篇三:衍化至繁之分布式计划详解cid:link_1416GaussDB(DWS)性能调优系列实战篇一:十八般武艺之总体调优策略cid:link_1517GaussDB(DWS)性能调优系列实战篇三:十八般武艺之好味道表定义cid:link_1618GaussDB(DWS)数据库安全系列之通信安全cid:link_1719GaussDB(DWS)性能调优系列实战篇四:十八般武艺之SQL改写cid:link_18 20PB级数仓GaussDB(DWS)性能黑科技之并行计算技术解密cid:link_1921你应该知道的数仓安全——默认权限实现共享schemacid:link_2022GaussDB(DWS)性能调优系列实战篇五:十八般武艺之路径干预cid:link_2123GaussDB(DWS)性能调优系列实现篇六:十八般武艺Plan   hint运用cid:link_2224“2020华为数智金融论坛”成功举办,金融界精英共话行业未来cid:link_2325GaussDB(DWS)表权限案例集锦cid:link_2426从COALESCE看数据库差异https://bbs.huaweicloud.com/blogs/22603727初窥自定义C函数cid:link_2528通用唯一识别码的介绍和使用cid:link_2629如何通过SQL进行分布式死锁的检测与消除cid:link_2730【GaussDB(DWS)】【SQL操作   -- 查找所有包含主键&唯一索引的表信息】cid:link_2831GaussDB(DB)查看后台活跃SQL和执行状态cid:link_2932GaussDB(DWS)集群后台UDF进程异常cid:link_3033GaussDB(DWS)审计日志介绍和使用示例cid:link_3134GaussDB(DWS)   快速查到一张表的列信息cid:link_3235GaussDB(DWS)之锁等待场景介绍cid:link_3336数据库覆盖式数据导入方法介绍cid:link_3437GaussDB(DWS)视图解耦与自动重建功能介绍cid:link_3538GaussDB(DWS)的正则表达式知多少cid:link_3639GaussDB时区相关知识(一)cid:link_3740GaussDB(DWS)   XML数据处理实践cid:link_3841【文末彩蛋】数据仓库服务   GaussDB(DWS)单点性能案例集锦cid:link_3942GaussDB(DWS)时区相关知识(二)cid:link_4043GaussDB(DWS)时区相关知识(三)cid:link_4144GaussDB(DWS)生态-teredata兼容-函数-pivot/unpivot改写cid:link_4245GaussDB(DWS)运维--SQL操作--查找冗余索引cid:link_4346你应该知道的数仓安全——安全认证cid:link_4447你应该知道的数仓安全——加密函数cid:link_4548你应该知道的数仓安全——透明加密cid:link_4649GaussDB(DWS)迁移-数据迁移-使用Spark的scala接口往GaussDB(DWS)导入数据失败分析cid:link_4750GaussDB(DWS)数据库安全守护者之审计日志cid:link_4851GaussDB(DWS)分布式计算的倾斜优化cid:link_4952GaussDB(DWS)SQL进阶-database、schema、user和权限控制cid:link_5053GaussDB(DWS)安全:隐私保护现真招儿——数据脱敏cid:link_5154GaussDB(DWS)SQL进阶之全文检索cid:link_5255GaussDB(DWS)迁移-oracle兼容--dayofcid:link_5356GaussDB(DWS)迁移-oracle兼容--weekofcid:link_5457GaussDB(DWS)迁移-oracle兼容--months_betweencid:link_5558GaussDB(DWS)单点性能案例集锦cid:link_5659GaussDB(DWS)常见操作的锁冲突矩阵cid:link_5760GaussDB(DWS)运维--常见问题分析--更新/删除报错cid:link_5861GaussDB(DWS)计划生成原理揭秘(一)cid:link_5962GaussDB(DWS)迁移-upsert支持cid:link_6063GaussDB(DWS)SQL进阶之PLSQL(一)-匿名块、函数和存储过程cid:link_6164《GaussDB(DWS)数据类型之DATE类型》cid:link_6265一招教你如何高效批量导入与更新数据cid:link_6366GaussDB(DWS)视图解耦之自动重建与REPLACEcid:link_6467GaussDB(DWS)SQL进阶之数据类型(二)-字符类型cid:link_6568GaussDB(DWS)数据类型之数值类型cid:link_6669WDR-GaussDB(DWS)的性能监测报告cid:link_6770《GaussDB(DWS)inlist2join优化介绍》https://bbs.huaweicloud.com/blogs/28543171GaussDB(DWS)SQL进阶之高级包(一)DBMS_JOBcid:link_6872GaussD(DWS)性能黑科技之LLVM技术解密cid:link_6973《GaussDB(DWS)SQL进阶之SQL操作-UPSERT》https://bbs.huaweicloud.com/blogs/28654774《GaussDB(DWS)SQL进阶之SQL操作之聚集函数》cid:link_7075《GaussDB(DWS)SQL进阶之SQL操作之WITH表达式》cid:link_7176《GaussDB(DWS)SQL进阶之SQL操作之窗口函数》cid:link_7277《GaussDB(DWS)SQL进阶之数据库对象-视图》cid:link_7378《GaussDB(DWS)外连接向内连接的转换》cid:link_7479你应该知道的数仓安全——对象访问控制cid:link_7580GaussDB(DWS)之DDL设计的几点建议cid:link_7681从简单SQL转换理解Antlr4访问者模式技术细节cid:link_7782GaussDB(DWS)实现动态行转列探究cid:link_7883GaussDB(DWS)如何限制临时数据文件下盘量cid:link_7984GaussDB(DWS)兼容模式差异案例分享(一):current_timestampcid:link_8085《GaussDB(DWS)临时表小结》cid:link_8186GaussDB(DWS)当前时间函数详解cid:link_8287《GaussDB(DWS)时间域函数》cid:link_8388GaussDB(DWS) 大小写不敏感函数cid:link_8489字符串处理函数—TRIM函数cid:link_8590GaussDB(DWS) 日常维护命令cid:link_8691GaussDB(DWS) SQL进阶之PLSQL(二)-游标cid:link_87 92GaussDB(DWS)数据类型之自定义数据类型(复合类型)https://bbs.huaweicloud.com/blogs/33271793GaussDB(DWS)排序规则相关错误信息整理https://bbs.huaweicloud.com/blogs/33569094GaussDB(DWS)一键式现场信息收集工具,助你快速复现现网执行计划cid:link_8895互联网用户画像,精准营销,GaussDB(DWS)来支招cid:link_8996GaussDB(DWS)中的Unix时间戳【这次高斯不是数学家】https://bbs.huaweicloud.com/blogs/35142297排他分析场景400倍性能提升-GaussDB(DWS) 独家NOT IN优化技术解密【这次高斯不是数学家】cid:link_9098不得不说的GaussDB(DWS)查询结果“错误”的陷阱 【这次高斯不是数学家】cid:link_9199一文读懂analyze使用cid:link_92 100一文读懂autoanalyze使用cid:link_93101GaussDB(DWS) lazyagg查询重写优化解析cid:link_94102GaussDB(DWS)中的字符截取三胞胎https://bbs.huaweicloud.com/blogs/358302103一文读懂pgstathttps://bbs.huaweicloud.com/blogs/359028104一文读懂简单查询代价估算cid:link_95
  • [技术干货] 【博文汇总--管控面】GaussDB(DWS)管控面相关博文汇总贴,欢迎大家交流探讨(持续更新中)
    序号博文题目博文链接1GaussDB(DWS)中的时区 cid:link_02GaussDB(DWS)数据库安全设置之三权分立cid:link_13DWS优秀实践之数据库性能提升cid:link_24GaussDB(DWS)   云端运维系列第一期:集群基本功能cid:link_35GaussDB(DWS)云端运维系列第二期:集群扩容cid:link_46GaussDB(DWS)   云端运维系列第四期:集群安全(SSL连接,三权分立)cid:link_57GaussDB(DWS)   云端运维系列第三期:集群监控cid:link_68GaussDB(DWS)   云端运维系列第六期:参数调整(参数组,单集群参数调整)cid:link_79GaussDB(DWS)   云端运维系列第七期:数据库维护(VACUUM,ANALYZE,倾斜检查)cid:link_810GaussDB(DWS)云端运维系列第八期:服务权限控制(RBAC,细粒度)cid:link_911GaussDB(DWS)   云端运维系列第五期:集群安全(审计日志,审计日志转储)cid:link_1012数据仓库服务公有云计费介绍cid:link_1113GaussDB(DWS)   云端运维系列第十期:加密集群cid:link_1214GaussDB(DWS)数据库智能监控运维服务系列介绍二:慢节点检测cid:link_1315GaussDB(DWS)数据融合系列第六期:GDS导入数据cid:link_1416GaussDB(DWS)数据仓库服务APIExplorer的使用cid:link_1517GaussDB(DWS)云端运维系列第九期:集群安全(三权分立)cid:link_1618GaussDB(DWS)数据库智能监控运维服务体系分析与设计概要cid:link_1719GaussDB(DWS)数据库智能监控运维服务体系指标设计-查询监控cid:link_1820GaussDB(DWS)数据库智能监控系统应用场景分析cid:link_1921详解GaussDB(DWS)数据库智能监控运维服务如何定位SQL执行问题cid:link_2022GaussDB(DWS)数据库智能运维系统页面与指标映射关系cid:link_2123GaussDB(DWS)ESL版本安装实践流程记录cid:link_2224GaussDB(DWS)客户端gsql功能增强之动态变量cid:link_2325GaussDB(DWS)云端运维系列第十一期:容灾cid:link_2426GaussDB(DWS)ESL版本集群管理功能实践记录cid:link_2527GaussDB(DWS)客户端gsql功能增强之逻辑控制https://bbs.huaweicloud.com/blogs/28605928GaussDB(DWS)ESL版本集群监控指标简介https://bbs.huaweicloud.com/blogs/28538929GaussDB(DWS)数据库智能监控运维服务之schema空间管控cid:link_2630GaussDB(DWS)集群拓扑详解https://bbs.huaweicloud.com/blogs/29618231GaussDB(DWS)集群监控指标cid:link_2732使用GoogleGuavaCache开发本地LRU缓存cid:link_2833GaussDB(DWS)连接集群之DataStudio客户端连接集群cid:link_2934GaussDB(DWS)运维管理系列基础篇四:节点修复cid:link_3035GaussDB(DWS)快照和恢复https://bbs.huaweicloud.com/blogs/30197136GaussDB(DWS)Base64算法简介cid:link_3137GaussDB(DWS)数据库智能监控系统告警框架上线啦!cid:link_3238GaussDB(DWS)gzip算法简介cid:link_3339GaussDB(DWS)集群管理系列:日志压缩与删除功能的源码解读cid:link_3440JDBC的Oracle兼容性适配cid:link_3541GaussDB(DWS)k8s简介以及管控面微服务cid:link_3642GaussDB(DWS)分段扩容简介https://bbs.huaweicloud.com/blogs/31255843DnStream-可视化运维实践cid:link_3744GaussDB(DWS)集群修复简介cid:link_3845GaussDB(DWS)智能运维(集群)简介cid:link_3946GaussDB(DWS)智能运维监控功能介绍 - DDL审核cid:link_4047GaussDB(DWS) ESL版本双集群容灾功能简介cid:link_4148psycopg2连接GaussDB(DWS)示例cid:link_4249psycopg2连接GaussDB(DWS)不支持CN Retry特性的问题分析https://bbs.huaweicloud.com/blogs/32938650GaussDB(DWS) ODBC 问题定位指南cid:link_4351GaussDB(DWS) JDBC问题定位指南cid:link_4452CN与业务并发度的关系-业务并发度不够?CN来帮忙https://bbs.huaweicloud.com/blogs/34291753GaussDB(DWS) GUC参数修改、查看https://bbs.huaweicloud.com/blogs/34416354GaussDB(DWS)数据库集群管理系列-在线升级/补丁【这次高斯不是数学家】cid:link_4555GaussDB(DWS) 数据库智能监控运维服务-节点监控指标https://bbs.huaweicloud.com/blogs/360644
  • [技术干货] 【博文汇总--集群】GaussDB(DWS)集群相关博文汇总贴,欢迎大家交流探讨(持续更新中)
    序号博文题目博文链接1【数据仓库】双集群系统方案探讨cid:link_0 2GaussDB(DWS)负载管理核心技术解密一:全景图及解决的场景cid:link_13GaussDB(DWS)负载管理核心技术解密二:   白话历史资源监视cid:link_24GaussDB(DWS)高可用之主备从HA技术cid:link_35GaussDB(DWS)运维管理系列基础篇一:升级介绍与展望cid:link_46GaussDB(DWS)集群通信系列一:pooler连接池cid:link_57GaussDB(DWS)   集群通信系列三:集群通信常用视图cid:link_68GaussDB(DWS)   集群通信系列二:通信报错定位思路cid:link_79GaussDB(DWS) 运维接口集成简介cid:link_810GaussDB(DWS)   资源监控系列一:作业级别的监控(TopSQL)cid:link_911GaussDB(DWS)   TCP的KeepAlive(Windows、Linux)cid:link_1012GaussDB(DWS)运维管理系列基础篇三:数据仓库之变形金刚(集群resize原理介绍)cid:link_1113GaussDB (DWS)   集群管理系列:CM组件介绍(架构和部署形态)cid:link_1214GaussDB (DWS)   集群管理系列:CM组件介绍(核心功能)cid:link_1315GaussDB(DWS)   集群扩容系列一:集群扩容与数据重分布cid:link_1416大数据框架原理简介cid:link_1517GaussDB (DWS)   集群管理系列:CM启停功能的原理、流程和关键日志cid:link_1618GaussDB for DWS   数据融合系列第一期:云端数据接入(CDM)cid:link_1719GaussDB(DWS)   资源管理系列一:CPU资源管理cid:link_1820GaussDB(DWS)   逻辑集群系列一:逻辑集群简介cid:link_1921GaussDB(DWS)   DMS历史监控数据聚合算法java实现cid:link_2022LVS基本原理和日志打印:incomplete   startup packetcid:link_2123从DIS导入流式数据到GaussDB(DWS)cid:link_2224GaussDB(DWS)   数据库智能监控运维服务介绍cid:link_2325GaussDB(DWS)资源负载管理最佳配置指南cid:link_2426GaussDB for   DWS数据融合系列第三期:MRS数据导入DWScid:link_2527GaussDB (DWS) 集群管理系列:   CMS通信机制介绍cid:link_2628GaussDB for DWS   数据融合系列第四期:OBS导入数据cid:link_2729GaussDB(DWS)裸金属集群创建问题总结cid:link_2830GaussDB(DWS)   逻辑集群系列二:DWS逻辑集群管理使用详解cid:link_2931GaussDB for   DWS数据融合系列第六期:GDS导入数据cid:link_3032GaussDB(DWS)   物理机纳管模式简介cid:link_3133GaussDB单节点集群安装方法cid:link_3234GaussDB for   DWS数据融合系列第七期:CDM导出数据cid:link_3335GaussDB(DWS) 资源管理技术浅析cid:link_3436ISO/OSI模型cid:link_3537GaussDB(DWS)集群管理系列:单节点故障RTO机制分析(集群状态恢复篇)cid:link_3638GaussDBforDWS数据融合系列第九期:Oracle数据迁移到DWScid:link_3739GaussDB(DWS)数据融合系列第十期:Oracle数据迁移到DWScid:link_3840GaussDB(DWS)升级能力简介cid:link_3941GaussDB(DWS)内存管理技术简介cid:link_4042GaussDB(DWS)数据融合系列第十一期:第三方调度工具Kettle介绍cid:link_4143GaussDB(DWS)数据融合系列第八期:云端GaussDB(DWS)迁移cid:link_4244GaussDB(DWS)资源管理TopSQL简析cid:link_4345GaussDB(DWS)多租户管理cid:link_4446GaussDB(DWS)智能运维框架-调度框架基础命令介绍cid:link_4547GaussDB(DWS)智能运维框架-调度框架实现原理介绍cid:link_4648GaussDB(DWS)memcheck版本编译及运行配置cid:link_4749connect调用被信号中断问题解决方法cid:link_4850GaussDB(DWS)cgroup技术介绍cid:link_4951GaussDB(DWS)集群扩容系列二:离线重分布vs在线重分布cid:link_5052GaussDB(DWS)负载管理视图应用cid:link_5153GaussDB(DWS)智能运维框架-调度重分布cid:link_5254GaussDB(DWS)环境部署-DBM下发POD区数据库流程cid:link_5355GaussDB(DWS)stream线程池设计(三)cid:link_5456GaussDB(DWS)stream线程池设计(二)cid:link_5557GaussDB(DWS)stream线程池设计(四)cid:link_5658GaussDB(DWS)通信库libpq重构介绍cid:link_5759GaussDB(DWS)stream线程池设计(一)cid:link_5860Gaussdb(DWS)无锁队列介绍cid:link_5961GaussDB(DWS)中多路IO复用介绍cid:link_6062GaussDB(DWS)通信库libpq重构介绍(二)cid:link_6163GaussDB(DWS)通信库libpq重构介绍(三)cid:link_6264GaussDB(DWS)CBB组件之SysCache原理介绍cid:link_6365GaussDB(DWS)集群管理系列:DN实例状态异常告警cid:link_6466GaussDB(DWS)集群管理系列:磁盘使用率告警cid:link_6567GaussDB(DWS)集群管理系列:告警汇总cid:link_6668GaussDB(DWS)集群管理系列:DN/GTMswitchover告警cid:link_6769GaussDB(DWS)集群管理系列:DNredo慢告警cid:link_6870GaussDB(DWS)集群管理系列:实例进程异常重启告警cid:link_6971GaussDB(DWS)集群管理系列:实例长链接失败告警cid:link_7072GaussDB(DWS)集群管理系列:GTM实例状态异常告警cid:link_7173GaussDB(DWS)集群管理系列:DN/GTMfailover告警https://bbs.huaweicloud.com/blogs/31341974GaussDB(DWS)集群管理系列:DNbuild告警cid:link_7275GaussDB(DWS)集群管理系列:DNbuild失败告警cid:link_7376GaussDB(DWS)集群管理系列:Datanode磁盘坏块告警cid:link_7477GaussDB(DWS)CBB组件之共享消息队列介绍cid:link_7578RDMA协议介绍(一)cid:link_7679DMS资源池队列阻塞告警及原理介绍cid:link_7780GaussDB (DWS) 集群管理系列:CM异常检测框架cid:link_7881GaussDB(DWS)资源监控原理简介及视图应用https://bbs.huaweicloud.com/blogs/33488182RDMA协议介绍(二)cid:link_7983GaussDB(DWS)集群管理系列:CM异常检测插件介绍之HANG检测插件https://bbs.huaweicloud.com/blogs/34362484GaussDB(DWS)文件级空间统计简介https://bbs.huaweicloud.com/blogs/34362685大集群通信代价公式cid:link_8086GaussDB(DWS)的CPU资源隔离管控能力cid:link_8187GaussDB(DWS) 资源负载管理:并发管控以及CPU管控效果实测以及分析说明cid:link_8288一文读懂DWS“规格变更”https://bbs.huaweicloud.com/blogs/35891589GaussDB others内存比较高的场景cid:link_8390GaussDB 查询用户空间使用情况cid:link_8491GaussDB 集群维护案例集-sql执行慢cid:link_8592GaussDB 如何统计用户sql的响应时间cid:link_86
  • [其他] 【DWS】ESL、GaussDB 200 巡检问题问题汇总
    安装巡检工具:工具分为FusionCare、SysChecker两部分。FusionCare用于页面展示,一般安装于备oms节点,/home/omm/FusionCare目录下, 日志存放在:/home/omm/FusionCare/tomcat/log中。安装步骤:登陆主oms或者备oms解压FusionCare软件包:cd /home/omm/;unzip FusionCare.zip;                 安装FusionCare: cd /home/omm/FusionCare/;sh install.shSyschecker用于后台执行任务。一般FusionCare中对接环境时,在输入root密码后,会自动安装syschecker;如果没输入root密码,则需要提前手动安装syschecker,再对接环境。syschecker安装在主oms节点,在对接环境后,获取到主oms节点的相关信息,用于给各个节点发送任务。安装步骤:解压压缩文件:登陆主oms节点,解压DWS_SysChecker_8.0.9.zip:  cd /opt/;unzip DWS_SysChecker_8.0.9.zip;                 安装syschecker:cd /opt/SysChecker/;sh setup.sh -i-----更新时间2024.1.2问题版本:任意版本现象:FusionCare页面不能显示根因:FusionCare页面不能显示,一般由于用户安全加固,导致登陆fusioncare的ip(即管理ip)与windows网络不通;排查方法:1、使用ping xxx.xxx.xxx.xxx尝试网络是否通畅。                 2、如果是网络不通,则需要重新安装FusionCare及SysChecker,参考后续步骤;如果网络无问题,则需要排查/home/FusionCare/tomcat/log/hct-*.log。                 3、网络不通情况下,可以使用oms节点的其他ip或者浮动ip(只要与windows能ping通)来安装。                 4、登陆主oms节点,解压FusionCare软件包:cd /home/omm/;unzip FusionCare.zip;                     提示1:如果必须要将FusionCare安装到备oms节点,则必须使用windows可以ping通的备oms节点上的固定IP来进行修改替换,不能使用浮动IP,否则网页仍然无法登陆。                 5、修改install脚本:cd /home/omm/FusionCare/; vi install.sh; 修改node_ip_="xxx.xxx.xxx.xxx"                 6、安装FusionCare: cd /home/omm/FusionCare/;sh install.sh                 7、一般网络不通,也会影响syschecker的安装;所以需要手动修改syschecker的脚本且安装。                 8、登陆主oms节点,解压DWS_SysChecker_8.0.9.zip:  cd /opt/;unzip DWS_SysChecker_8.0.9.zip;                 9、修改syscheckerUtils.sh脚本:cd /opt/SysChecker/;vi syscheckerUtils.sh; 将manageIP=$(getManageIP)改为manageIP="xxx.xxx.xxx.xxx"                      注意1:此处xxx.xxx.xxx.xxx必须使用浮动IP或者管理IP,登陆网页向导式添加环境时,巡检节点IP需要和此处IP一致。                 10、安装syschecker:cd /opt/SysChecker/;sh setup.sh -i                 11、登陆网页对接环境即可。                      注意2:当此处改为浮动IP后,如果发生oms主备切换可能导致巡检报错,只需要将之前的步骤在新的主oms节点上执行一遍即可。                      注意3:手动安装Syschecker后,对接环境时可以不输入root密码。-----更新时间2023.09.17问题版本:FusionInsight Tool DWS Prober 8.0.9现象:执行升级、补丁、扩容巡检,报错:[GAUSS-52200] : Unable to import module: [GAUSS-51900] : The current OS is not supported. The current system is: openeuler根因:未适配openeuleros操作系统修改方法:注意:扩容前巡检需要修改完成后重新执行for命令;升级、补丁、日常修改完成后,重新执行巡检任务即可。       情况1:如果/etc/euleros-release文件存在,修改/opt/SysChecker/SysCheck/ClientScripts/17_MPPDB/Lib/inspection/common/gsplatform.py文件两处代码第一处:第二处:        情况2:如果/etc/euleros-release文件不存在,修改/opt/SysChecker/SysCheck/ClientScripts/17_MPPDB/Lib/inspection/common/gsplatform.py文件四处代码      第一、二处:第三处:第四处:-----更新时间2023.07.29问题1:       问题版本:FusionInsight Tool DWS Prober 8.0.9       现象:按照容量调整指导书操作,报错:Exception: exec error ::/tmp/: No such file or directory       根因:/tmp/allhostfile文件在windows上编辑,带入了特殊符号。需要转化为linux文件。       方法:删除当前的/tmp/allhostfile文件,在linux上编辑并保存。问题2:       问题版本:FusionInsight Tool DWS Prober 8.0.9       现象:检查结果为:'str' object has no attribute 'decode'        根因:/etc/hosts中匹配当前节点主机名所在的行,内容开头包含#       修改方法:修改/opt/SysChecker/SysCheck/ClientScripts/17_MPPDB/Lib/inspection/common/SharedFuncs.py的737行左右      -----更新时间2023.07.17现象:麒麟或统信操作系统使用FusionInsight Tool DWS Prober 8.0.9巡检,报错操作系统不支持。根因:由于操作系统适配,代码白名单中未添加麒麟、统信系统,导致报错。修改方法:如果使用gs_check巡检(扩容或者升级),使用方法一修改完成之后,需要重新执行分发步骤;如果使用FusionCare巡检,修改完文件后直接重新巡检即可。方法一:用户已经完成环境对接。通过修改/opt/SysChecker/SysCheck/ClientScripts/17_MPPDB/Lib/inspection/common/gsplatform.py文件中,第一处:SUPPORT_WHOLE_PLATFORM_LIST = [SUSE] + SUPPORT_RHEL_PLATFORM_LIST 修改为 SUPPORT_WHOLE_PLATFORM_LIST = [SUSE] + SUPPORT_RHEL_PLATFORM_LIST + SUPPORT_OTHER_PLATFORM_LIST                 第二处:1162行,                               (distName.lower() == ORACLE and version[0:3] in SUPPORT_ORACLE_VERSION_LIST)) or                                修改为                                (distName.lower() == ORACLE and version[0:3] in SUPPORT_ORACLE_VERSION_LIST)) or distName.lower() == UNIONTECH or方法二:用户未完成对环境对接。             1、下载DWS_SysChecker_8.0.9.zip并解压。             2、修改压缩包中 SysChecker/SysCheck/ClientScripts/17_MPPDB/Lib/inspection/common/gsplatform.py文件第一处:SUPPORT_WHOLE_PLATFORM_LIST = [SUSE] + SUPPORT_RHEL_PLATFORM_LIST 修改为 SUPPORT_WHOLE_PLATFORM_LIST = [SUSE] + SUPPORT_RHEL_PLATFORM_LIST + SUPPORT_OTHER_PLATFORM_LIST                 第二处:1162行,                               (distName.lower() == ORACLE and version[0:3] in SUPPORT_ORACLE_VERSION_LIST)) or                                修改为                                (distName.lower() == ORACLE and version[0:3] in SUPPORT_ORACLE_VERSION_LIST)) or distName.lower() == UNIONTECH or              3、上传(也可以压缩后上传再解压)至集群主oms节点/opt目录下。              4、root用户登录oms节点。  cd /opt/SysChecker; sh setup.sh -i              5、在FusionCare对接环境。-----更新时间2023.02.141、   现象:HD上使用DWS_Syshecker做巡检,巡检结果中没有Elk或者MPPDB相关内容(巡检工具8.0.8及之前版本)根因:1、/opt/SysChecker/SysCheck/Lib/client_operations.py中,18_Elk写成了18_ELK,导致pythonLib.tar文件路径不存在,解压报错。          2、/opt/SysChecker/SysCheck/Lib/syschecker.py 中subName中不包含elk和mppdb组件时,导致不压缩pythonLib.tar,传输时报错。修改方法:/opt/SysChecker/SysCheck/Lib/client_operations.py   424行ELK,改为Elk。                 /opt/SysChecker/SysCheck/Lib/syschecker.py 319行注释掉,320-325行删除开头的四个空格。-----更新时间2022.09.141、   现象:扩容前巡检时,执行过程中报错no existing session(巡检工具8.0.8及之前版本)根因:1、新节点新安装系统,/etc/ssh/sshd_config配置不允许存在较多的ssh链接,导致创建新连接时会报错 ;主要参数:maxstartups(最大链接数量,它的值如果 为10:20:30这种格式,说明当链接数达到10个的时候,会有20%的概率拒绝连接,当链接数达到30时,会100%拒绝连接。推荐改为1000)、UseDNS、PasswordAuthentication、ClientAliveInterval等参数。2、/etc/ssh/ssh_config 中未设置 StrictHostKeyChecking no,在第一次链接的时候会因为需要交互输入yes or no 失败。修改方法:备份新节点/etc/ssh/sshd_config, 从老节点拷贝/etc/ssh/sshd_config文件覆盖新节点的该文件,各个新节点分别执行service sshd restart重启sshd服务。
  • [问题求助] 如何查询表的所有者,并且如何修改表的所有者?
    如何查询表的所有者?并且如何修改表的所有者?语句分别是什么呢?
  • [SQL] DWS随记V2
     0. 统计信息 -- 统计信息是动态调优的核心信息输入,统计信息准确与否,至关重要 0.1 低效算子 -- NEST LOOP 0.2 不下推分析 优化器在分布式框架下有三种执行计划优化策略 * 下推语句执行计划:CN发送查询语句到DN直接执行,执行结果返回给CN。(DN间无需数据交换场景)执行计划中包含__REMOTE_FQS_QUERY__,   表明语句走了FQS(Fast Query Shipping),代表这种场景下,直接下发语句到Datanode执行,而不是在Coordinator上生成执行计划,这种表示该语句无需Datanode间数据交互  特征:Data Node Scan on *_REMOTE_FQS_QUERY_* 例如: create table t1(a int,b int) distribute by (a); create table t2(a int,b int) distribute by (a); explain verbose select t1.* from t1  join t2 on t1.a = t2.a; -- t1和t2 都是分布表,t1.a 和 t2.a都是其分布列,join能匹配到的数据都在同一个DN上,因此DN间不需要数据交换,原语句直接下发到DN上执行即可。 -- 此种语句在CH上打印的执行计划信息较少,可直接在DN上打印详细执行信息  * 分布式计划:CN生成计划树,发送计划树给DN执行;DN执行完成后,将结果返回给CN。  特征:Streaming (type:GATHER)  broadcast : 全表广播。全表数据量的数据向所有DN传输  redistribute : 重分布。不多于全表数据量的数据向所有DN传输。性能优于 broadcast  gather :聚合流。聚合流将数据从多个查询片段聚合到一个。 * 不下推执行计划:CN承担大量计算任务,导致性能劣化。优化器将部分查询(多为基表扫描语句,DN只扫描、不计算,不过滤)下推到DN执行,将获取到的中间结果返回给CN,CN再执行计划剩余的部分。  特征:Data Node Scan + _REMOTE_XXX   0.3   --优化思路和手段 1.扫描慢 1.1 建立单字段分区或多字段分区 -- 逻辑上的一张表根据某种方案分成几张物理块进行存储,这张逻辑上的表称之为分区表,物理块称之为分区。分区表是一张逻辑表,不存储数据,数据实际是存储在分区上的。 -- 目前行存表、列存表仅支持范围分区和列表分区。(8.1.3) -- 有限地支持唯一约束和主键约束,即唯一约束和主键约束的约束键必须包含所有分区键。 -- VACUUM和ANALYZE只会对主表起作用,要想分析分区表,需要分别分析每个分区表。 -- 数据迁移到分区表后建议禁用主表,如果主表未执行vacuum操作,那么执行计划会全表扫描主表,非常耗时。 •查看分区表信息,可使用系统表dba_tab_partitions。 select * from dba_tab_partitions where table_name='tpcds.customer_address'   --单子段分区 partition by range(followup_create_time)(     partition p1 START('2022-01-01') END ('2022-06-30') EVERY (INTERVAL '1 day') )   partition by range(order_date)(     partition p1 START('2022-01-01'::TIMESATMP(0)) END ('2022-06-30'::TIMESTAMP(0)) EVERY (INTERVAL '3 months')) )    -- 多字段分区(多字段分区不能使用START END 来指定分区)  WITH (orientation=column, compression=low, colversion=2.0, enable_delta=false)  DISTRIBUTE BY HASH(imsi)  PARTITION BY RANGE (idperiodo, idcalendario)  (           PARTITION p_20201231 VALUES LESS THAN (202101, 20210101) TABLESPACE pg_default,           PARTITION p_20210101 VALUES LESS THAN (202101, 20210102) TABLESPACE pg_default )  -- 查询分区表指定分区 select * from table_name partition('partition_name');  1.1 行存表:建立btree保序索引  -- 涉及排序场景建立btree索引,目前行存btree索引保持排序,列存不保存排序结果。但是建立索引后,因为要排序,所以表在插入、更新时会有一定的性能影响。 CREATE INDEX dws_tt_flink_eos_wide_01 ON dws_tt_flink_eos_wide USING btree(followup_create_time) local;  1.2 列存表建立PCK(Partial Cluster Key(局部聚簇));局部聚簇存储,列存表导入数据时按照指定的列(单列或多列),进行局部排序。 -- 一个表只能建立一个PCK -- 一个PCK可以包含多列,但是不建议超过两列 -- 建议在查询中的简单表达式的过滤条件上建立PCK;如column >,=,< 常量。 -- 在满足上面条件的情况下,选择distinct值比较少的列建立PCK CREATE TABLE tpcds.warehouse_t21 (     W_WAREHOUSE_SK            INTEGER         NOT NULL,     PRIMARY KEY (column_name1,column_name2),     PARTIAL CLUSTER KEY(column_name1,column_name2) ) WITH (orientation=column, compression=low, colversion=2.0, enable_delta=false)  DISTRIBUTE BY REPLICATION;     2.表结构 orientation不支持修改。行列存储方式一旦建立,不能修改 行存表: -- 点查询场景(大基表单表过滤查询,返回结果少,基于索引的简单查询,比如btree排序索引) -- 增删改较多的场景,并发增删改;实时数据接入等 -- 行存表压缩功能暂未商用,如需使用请联系技术支持工程师。 列存表: -- 多表关联的统计分析类场景 -- 即席查询(查询条件列不确定,行存无法确定索引) -- 多表关联查询、聚合、分组查询等,访问大量行,少数列的场景。  数据类型: -- 数据类型合理 变长可以变为定长的一律改为定长;变长在方便的同时,肯定会影响性能。 -- 多个表间存在逻辑关系时,表示同一含义字段使用相同类型。字符串字段尽量使用变长数据类型。不建议使用定长数据类型。 text,carchar  --> char(8) numeric(12,0) --> bigint  2.1分布键选择合理 (不同DN间相差5%以上即可认为倾斜,10%以上必须调整分布列) -- ◾当指定DISTRIBUTE BY HASH (column_name)参数时,创建主键和唯一索引必须包含分布键。 -- 查询数据分布: select table_skewness('table_name'); -- 不指定分布方式时,默认第一个字段为分布键,进行hash分布 -- 通常选取表的主键作为分布列 -- 选择查询中关联条件作为分布列,以便Join任务可以下推到DN执行,且减少DN间的通信数据量。 -- 复杂查询场景下,尽量不要选取存在常量等值过滤的列,避免剪枝后扫描集中在部分DN上。 -- 点查询场景下,则应该尽量选取WHERE条件中的等值过滤条件列作为分布列。  --修改表的分布键:原理是系统新建一个表进行替换 alter table schema_name.table_name distribute by hash(new_column);  2.2 维度小表建立复制表  ,列存(数据量10万以下) CREATE TABLE tpcds.warehouse_t21 (     W_WAREHOUSE_SK            INTEGER               NOT NULL ) WITH (orientation=column, compression=low, colversion=2.0, enable_delta=false)  DISTRIBUTE BY REPLICATION;  2.3 列存表涉及更新,开启delta,不过在实时更新频繁时,还是搞不定,比如RDS服务实时导入数据的表,只能为行存表。 CREATE TABLE tpcds.warehouse_t21 (     W_WAREHOUSE_SK            INTEGER               NOT NULL ) WITH (orientation=column, compression=low, colversion=2.0, enable_delta=on)  DISTRIBUTE BY REPLICATION;  2.4 行存表强制打开向量化(GUC控制台参数),执行计划走列存向量 set enable_force_vector_engine=on;  -- 干预执行计划:best_agg_plan -- Stream执行框架分为如下三种计划形态: -- hashagg+gather(redistribute)+hashagg -- redistribute+hashagg(+gather) -- hashagg+redistribute+hashagg(+gather) -- GaussDB(DWS)提供了guc参数best_agg_plan来干预执行计划,强制其生成上述对应的执行计划,此参数取值范围为0,1,2,3 -- •取值为1时,强制生成第一种计划。 -- •取值为2时,如果group by列可以重分布,强制生成第二种计划,否则生成第一种计划。 -- •取值为3时,如果group by列可以重分布,强制生成第三种计划,否则生成第一种计划。 -- •取值为0时,优化器会根据以上三种计划的估算代价选择最优的一种计划生成。  3.模糊匹配 -- 建立全文索引 create index index_name on table_name using gin(to_tsvector(col_name)); select * from table_name where to_tsvector(col_name) @@ plainto_tsquery('某公司') ---- where             to_tsvector('zhparser',ef.remark ) @@ to_tsquery('%hiphi%')            --  ef.remark  like '%hiphi%'  -- 列值多值列 -- 列存多值列效率方面比行存全文搜索快很多,特别是列越多搜索效率越高。10列值的比3列值的效率高很多,3列值比单列值的效率要高。  4.查询数据库大小(已用空间) select datname,pg_size_pretty(pg_database_size(datname)) from pg_database;  10.查询指定表占用的磁盘存储空间 select pg_size_pretty(pg_relation_size('schema_name.table_name'));  5.改写SQL 5.1 not in -——> not exists   6.query_dop:多线程并行算法,实现核心算子并行计算; Initial DOP: 7   -- 初始DOP   Avail(CPU/IO)/Max core: (7.92/8.00)/8.00        -- 语句可用CPU/IO/最大核数 CPU/IO/Task util: 1.00/0.00/0                   -- 当前最大CPU/IO/DN作业个数 Running/Active/Max statement: 160/0/21474836     --当前DN正在运行作业数/进入CN作业数/允许最大作业数(ma) Final Max DOP: 6   -- 最终DOP  7.数据库float数据类型,小数点前面的0不显示 oracle兼容的不显示小数点前的0,mysql兼容的显示; -- 创建兼容ORA格式的数据库: CREATE DATABASE ora_compatible_db DBCOMPATIBILITY 'ORA'; -- DBCOMPATIBILITY [ = ] compatibilty_type;指定兼容的数据库的类型。取值范围:ORA、TD、MySQL。分别表示兼容Oracle、Teradata和MySQL数据库。若不指定该参数,默认为ORA。  8.清空表: 推荐使用truncate  操作,因为truncate操作会物理的清空数据表,并将其占用的空间归还给操作系统。  replace into: Insert or overwrite:主键存在,则删除原纪录插入新的记录;主键不存在,则插入记录  9. 查询指定用户当前后台正在执行的语句: select query_id,query from pgxc_stat_activity where usename='dbadmin' and state='active';  11.查询指定表的建表语句、存储倾斜率 select pg_get_tabledef('schema_name.table_name'); select table_skewness('schema_name.table_name');  12.内网域名可以走负载均衡,公网域名不可以(内网域名dns解析是会自带负载均衡的)  13.多IP配置实现负载均衡     (1)支持多ip端口配置形式,jdbc自动实现了负载均衡,多ip端口配置形式是采取随机访问+failover的方式,这个过程系统会自动忽略不可达IP,以","隔开,例如jdbc:postgresql://10.10.0.13:8000,10.10.0.14:8000/database     详情参见 https://support.huaweicloud.com/devg-813-dws/dws_04_0093.html     (2)开源JDBC配置:配置多ip时必须要配置loadBalanceHosts=true&targetServerType=any     (3)DWS的JDBC配置了多IP之后是强制负载均衡的,无需配置,配置了也不会报错  14.行存表不走bitmap索引,走顺序索引。默认值ON enable_bitmapscan=off  15.查询DN参数设置 EXECUTE DIRECT ON(dn_6001_6002) 'select name,setting from pg_settings where name=''comm_max_datanode''; '; EXECUTE DIRECT ON(dn_6001_6002) 'select name,setting from pg_settings where name=''comm_max_stream''; ';  16.控制选择重分布列的策略。 agg_redistribute_enhancement 参数说明:当进行Agg操作时,如果包含多个group by列且均不为分布列,进行重分布时会选择某一group by列进行重分布。本参数控制选择重分布列的策略。 取值范围:布尔型 •on表示会选择估算distinct值最多的一个可重分布列作为重分布列。 •off表示会选择第一个可重分布列为重分布列。 默认值:off  17.关于快照 (1)手动打的快照,删除集群后,快照会保留 (2)集群自动备份的快照,集群删除后,快照也会删除  18.数据库兼容行为配置项 (1)behavior_compat_options 参数说明:数据库兼容性行为配置项,该参数的值由若干个配置项用逗号隔开构成。  19.开集群时存储大小计划: (1)集群总的实际存储容量大于客户实际需要的60%,要有40%的空余留给系统(安装集群、存储日志、元数据信息等)  20.列存表压缩级别的压缩比例 (1)以往测试经验:(低:1:3)、(中:1:5~1:6)、(高:1:8~1:9)  21.复制表 (1)不仅仅是小表,最好是不经常修改记录,不新增记录的维度表、静态表。  22•设置所处的时区。 SET  TIMEZONE = 'Asia/Beijing' ; -- 查看支持的所有时区 select * from PG_TIMEZONE_NAMES Asia/Beijing                     | CST    | 08:00:00   | f --查询数据库当前时区 show timezone; --设置时区 SET  TIMEZONE = 'Asia/Beijing';  23.购买集群注意集群版本  24.创建数据库兼容模式 create database yd_test1 with encoding 'utf-8' dbcompatibility 'MYSQL' template template0; (1)sql server:推荐TD数据库兼容模式,时间格式一致,区分空和null  25.转义反斜杠,测试这个目前只能如此转义。参数 standard_conforming_strings DWS好像没生效 (1)现在的postgresql基本上都是postgresql9之后的版本,反斜杠已经变成了普通字符.当然,如果你需要使用反斜杠转义可以在需要转义的字符串前面加上E(E就是Escape)  postgres=# select E'\'a\'';  ?column? ----------  'a' (1 row)  postgres=# show standard_conforming_strings;  standard_conforming_strings -----------------------------  on   26.集群资源实时监控 resource_track_cost 、 resource_track_duration 两个参数一起控制,一般resource_track_cost用默认值,然后resource_track_duration设置时长就可以了~ 具体的你也可以看看参数的详细描述  show enable_resource_track;      -- on show enable_resource_record;     -- on show resource_track_level;       -- query show resource_track_cost;        -- 0 show resource_track_duration;    -- 10  27.查询表存储倾斜率 select table_skewness('public.cpu1');  28.查询集群DN和CN节点 SELECT node_name,node_host FROM pgxc_node WHERE node_type='D'; SELECT node_name,node_host FROM pgxc_node WHERE node_type='C';  29.到执行后台进程的CN节点取消后台进程 SELECT pgxc_terminate_query(query_id);  30.查询分区表指定分区的记录数 --验证分区数据 SELECT count(*) FROM CPU1 PARTITION (default_part_1);  SELECT count(*) FROM CPU1 PARTITION (default_part_2);   31.查询后台进程 select coorname,query_id,query from pgxc_stat_activity where usename='dbadmin' and state='active'; 
  • [热门活动] 【直播回看+奖品公示】9月20日晚19点 一招鲜,锁与权限为您的数仓保驾护航,现在回帖互动报名,鼠标、保温杯、数据线多重好礼等您拿~
    为帮助您更好地了解和使用华为云数仓GaussDB(DWS)产品,本次介绍数据库权限、锁常见问题及解决方法。回看链接:cid:link_2讲师PPT见附件~参与互动鼠标、保温杯、数据线等好礼等您来拿~一、直播看点1. 谁锁了我的表?--DWS常规锁简介&排查处理方法2. 我的数据我做主!--权限管理简介和最佳案例3. 权限不足怎么办?--权限报错问题处理方法二、参与互动,好礼等您领报名参加本次直播;直播间抽奖:观看直播并填写问卷调查,参与抽奖,点击进入问卷调查参与GaussDB(DWS)免费沙箱实验,并在本帖留言使用感受互动赢好礼:本主题贴跟帖盖楼,留言“玩转PB级数仓锁与权限”在GaussDB(DWS)论坛上发帖互动(包括但不限于直播收获、问题求助、博文分享、数仓产品体验感受、产品优化建议等);在华为云社区分享与直播内容相关的博文,并在本帖回复文章链接。       发文版块链接: cid:link_4      以上互动方式参与一种或多种均可~------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------本期“一招鲜,锁与权限为您的数仓保驾护航”直播互动活动已经结束,感谢各位小伙伴的参与!获得本期直播互动奖励的名单如下,恭喜以下小伙伴~本轮奖品姓名邮寄地址鼠标*滨已反馈鼠标张*飞已反馈保温杯*博已反馈保温杯*伟已反馈保温杯*霄已反馈华为云定制背包张*凯已反馈
  • [其他] 管控面实时查询监控项无数据
    【涉及局点】7850213 江苏江南农村商业银行【问题现象】管控面实时查询监控项无数据【问题原因】此局点曾进行变更内核8112-811300管控面803-810-811因升级前内核8112,管控面803,内核与管控面版本相差太大,故修改APIG配置将 /v2.0/{projectId}/clusters/{clusterId}/dms/collection/metric,v2.0,HTTPS,POST,DWS,{dms-collection-dns},{dms-collection-lb},30,test,/v2.0/{projectId}/clusters/{clusterId}/dms/collection/metric,HTTPS,,false改成了/v2.0/{projectId}/clusters/{clusterId}/dms/collection/metric,v2.0,HTTPS,POST,DWS,{dms-collection-dns},{dms-collection-lb},30,test,/v1.0/{projectId}/clusters/{clusterId}/dms/collection/metric,HTTPS,,false修改位置导致升级后内核811300,管控面811v1.0未改成v2.0使得管控面实时查询监控项无数据【定位过程】1. 查看后台实时监控开关有没有打开2.. 查看F12console有没有报错,查看Network接口有无报错;此问题接口无报错,console报错:数据库表主键重复3.查看后台日志,报错:数据库数据重复 4. select pg_terminate_backend(pid) from pg_stat_activity where query ilike '%dms_mtc_db_queries %' and query not ilike '%pg_stat_activity%'; truncate table dms_mtc_db_queries; select pg_terminate_backend(pid) from pg_stat_activity where query ilike '%dms_mtc_db_queries %' and query not ilike '%pg_stat_activity%'; ALTER TABLE dms_mtc_db_queries ADD PRIMARY KEY(virtual_cluster_id, inst_name, db_name, pid, query_id, ctime, start_time);清空dms_mtc_db_queries表后,问题仍未解决5.后定位到:由于升级前由于管控面,内核版本相差太大,于是在APIG配置中将接口 /v2.0/{projectId}/clusters/{clusterId}/dms/collection/metric,v2.0,HTTPS,POST,DWS,{dms-collection-dns},{dms-collection-lb},30,test,/v2.0/{projectId}/clusters/{clusterId}/dms/collection/metric,HTTPS,,falsev2.0改为v1.0升级后未改回来6. 见【规避措施】【规避措施】 先删除再注册1.删除错误的api, /v2.0/{projectId}/clusters/{clusterId}/dms/collection/metric,v2.0,HTTPS,POST,DWS,{dms-collection-dns},{dms-collection-lb},30,test,/v1.0/{projectId}/clusters/{clusterId}/dms/collection/metric,HTTPS,,false保存执行2.再注册修改后的api /v2.0/{projectId}/clusters/{clusterId}/dms/collection/metric,v2.0,HTTPS,POST,DWS,{dms-collection-dns},{dms-collection-lb},30,test,/v2.0/{projectId}/clusters/{clusterId}/dms/collection/metric,HTTPS,,false保存执行3.实时查询正常 【注意】1.删除、修改时,可从/var/log/apigateway/shubao/runtime/目录中查询日志access.log2.删除修改未成功时,可参考cid:link_2cid:link_3检查api是否注册curl -k -H "Content-Type:application/json" -i -X POST -d ' { "auth":{ "identity":{ "methods":[ "password" ], "password":{ "user":{ "name":"apiGateway_admin", "password":"**********", "domain":{ "name":"op_service" } } } }, "scope":{ "domain":{ "name":"op_service" } } } } ' https://{{ManageOne-Tenant-Float-IP}}:31943/v3/auth/tokens curl -k -X GET -H "X-Auth-Token: $token" 'https://{{AGW-Nginx-Float-IP}}/v1/apigw/extension/api-fusion/apis' | python -m json.tool > /tmp/aaa.txt图1-13.删除时,本问题version为1.0.04.修改时需注意dms-collection-dns表示dms-collection在ApiG中绑定得域名,dms-collection-lb表示dms-collection微服务的LB地址,二者和/v1.0/{projectId}/clusters/{clusterId}/dms/collection/meta/instance保持一致即可。可从后台日志得到域名,且无需修改version【参考资料】cid:link_1cid:link_0cid:link_2cid:link_3
  • [问题求助] 安装问题
    我们下载的是x86版本的银河麒麟,按照安装手册配置安装中,发现有缺失项,导致安装报错,请问怎么解决
  • [技术干货] DWS 读写 OBS 测试总结
    1.准备如下CSV格式测试数据,文件名为:product_info.1内容如下:100,XHDK-A-1293-#fJ3,2017-09-01,A,2017 Autumn New Shirt Women,red,M,328,2017-09-04,715,good!205,KDKE-B-9947-#kL5,2017-09-01,A,2017 Autumn New Knitwear Women,pink,L,584,2017-09-05,406,very good!300,JODL-X-1937-#pV7,2017-09-01,A,2017 autumn new T-shirt men,red,XL,1245,2017-09-03,502,Bad.310,QQPX-R-3956-#aD8,2017-09-02,B,2017 autumn new jacket women,red,L,411,2017-09-05,436,It's really super nice.150,ABEF-C-1820-#mC6,2017-09-03,B,2017 Autumn New Jeans Women,blue,M,1223,2017-09-06,1200,The seller's packaging is exquisite.2.上传此文件至OBS并行文件系统3.创建OBS CSV文件外表-- 导入OBS text外部数据DROP FOREIGN TABLE IF EXISTS product_info_text;CREATE FOREIGN TABLE product_info_text(product_price integer not null,product_id char(30) not null,product_time date ,product_level char(10) ,product_name varchar(200) ,product_type1 varchar(20) ,product_type2 char(10) ,product_monthly_sales_cnt integer ,product_comment_time date ,product_comment_num integer ,product_comment_content varchar(200))SERVER gsmpp_serverOPTIONS(LOCATION 'obs://X/Y/product_info.1', -- obs:// 为固定格式; X为并行文件系统名称;Y为目录层级名称FORMAT 'CSV' ,DELIMITER ',',encoding 'utf8',header 'false',ACCESS_KEY 'ACCESS_KEY_VALUES',SECRET_ACCESS_KEY 'SECRET_ACCESS_KEY_VALUES',fill_missing_fields 'true',ignore_extra_data 'true')READ ONLYLOG INTO product_info_errPER NODE REJECT LIMIT 'unlimited';-- 查询text格式OBS外表SELECT * FROM product_info_text;4.-- 创建DWS内表DROP TABLE IF EXISTS product_info;CREATE TABLE product_info(product_price integer not null,product_id char(30) not null,product_time date ,product_level char(10) ,product_name varchar(200) ,product_type1 varchar(20) ,product_type2 char(10) ,product_monthly_sales_cnt integer ,product_comment_time date ,product_comment_num integer ,product_comment_content varchar(200));5.-- 执行OBS csv数据导入DWS INSERT INTO product_info SELECT * FROM product_info_text;6.-- DWS 内表数据查询 SELECT * FROM product_info;7.-- 创建外部服务器 CREATE SERVER obs_server FOREIGN DATA WRAPPER dfs_fdwOPTIONS (address 'obs.XXXXX.com' , -- OBS服务终端节点(Endpoint)ACCESS_KEY 'ACCESS_KEY_VALUES',SECRET_ACCESS_KEY 'SECRET_ACCESS_KEY_VALUES',encrypt 'on',type 'obs');8.-- 查询外部服务器 SELECT * FROM pg_foreign_server WHERE srvname='obs_server';9.---创建OBS外表只写外表-- 关联的外部服务器为obs_server,外表写出到OBS上的文件格式为‘orc’;-- 写到OBS上的数据存储路径为'/honor-acl-test/yd_test/product_info/occur_date=20220905/'。DROP FOREIGN TABLE IF EXISTS product_info_ext_obs_orc;CREATE FOREIGN TABLE product_info_ext_obs_orc(product_price integer ,product_id char(30) ,product_time date ,product_level char(10) ,product_name varchar(200) ,product_type1 varchar(20) ,product_type2 char(10) ,product_monthly_sales_cnt integer ,product_comment_time date ,product_comment_num integer ,product_comment_content varchar(200)) SERVER obs_serverOPTIONS (format 'orc',foldername '/honor-acl-test/yd_test/product_info/occur_date=20220905/', -- 并行文件系统的路径compression 'snappy',version '0.12') Write Only;10. -- 执行DWS内表数据导出到OBS为orc格式 INSERT INTO product_info_ext_obs_orc SELECT * FROM product_info;-- OBS 控制台可以看到文件写出成功11. -- 创建不带分区的DWS OBS(ORC)外表 DROP FOREIGN TABLE IF EXISTS product_info_ext_obs;CREATE FOREIGN TABLE product_info_ext_obs(product_price integer not null,product_id char(30) not null,product_time date ,product_level char(10) ,product_name varchar(200) ,product_type1 varchar(20) ,product_type2 char(10) ,product_monthly_sales_cnt integer ,product_comment_time date ,product_comment_num integer ,product_comment_content varchar(200)) SERVER obs_serverOPTIONS (format 'orc',foldername '/honor-acl-test/yd_test/product_info/occur_date=20220905/', -- 并行文件系统的路径encoding 'utf8',totalrows '10')DISTRIBUTE BY ROUNDROBIN;12. -- 查询普通DWS OBS(ORC)外表 select * from product_info_ext_obs;13. -- 创建OBS ORC格式的分区外表(ORC文件里无分区字段值,OBS目录为分区字段值;--从目录名称拿到分组字段的值,但是目录名称要写成 partition_column=values 这样,直接values不行;比如:occur_date=20220905 可以,直接 20220905 不行,会报错为:SQL 错误 [HV000]: ERROR: Something wrong with the partition directory name of file ......)DROP FOREIGN TABLE product_info_ext_obsorc_par;CREATE FOREIGN TABLE product_info_ext_obsorc_par(product_price integer not null,product_id char(30) not null,product_time date ,product_level char(10) ,product_name varchar(200) ,product_type1 varchar(20) ,product_type2 char(10) ,product_monthly_sales_cnt integer ,product_comment_time date ,product_comment_num integer ,product_comment_content varchar(200) ,occur_date varchar(30))SERVER obs_serverOPTIONS(format 'orc',foldername '/honor-acl-test/yd_test/product_info/',encoding 'utf8')DISTRIBUTE BY ROUNDROBINPARTITION BY (occur_date) AUTOMAPPED;14. -- 查询OBS ORC格式的分区外表,走分区剪枝 SELECT * FROM product_info_ext_obsorc_par WHERE occur_date='20220905';15.一些注意点说明:(1)关于OBS桶和并行文件系统桶概念:桶(Bucket)是OBS中存储对象的容器。对象存储提供了基于桶和对象的扁平化存储方式,桶中的所有对象都处于同一逻辑层级,去除了文件系统中的多层级树形目录结构。每个桶都有自己的存储类别、访问权限、所属区域等属性,用户可以在不同区域创建不同存储类别和访问权限的桶,并配置更多高级属性来满足不同场景的存储诉求。对象存储服务设置有四类桶存储类别,分别为:标准存储、低频访问存储、归档存储、深度归档存储(受限公测中),从而满足客户业务对存储性能、成本的不同诉求。创建桶时可以指定桶的存储类别,桶的存储类别可以修改。在OBS中,桶名必须是全局唯一的且不能修改,即用户创建的桶不能与自己已创建的其他桶名称相同,也不能与其他用户创建的桶名称相同。桶所属的区域在创建后也不能修改。每个桶在创建时都会生成默认的桶ACL(Access Control List),桶ACL列表的每项包含了对被授权用户授予什么样的权限,如读取权限、写入权限等。用户只有对桶有相应的权限,才可以对桶进行操作,如创建、删除、显示、设置桶ACL等。一个帐号及帐号下的所有IAM用户可创建的桶+并行文件系统的上限为100个。每个桶中存放的对象的数量和大小总和没有限制,用户不需要考虑数据的可扩展性。由于OBS是基于REST风格HTTP和HTTPS协议的服务,您可以通过URL(Uniform Resource Locator)来定位资源。并行文件系统概念:并行文件系统(Parallel File System)是对象存储服务(Object Storage Service,OBS)提供的一种经过优化的高性能文件系统,提供毫秒级别访问时延,以及TB/s级别带宽和百万级别的IOPS,能够快速处理高性能计算(HPC)工作负载。桶和并行文件系统的使用区别:在使用上这二者基本没有区别,可以把并行文件系统认为是一个高性能、高版本或者高级桶。当然,并行文件系统的收费也较桶稍贵一点。对外表性能有要求,推荐使用并行文件系统!(2)关于自建外部服务器obs_server和DWS默认的gsmpp_server外部服务器使用当使用自建外部服务器obs_server,创建OBS外部分区表时,OBS文件必须存储在并行文件系统里。当使用DWS默认外部服务器gsmpp_server,创建OBS外部分区表时,OBS文件必须存储在桶和并行文件系统都可以。由于自建外部服务器obs_server在创建DWS外表时,不用再次指定AK和SK,安全性较好,推荐使用自建外部服务器的方式!//认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全
总条数:2746 到第 页
上滑加载中