• [运维管理] DWS 中是否有函数匹配某个值出现的次数?
    DWS 中是否有函数匹配某个值出现的次数?
  • [迁移系列] 【Oracle迁移】数据一致性xor_md5函数
    同GaussDB(DWS)、Teradata、Oracle保持一致的xor_md5函数,用于验证跨平台间checksum值相同。CREATE OR REPLACE FUNCTION xor_md5(inputString VARCHAR2) RETURN NUMBER IS result NUMBER(38); md5 NUMBER; BEGIN select m1+m2-BITAND(m1, m2) * 2 into md5 from ( select n1+n2-BITAND(n1, n2) * 2 as m1, n3+n4-BITAND(n3, n4) * 2 as m2 from ( select to_number(substr(md5,1,8),'xxxxxxxx') n1, to_number(substr(md5,9,8),'xxxxxxxx') n2, to_number(substr(md5,17,8),'xxxxxxxx') n3, to_number(substr(md5,25,8),'xxxxxxxx') n4 from ( select standard_hash(inputString, 'MD5') as md5 from dual )a ) b) c; RETURN md5; END xor_md5;/用法:select sum(xor_md5(校验字段)) from 业务表;
  • [迁移系列] 【DB2迁移】数据一致性xor_md5函数
    同GaussDB(DWS)、Teradata、Oracle保持一致的xor_md5函数,用于验证跨平台间checksum值相同。CREATE FUNCTION hex_to_dec(param1 char(8))returns bigintlanguage sqlbegin atomic declare num bigint; declare i int; declare s varchar(1); set num = 0; set i = 1; while i <= 8 do set s = substr(param1,i,1); set num = num + power(16,8-i) * (case s when 'A' then 10 when 'B' then 11 when 'C' then 12 when 'D' then 13 when 'E' then 14 when 'F' then 15 else to_number(s) end); set i = i + 1; end while; return num;end@CREATE FUNCTION xor_md5(param1 varchar(32000))returns bigintlanguage sqlbegin atomic declare hash_value varchar(32); declare num bigint; set hash_value = hex(sysibm.hash(param1,0)); set num = hex_to_dec(substr(hash_value,1,8)) ^ hex_to_dec(substr(hash_value,9,8)) ^ hex_to_dec(substr(hash_value,17,8)) ^ hex_to_dec(substr(hash_value,25,8)); return num;end@注意,创建函数方式:db2 -td@ "创建函数SQL"
  • [开发应用] DWS JDBC 开启SSL认证连接
    我的DWS服务端开启了SSL认证,我通过官网的命令,生成了客户端keystore与truststore文件我参考官网文档 设置keystore 开启ssl = true 去连接发现我的文件正确与否 都能连接成功于是我又设置 sslmode = "verify-ca"此时用文件链接报错 但根本没有这个目录 并且我的客户端密钥文件并非在此目录大佬们我该如何通过jdbc的方式进行ssl连接?
  • [运维管理] 函数执行的日志在哪里查询到
    函数执行的日志在哪里查询到,线上和线下版本存储的位置是否一致
  • [环境搭建] 有关GaussDB(DWS)数据库服务器磁盘空间问题
    背景:数据库服务器使用 鲲鹏服务器物理机,操作系统为 麒麟V10,服务器个数 4台,单台服务器硬盘为40T 问题: 1.每台服务器硬盘为40T,但是据说只有约9T可以用于存储数据库表数据,4台服务器是每台都只有9T可用来存数据库数据么? 2.考虑各节点主备库的关系,其他20T都是用来干嘛的呢? 3.若9T不够的话,可以通过在数据库服务器硬件上增加磁盘的方式扩充么?
  • [运维管理] GaussDB(DWS)在哪个版本会支持analyze单分区?
    已知8.1.1版本中,analyze支持单分区收集统计信息的语法,但是功能上不支持。那么8.1.3或8.2.1版本中,analyze是否可以支持单分区收集统计信息。
  • GaussDB(DWS)伙伴赋能学习课表
    项目学习内容学习目标学习材料学习时间产品架构GaussDB(DWS)产品架构学习主要学习GaussDB(DWS)的产品架构,了解GaussDB(DWS)应用场景、关键特性与案例https://bbs.huaweicloud.com/videos/103289Week 1,Day 1测试环境安装GaussDB(DWS)集群部署与管理(HCS/纯软)学习华为数仓GaussDB(DWS) 模式集群网络规划,集群部署,部署完后的管理界面FI的基本功能,包括节点替换,扩容等。https://bbs.huaweicloud.com/videos/103290《GaussDB(DWS)产品文档》->软件安装Day 2-3POC技能训练 数据库对象设计数据库整体设计,对象命名规范,对象设计原则,Sql编写规则四个方面详细讲解了应用层如何用好数据仓库GaussDB(DWS) https://bbs.huaweicloud.com/videos/103292Day 4数据迁移通过GDS和COPY工具进行物理数据的迁移,通过gs_dump/gs_resotre迁移元数据,以及学习GaussDB(DWS)的ETL工具,对DSC工具的使用简单说明通过学习并了解迁移语法案例,做到实际工作中可以快速查找定位。https://bbs.huaweicloud.com/videos/103291Day 5-6https://bbs.huaweicloud.com/forum/thread-180584-1-1.html《GaussDB(DWS)产品文档》->开发者指南->SQL参考开发接口API实战掌握ODBC、JDBC安装和常见问题解决方法。《GaussDB(DWS)产品文档》->开发者指南->应用程序开发教程Week2,Day 1产品能力进阶GaussDB(DWS)资源负载管理学习华为云数仓GaussDB(DWS)多租户机制,资源管理及负载管理机制,让您了解多租户的基本概念及基本设置方法,了解资源负载的基本原理及并发管理机制,初步进行资源负载分析和配置。https://bbs.huaweicloud.com/videos/103295Day 2-3GaussDB(DWS)开发规范与性能调优学习通过Explain命令查看查询语句的执行计划,并掌握华为云数仓GaussDB(DWS) 调优的基本理论、常见的SQL性能问题的定位手段和解决方案https://bbs.huaweicloud.com/videos/103296 Day 4-6https://vhall.huawei.com/fe/watch/6305GaussDB(DWS) 备份与恢复学习GaussDB(DWS) 的备份恢复工具Roach,介绍了其运作原理,操作命令,注意事项等。https://bbs.huaweicloud.com/videos/103299 Week 3, Day 1GaussDB(DWS)安全与权限设计学习数据加密,三权分立,行列及控制,用户管理,私有用户等数据安全核心功能https://bbs.huaweicloud.com/videos/103297Day 2GaussDB(DWS)事务、锁机制管理学习华为云数仓GaussDB(DWS) 单机事务机制,分布式事务机制,锁机制,和一般的锁问题定位防范,例如死锁问题https://bbs.huaweicloud.com/videos/103294Day 3GaussDB(DWS)底层存储核心机制学习分布式存储引擎、列存引擎关键技术和行列存储引擎使用场景及性能对比https://bbs.huaweicloud.com/videos/103780Day 4GaussDB(DWS)日常巡检学习GaussDB(DWS)巡检的场景和操作方法https://bbs.huaweicloud.com/videos/103300Day 5GaussDB(DWS) 补丁、升级及扩容学习GaussDB(DWS)如何打补丁,升级及扩容,有哪些注意事项等https://bbs.huaweicloud.com/videos/103298Day 6GaussDB(DWS) 常见问题三板斧学习华为云数仓GaussDB(DWS)在集群,sql,内存方面的常见问题的定位思路及实战演练https://bbs.huaweicloud.com/videos/103301Day 7(熟悉文档,按需查询)维护宝典:https://support.huawei.com/enterprise/zh/doc/EDOC1100160683
  • DWS管控面之ELB健康检查离线
    DWS管控面之ELB健康检查离线 【问题现象】     弹性负载均衡->负载均衡->后端服务器组->健康检查结果->离线 【常见版本】8.2.0版本    【定位思路】    1、 首先确认CN节点是否真实离线 登录RMS数据库select id,name,status from rds_instance where clusterid='XXX' order by name; 字段status状态为200即为正常 2、网络侧同事可进行CN节点8000端口抓包测试 抓包测试结果表现如果是请求消息可以正常发送但是无返回消息进行下一步排查(这也是健康检查结果离线的原因) 如果不是上述表现则需进一步网络排查 3、登录离线节点检查网络配置 cat /etc/sysctl.conf |grep rp_filter 如果存在net.ipv4.conf.default.rp_filter=1,则需将其改为net.ipv4.conf.default.rp_filter=0 4、在离线节点检查策略路由 route -n 如果仅有bond0的默认路由则存在问题,需添加请求端路由一般为bond0.xxxx(仅用默认路由会判定返回无效消息) route add -net xx.xxx.xxx.0 netmask 255.255.255.0 dev bond0.xxxx 到此已经可以恢复网络连通性,但仍需检查添加路由文件和定时任务 5、查看添加路由文件 cat /etc/init.d/addRoute 需要将/usr/sbin/ip route add 0/0 via 192.168.x.1 table 100改为 /usr/sbin/ip route add 0/0 via 192.168.x.1 table 100 onlink dev bond0.xxxx 6、查看添加路由定时任务是否正常执行(不再赘述) 
  • [其他] 【驱动】现网局点通过中间件读取dws报错
    【问题描述】现网局点,通过中间件 knexjs 想要流式读取dws数据报错;stream流式读取:报错:【解决方案】此中间件用的是Node.js 底层提供的驱动不是华为的驱动,连接DWS,只能用jdbc或者odbc1. 客户通过pg单条读取数据可以,流式读取驱动不支持;2.底层代码js修改为java,通过jdbc连接读取;jdbc可以通过copymanger实现流式读取cid:link_0cid:link_1
  • [POC&交付] DWS对接开源HDFS/星环
    对接HDFS/星环1.1 创建用户创建远端数据湖集群的用户,需有权限读取该集群HDFS上要访问的数据目录,验证此用户是否具有访问目标目录的权限的方法是:在远端HD集群上下载客户端,通过此用户利用HDFS客户端命令访问目标目录(例如用户名是admin,要访问的目录是/tmp/test):kinit adminhdfs dfs -ls /tmp/test1.2 获取配置文件从数据湖集群获取core-site.xml、user.keytab、krb5.conf、hdfs-site.xml四个文件如果目标端为星环:需星环端关闭oauth2认证方式,只使用kerberos认证,并重启整套星环集群,并获取以上四个配置文件1.3 手动创建并修改文件手动创建elk-site.xml文件,并根据实际内容修改红色字体内容,admin@hadoop.COM为用户名+域名,/MRS/hdfs_cfg/user.keytab为后续1.4步骤上传.Keytab文件绝对路径<?xml version="1.0" encoding="UTF-8"?><configuration><property><name>dfs.namenode.kerberos.principal</name><value>admin@hadoop.COM</value></property><property><name>remote_connect_hdfs_enable</name><value>true</value></property><property><name>dfs.namenode.kerberos.keytab</name><value>/MRS/hdfs_cfg/user.keytab</value></property></configuration>创建路径/opt/huawei/Bigdata/mppdb/hdfs/conf将core-site.xml、user.keytab、krb5.conf、hdfs-site.xml、elk-site.xml五个文件上传,并赋权为集群安装用户Chmod 755 *Chown omm:wheel *1.4 创建外表SERVER红色字体根据实际目标HDFS的主备namenode实例的业务IP及端口号进行修改create server server_test foreign data wrapper hdfs_fdw options(address '主namenodeIp:25000,备namenodeIp:25000',hdfscfgpath '/opt/huawei/Bigdata/mppdb/hdfs/conf/ ',type 'HDFS');1.5 创建外表如果为星环独有torc表,可能无法读取,需更换为orc表CREATE FOREIGN TABLE region(    R_REGIONKEY INT4,   R_NAME TEXT,    R_COMMENT TEXT)SERVER    server_testOPTIONS(    FORMAT 'orc',    FOLDERNAME '/user/hive/warehouse/mppdb.db/region_orc11_64stripe/')DISTRIBUTE BY     roundrobin;查询:select * from region limit 10;
  • [开发应用] ERROR: function working_version_num() does not exist 建议:No function matches the given name and argument types. You mig
    我用8.1.1.1-200包进行jdbc测试连接时,报错 working_version_num()这个函数不存在看源码发现测试连接时他会执行select version(),working_version_num();这个语句我尝试自定义protocolVersion版本,然后它报错Force use of a particular protocol version when connecting, currently only version 3 is supported.
  • [技术干货] JDBC连接 Invalid or unsupported by client SCRAM mechanisms
    使用JDBC连接 8.1.1版本的DWS 报错Invalid or unsupported by client SCRAM mechanisms 
  • [问题求助] 【香港启德项目】设备基线FDI任务可以正常执行,但是无数据,能否恢复执行任务之前删除的表中数据
    1.启动job_batch_dwi_facility_definition时,删除了原来表(dwi_facility_definition)中的数据;2.任务可以正常启动运行,但是无数据产生,现需要数据支撑开发,能否恢复原表中的数据3.dws数据库49.4.48.37 8000 账号:data_db_ktspioc
  • [开发应用] 程序进程异常中断之后,提交到数据库的sql会被怎么处理?
    问题描述:开发了一个程序连接gaussdb去执行一些insert,update或者其他sql,sql执行的途中,程序进程被异常中断了,已经提交到数据库的sql会被怎么处理呢? 会锁表吗? 下一次程序跑起来之后,需要等待前一次提交的sql执行完? 
总条数:2746 到第
上滑加载中