-
列存表建了PCK之后,跟索引一样的效果么?如果按三个字段做pck,SQL里where条件只用到其中一个,会起作用么?
-
安装GaussDB 200 6.5.1版本集群,当前已有license 30Tb容量,而实际集群可用磁盘100多Tb,license是否需要提前扩容,还是使用到30tb之后再扩容license?
-
之前对华为云GaussDB(for Redis)做了一些功能性测试,本文想通过容量维度去对比测试下基于开源Redis在ECS上自建数据库,和使用华为云GaussDB(for Redis)的成本有何差别,供大家在做系统架构或者部署时参考(详细见文末对比表格)。首先说明一下自建Redis数据库需要在主机上自己搭建、部署、监控、运维,另外为了满足高可用要求,必须搭建主备或者集群。华为云GaussDB(for Redis)后台所有配置、监控等都对用户透明,只需通过IP、端口号、用户、密码连接数据库即可,支持在线扩容。另外,华为云GaussDB(for Redis)最少3个节点,后台存储也做了冗余。接下来我们对200GB容量的Redis数据库需求,来详细对比下二者的成本。针对GaussDB(for Redis),直接购买200GB存储空间即可。基于开源Redis自建,根据官方最佳实践需要设置Redis最大使用内存为主机内存的45%:maxmemory=host_memory*45%,那么就需要购买444GB内存的ECS服务器,另外还需要购买一台同等配置的ECS用于搭建主备。PS:由于没有200GB规格的内存和存储空间,GaussDB(for Redis)购买192GB规则,ECS直接购买两台384GB规格。1、购买GaussDB(for Redis)选择4U16GB性能,存储空间192GB。如上费用为16.8每小时,一年费用为65,868。确认规则,直接购买。2、购买ECS购买192*2=384GB内存规则的ECS,(这里为了方便,直接购买单台384GB规则的ECS,用于测试)X86平台每小时24.1,两台也就是48.2。X86平台一年的费用为115,880,两台也就是231,760。3、确认规格GaussDB(for Redis)ECS:4、ECS搭建Redis直接使用yum安装,然后启动服务即可:[root@ecs-redis ~]# yum install redisLast metadata expiration check: 0:08:56 ago on Tue 22 Dec 2020 05:29:20 PM CST.Dependencies resolved.=========================================================================================================================================================================== Package Architecture Version Repository Size===========================================================================================================================================================================Installing: redis x86_64 5.0.3-2.module_el8.2.0+318+3d7e67ea AppStream 925 kEnabling module streams: redis 5 Transaction Summary===========================================================================================================================================================================Install 1 PackageTotal download size: 925 kInstalled size: 3.2 MIs this ok [y/N]: yDownloading Packages:redis-5.0.3-2.module_el8.2.0+318+3d7e67ea.x86_64.rpm 3.6 MB/s | 925 kB 00:00 ---------------------------------------------------------------------------------------------------------------------------------------------------------------------------Total 1.3 MB/s | 925 kB 00:00 warning: /var/cache/dnf/AppStream-a520ed22b0a8a736/packages/redis-5.0.3-2.module_el8.2.0+318+3d7e67ea.x86_64.rpm: Header V3 RSA/SHA256 Signature, key ID 8483c65d: NOKEYCentOS-8 - AppStream 1.6 MB/s | 1.6 kB 00:00 Importing GPG key 0x8483C65D: Userid : "CentOS (CentOS Official Signing Key) <security@centos.org>" Fingerprint: 99DB 70FA E1D7 CE22 7FB6 4882 05B5 55B3 8483 C65D From : /etc/pki/rpm-gpg/RPM-GPG-KEY-centosofficialIs this ok [y/N]: yKey imported successfullyRunning transaction checkTransaction check succeeded.Running transaction testTransaction test succeeded.Running transaction Preparing : 1/1 Running scriptlet: redis-5.0.3-2.module_el8.2.0+318+3d7e67ea.x86_64 1/1 Installing : redis-5.0.3-2.module_el8.2.0+318+3d7e67ea.x86_64 1/1 Running scriptlet: redis-5.0.3-2.module_el8.2.0+318+3d7e67ea.x86_64 1/1 Verifying : redis-5.0.3-2.module_el8.2.0+318+3d7e67ea.x86_64 1/1 Installed: redis-5.0.3-2.module_el8.2.0+318+3d7e67ea.x86_64 Complete![root@ecs-redis ~]# [root@ecs-redis ~]# service redis startRedirecting to /bin/systemctl start redis.service[root@ecs-redis ~]# [root@ecs-redis ~]# [root@ecs-redis ~]# [root@ecs-redis ~]# [root@ecs-redis ~]# redis-cli127.0.0.1:6379> 127.0.0.1:6379> 5、测试写入200GB数据测试写入200GB左右的数据到Redis中:本机ECS:[root@ecs-redis ~]# redis-benchmark -t set -d 1000000 -n 196000 -r 10000000000====== SET ====== 196000 requests completed in 188.03 seconds 50 parallel clients 1000000 bytes payload keep alive: 10.00% <= 1 milliseconds0.00% <= 2 milliseconds0.00% <= 3 milliseconds0.00% <= 4 milliseconds...100.00% <= 1171 milliseconds1042.38 requests per second[root@ecs-redis ~]# GaussDB(for Redis):[root@ecs-ae88 ~]# redis-benchmark -h 192.168.0.93 -p 8635 -a 'Redis2020!' -t set -d 1000000 -n 196000 -r 10000000000====== SET ====== 196000 requests completed in 725.30 seconds 50 parallel clients 1000000 bytes payload keep alive: 10.00% <= 5 milliseconds0.11% <= 6 milliseconds...100.00% <= 3303 milliseconds270.23 requests per second6、200GB数据结果本机ECS:dbsize为19万,使用内存接近200GB。[root@ecs-redis ~]# free -m total used free shared buff/cache availableMem: 386715 151995 233548 8 1171 232569Swap: 0 0 0[root@ecs-redis ~]# free -m total used free shared buff/cache availableMem: 386715 153388 232141 8 1184 231176Swap: 0 0 0[root@ecs-redis ~]# free -m total used free shared buff/cache availableMem: 386715 154101 231422 8 1191 230463Swap: 0 0 0[root@ecs-redis ~]# free -m total used free shared buff/cache availableMem: 386715 154759 230757 8 1199 229805Swap: 0 0 0[root@ecs-redis ~]# free -m total used free shared buff/cache availableMem: 386715 155376 230134 8 1205 229188Swap: 0 0 0[root@ecs-redis ~]# free -m total used free shared buff/cache availableMem: 386715 199974 185070 8 1670 184585Swap: 0 0 0[root@ecs-redis ~]# free -m total used free shared buff/cache availableMem: 386715 199974 185062 8 1678 184584Swap: 0 0 0[root@ecs-redis ~]# redis-cli dbsize(integer) 195980[root@ecs-redis ~]# redis-cli dbsize(integer) 195980GaussDB(for Redis):查看存储空间仅使用了20GB左右,这是由于GaussDB(for Redis)后台使用了压缩算法,所以这里看到的测试数据被压缩了10倍。7、测试写入400GB左右的数据:本机ECS:测试到一半,主机直接崩溃,执行任何命令都报错Cannot allocate memory。[root@ecs-redis ~]# redis-benchmark -t set -d 2000000 -n 196000 -r 10000000000^CT: 321.36[root@ecs-redis ~]# redis-cli-bash: fork: Cannot allocate memory[root@ecs-redis ~]# redis-cli FLUSHDB-bash: fork: Cannot allocate memory[root@ecs-redis ~]# redis-cli FLUSHDB-bash: fork: Cannot allocate memory[root@ecs-redis ~]# ps -ef|grep redis-bash: fork: Cannot allocate memory[root@ecs-redis ~]# ps -ef-bash: fork: Cannot allocate memory[root@ecs-redis ~]# ps -ef-bash: fork: Cannot allocate memory[root@ecs-redis ~]# restart-bash: fork: Cannot allocate memory[root@ecs-redis ~]# --内存变化:[root@ecs-redis ~]# free -g total used free shared buff/cache availableMem: 377 15 361 0 0 360Swap: 0 0 0[root@ecs-redis ~]# free -g total used free shared buff/cache availableMem: 377 17 359 0 0 358Swap: 0 0 0...[root@ecs-redis ~]# free -g total used free shared buff/cache availableMem: 377 345 28 0 2 29Swap: 0 0 0[root@ecs-redis ~]# free -g total used free shared buff/cache availableMem: 377 346 28 0 2 29Swap: 0 0 0[root@ecs-redis ~]# free -g^[[A^[[B^[[A-bash: fork: Cannot allocate memoryGaussDB(for Redis):[root@ecs-ae88 ~]# redis-benchmark -h 192.168.0.93 -p 8635 -a 'Redis2020!' -t set -d 2000000 -n 196000 -r 10000000000====== SET ====== 196000 requests completed in 1330.57 seconds 50 parallel clients 2000000 bytes payload keep alive: 10.00% <= 7 milliseconds0.00% <= 8 milliseconds0.00% <= 10 milliseconds0.00% <= 11 milliseconds...100.00% <= 20100 milliseconds100.00% <= 20108 milliseconds147.31 requests per second正常写入了400GB左右的数据,查看控制台存储空间使用26.5G,压缩比例更高了,当然这也与测试的数据有很大关系。8、测试写入2T左右的数据测试写入2T左右的数据到GaussDB(for Redis),验证压缩比例:[root@ecs-ae88 ~]# redis-benchmark -h 192.168.0.93 -p 8635 -a 'Redis2020!' -t set -d 2000000 -n 1000000 -r 100000000000====== SET ====== 1000000 requests completed in 10124.11 seconds 50 parallel clients 2000000 bytes payload keep alive: 10.00% <= 5 milliseconds0.00% <= 7 milliseconds...100.00% <= 20107 milliseconds100.00% <= 20108 milliseconds98.77 requests per second查看后台存储空间使用了126.7GB,压缩比也在1:10以上。这里换算成自建开源Redis,需要2T * 2 *2=8T的可用内存,并且此时也只有搭建集群才能满足需求,对应的实际成本会高很多。总结在容量充足的情况下,我们验证了自建开源Redis和华为GaussDB(for Redis)数据都能正常写入,且数据库大小相同。两者的详细价格如下:ECS+开源RedisGaussDB(for Redis)可用空间384GB*45%192GB压缩比无压缩1:10每小时¥ 48.2¥ 16.8包年¥ 231,760¥ 65,868从上面可以看出,在不考虑压缩的情况下,基于开源Redis自建的费用差不多是购买华为云GaussDB(for Redis)的四倍。另外,从测试数据来看,华为云GaussDB(for Redis)的磁盘空间压缩比在1:10以上,也就是可用空间是至少是相同容量规则自建Redis的十倍。核算下来,华为云GaussDB(for Redis)以1/4的价格拥有10倍以上的可用空间,整体成本相当于是开源Redis自建数据库的1/40,这里还不包括自建Redis数据库需要额外的搭建、运维、监控、升级扩容等各项成本。如果云上项目或者即将上云项目中有需要用到Redis,建议大家可以考虑选择华为云GaussDB(for Redis)。赶紧戳这里,了解更多详情吧~~
-
华为云数据库年末有礼数据库课程0元免费学,赢取精美礼品活动时间 2020年12月21日 —2021年 1月21日活动任务 学习课程《华为数据库产品GaussDB介绍》,完成课程学习,提供100%课程进度。点击学习课程,在本活动贴下方晒出完成学习的截图,格式如下:华为云账号+完成课程学习100%截图回帖示例:华为云账号:XXXXXXXX活动奖励奖品名称数量发放规则迷你超声波香薰机|加湿器3帖子盖满300层,在所有楼层,随机抽取3名幸运用户帆布包8帖子盖满200层,在所有楼层(除以上获奖楼层外)随意抽取8名幸运用户笔记本散热器15帖子盖满150层,在所有楼层(除以上获奖楼层外)随意抽取15名幸运用户码豆500/人帖子盖满100层,在所有楼层(除以上获奖楼层外)随意抽取50名幸运用户注意事项1.获奖结果将在活动结束后7个工作日内进行公示,请确认您已经在主帖处完成了收货信息登记,所有奖品将在活动结束后15个工作日内发放。2.为防止有恶意发帖行为,同一ID回帖活动期间只可回帖1次,超过将取消资格。3.每个ID只能参与一次评选,同一ID不可重复中奖。4.活动参与需遵守《华为社区常规活动规则》 更多精彩活动《云上会考数据库专场——答题有奖》 《数据库会场年末有礼——盖楼有奖》 《华为云·云筑2020年终盛典主会场》
-
补丁升级过程中Mppdbserver升级报错,看/var/log/Bigdata/patch/MPPDB_MPPDBServer_installPatch.log会发现上图的错误,可以看到是tar -zxf将对象解压错误,去脚本执行的路径下,可以看到压缩包,有redhat和eulor的包,而正常的环境只有eulor包,现场操作系统为eulor arm64softPackage=/opt/huawei/Bigdata/FusionInsight_MPPDB_6.5.1.8/install/FusionInsight-MPPDB-6.5.1/package/MPPDB_ALL_PACKAGE/GaussDB-Kernel-V300R002C00-EULER-64bit.tar.gz/opt/huawei/Bigdata/FusionInsight_MPPDB_6.5.1.8/install/FusionInsight-MPPDB-6.5.1/package/MPPDB_ALL_PACKAGE/GaussDB-Kernel-V300R002C00-REDHAT-64bit.tar.gz按sh脚本的执行逻辑,可以看到路径为如上,find正常逻辑是找到1个,但是找到了2个,现场updateservice页面使用回滚,然后上传新的包,但是还是出现了相同的问题这说明中间文件的残余没有被回滚,导致redhat的包还是在中间过程被解压了(所以明确包的下载还是痕重要的,都是血泪啊)规避措施:修改installPatch.sh将捕获逻辑修改,图中被注释的是不分操作系统的捕获逻辑,这里因为操作系统确定,我们将逻辑设定为只捕获eulor,(注意是各数据节点都要修改!)我们回看下包,正常是MPPDB包应该使用上面的,但是现场错误使用了redhat的包可以看到2个包解压出来的结果都是redhat,这是updateservice没有识别出来的原因
-
【功能模块】Data Studio,系统schema【操作步骤&问题现象】Data Studio上能看到一些pg_toast_temp*以及pg_temp*开头的schema,这些的作用是什么,在什么情况下产生。【截图信息】
-
在学习HCIP-GaussDB-OLAP V1.5相关课程过程中有两个问题:1.HCIP-GaussDB-OLAP V1.5考题范围这几门课程中是否都包括;2.发现数据库设计与管理、数据库迁移管理、数据库高级特性三门课程相关学习文档无法打开,一直提示转换中,请帮忙修复。https://education.huaweicloud.com/courses/course-v1:HuaweiX+CBUCNXD025+Self-paced/courseware/8735d34082534795b19faed49afd6313/96770f007df54085838f40c2e35c6794/ https://education.huaweicloud.com/courses/course-v1:HuaweiX+CBUCNXD028+Self-paced/courseware/7b45b24f26a24002a36caa0124cd44d6/407cb216f7eb4c74b495bbaef2a44ef6/https://education.huaweicloud.com/courses/course-v1:HuaweiX+CBUCNXD029+Self-paced/courseware/8c40ade722c54735bdfc7ce984206c71/95fc2caa6372478a92e5fa686f34b62f/
-
随着移动互联网、IoT、人工智能等技术的迅速发展,数据产生的规模空前增长,据知名咨询机构统计,预计未来5年数据规模年均增速达30%,面对快速膨胀的数据规模,各类企业、机构需要更快、更全面的掌握分析数据,挖掘内在价值,支撑经营决策和优化管理,数据仓库作为核心查询分析平台,必须要具备大规模集群能力,也是数据库厂商需要突破的核心技术点之一。 12月18日,由中国信息通信研究院、中国通信标准化协会、北京市大数据中心联合主办的“2020数据资产管理大会”在北京拉开帷幕,会上信通院为通过大数据、数据库等能力评测的产品颁发证书。华为云GaussDB(DWS)数据仓库以单集群2048节点的超大规模,满分通过测试认证,是迄今为止信通院认证的最大规模分布式数据库集群,刷新了历史记录,树立了业界新标杆。 华为云GaussDB(DWS)为各企业用户提供最佳性能、按需扩展、稳定可靠的企业级数据仓库,满足客户超大规模数据的高性能查询分析诉求。在本次大规模集群测试评估中,华为云GaussDB(DWS)一次性通过50项测试用例,包括27项必选用例和23项可选用例,交出了完美的答卷。 大规模数据仓库集群不仅仅是将众多服务器“攒”起来,更需要解决大并发复杂查询下的通信连接风暴问题。并且在数千节点的集群中,平均每天都会有硬件故障发生,如何应对“硬件不可靠”带来的问题?如何在硬件亚健康情况下数据仓仍能提供稳定的性能,如何在操作系统“软死”情况下数据仓库不出现卡顿、无响应等问题,是技术面临的极大挑战。在2048节点大规模集群认证的背后,是GaussDB(DWS)强大“硬核科技”的表现。一、Multi-Streams多流通信技术 在2048节点规模下,集群进行全并行数据交换时,集群内可达百亿级的并行连接,出现通信连接风暴,已远远超出TCP连接端口号和socket文件句柄上限。 GaussDB(DWS)自研的Multi-Streams多流通信技术,将连接数提升5个数量级,突破物理机TCP连接端口限制,能够支持集群内百亿级通信连接,并且理论支持节点数无上限。 Multi-Streams多流通信采用逻辑连接技术,避免了TCP物理连接的三次握手的机制,单数据节点建连性能达到100万次/s,提升20倍。 该技术基于全异步无阻塞代理通信架构,支持跨逻辑连接的socket合并,将网络吞吐能力提升3倍。二、高可用设计及集群管理技术 GaussDB(DWS)设计之初,即充分考虑高可用性,其具备多层级高可用及容灾能力,在进程级、节点级、集群级出现软硬件异常的情况下具备平滑处理能力。 在棘手的硬件亚健康、“软死”问题上,GaussDB(DWS)具备完善的智能检测和处理机制,能够实时监测任意节点状态,包括服务器亚健康状态、磁盘慢盘、静默损坏等等场景,通过自动感知、剔除、平滑切换等高可用策略,提高业务的连续性。 并且,在物理组件发生故障的情况下,Server端Multi-Retries技术能够大幅减少故障失败的业务感知,保障业务持续运行。 在集群管理上,针对超大节点数场景,通过逻辑重构,实现集群起停的全并行处理,2048节点规模下具备分钟级起停能力。三、大规模场景下的并行数据备份恢复技术 完全在线:数据备份期间,采用全程无加锁技术,任何业务SQL、包括DDL均不受影响 多层级并行极速备份:每节点独立多并发、多通道备份,提供10PB级数据快速备份恢复性能 全局一致性快照:集群级全局一致性快照,数据强一致性保证 细粒度数据恢复:支持多粒度数据恢复,满足客户误删、个别表损坏等紧急恢复需求。 得益于包括以上三点在内的一系列核心技术,华为云GaussDB(DWS)一举通过信通院2048节点大规模分布式分析型数据库评测,成为国内首个单集群突破两千的商用数据仓库产品。 华为云GaussDB(DWS)数据仓库已广泛应用于金融、政府、运营商、交通、物流、互联网等领域,服务于全球1000+客户。GaussDB(DWS)践行"平台+生态"战略,联合500+合作伙伴,为各行业提供竞争力的数据仓库解决方案。【推荐阅读】【最新活动汇总】DWS活动火热进行中,互动好礼送不停(持续更新中) HOT 【博文汇总】GaussDB(DWS)博文汇总1,欢迎大家交流探讨~(持续更新中)【维护宝典汇总】GaussDB(DWS)维护宝典汇总贴1,欢迎大家交流探讨(持续更新中)【项目实践汇总】GaussDB(DWS)项目实践汇总贴,欢迎大家交流探讨(持续更新中)【DevRun直播汇总】GaussDB(DWS)黑科技直播汇总,欢迎大家交流学习(持续更新中)【培训视频汇总】GaussDB(DWS) 培训视频汇总,欢迎大家交流学习(持续更新中)扫码关注我哦,我在这里↓↓↓
-
-
文档里面介绍 GaussDB 分为3类节点: 管理节点、控制节点、数据节点。逻辑架构组价又包含:OM、CM、GTM、WLM、Coordinator Node、Data Node 。请教:这3类节点和逻辑架构的组件如何对应? 另外 FIM 和 OMSserver 是什么关系 ? 如果不安装FIM,是否有 OMSserver 服务?
-
如题,两个疑问。
-
【功能模块】【操作步骤&问题现象】通过外表insert到目标表的时候报错,error: failed to open directory "/opt/client/FusionInsight_Cluster_1_Services_ClientConfig"这是什么原因,读这个目录是干啥的,【截图信息】【日志信息】(可选,上传日志内容或者附件)
-
【功能模块】【操作步骤&问题现象】如何能查到某个DN现在正处理的事情,【截图信息】【日志信息】(可选,上传日志内容或者附件)
-
【功能模块】【操作步骤&问题现象】要给一个用户赋某个schema下面的表的权限,1,赋schema权限grant usage on schema s1 to t1;2,赋s1下已创建表的权限grant select on all tables in schema s1 to t1;3,赋s1下未来创建的表的权限grant default privileges in schema s1 grant select on tables to t1;我测试了下,发现一个问题,1,s1下已经有了表a, 我使用上面的语句1,2,这个没问题,用户t1可以查询表a,2,我在s1创建表b, 再使用t1查询表b, 发现没有权限,使用语句3为未来的表赋权,发现用户t1对表b仍然没有权限,因为此时,表b并非是以后创建的表,3,再创建新表c, 使用用户t1查询,结果ok问题在表b上面,上面的步骤都完成后,用户t1对表a, c都有了权限,但是对b还是没有权限,只能再运行一次语句2才行,这个有办法解决么?【截图信息】【日志信息】(可选,上传日志内容或者附件)
-
【功能模块】【操作步骤&问题现象】比如通过gs_om -t status --detail发现有些实例发生了主备切换,想了解下是什么情况下会发生主备切换,后台是一个什么检测逻辑,能否详细解释下【截图信息】【日志信息】(可选,上传日志内容或者附件)
上滑加载中
推荐直播
-
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家;李炎-华为云码道产品专家;彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战,从0到1打通消息通道;码道鸿蒙端云一体化实战,快速搭建员工签到系统。
回顾中 -
华为云开发者AI素养直播课·第五期2026/09/04 周五 16:00-18:00
林华鼎-华为云AI开发者运营负责人;蒋春阳-华为云AI开发者案例开发专家
本期直播内容: AI工具体验营 · 第5-8课连讲。Agent-Team 多智能体协作完成毕业设计实践
回顾中 -
华为云开发者AI素养ClassRoom·第六期2026/09/08 周二 19:00-20:00
樊渊-2026华为软件挑战赛冠军
高手来了:看软挑高手解析二维排样问题—从工业难题到算法突破
回顾中
热门标签