• [性能调优] 【DWS】【sql】pg_stat_user_functions 为什么没有数据
    【操作步骤&问题现象】产品文档中说这个视图是用来:显示命名空间中用户自定义函数(函数语言为非内部语言)的状态信息。为什么直接查这个视图里,没有数据呢【截图信息】
  • [技术干货] 华为云GaussDB助力“2号人事部”打造高品质HR效率软件
    人才是社会和企业最重要的资产之一。为实现有效管理人才,企业需要一款灵活高效的HR效率软件。“2号人事部”是深圳市点米二号科技有限公司出品的中国第一款即租即用的HR效率软件,为10000家客户、1500万人提供员工管理、招聘管理、考勤打卡、薪酬计算、社保管理等服务,促进企业管理效率提升。华为云GaussDB数据库助力“2号人事部”业务系统性能提升15%  流量洪峰集中,数据读写迎挑战  作为一款由百万HR共创的一体化人力资源数字化平台,2号人事部因为流量洪峰集中,数据体量庞大,在数据峰值读写和规模级数据核算方面面临巨大挑战。  数据峰值读写  常见的考勤打卡业务场景,在考勤集中打卡时段,高峰期峰值高达每秒10万次以上,并发访问压力大,即使通过一系列异构和高性能NoSQL来缓解洪峰对基础数据库的冲击,挑战也十分巨大。  规模级数据核算  在常见的月底考勤核算、薪酬核算的业务场景中,大部分企业会在月底或月初发起整个企业的数据核算,而核算会拉起整个月和整个公司的各大模块的记录数据,进而产生上百万行数据的读写压力。  全新底座,高效管理  基于上述痛点,“2号人事部”对于数据库的需求十分明确,一是具备稳定可靠的数据库服务能力,二是提供简单高效的数据库运维功能。而华为云GaussDB数据库具备高可用、存算分离、高性能、弹性高扩展、简易可持续性运维等特点,能够满足“2号人事部”的各项需求。  华为云通过RDS for MySQL的一写多读特性,让主实例只承担写流量,降低主库压力,承载考勤打卡、月底核算等业务海量读写流量。同时使用华为云云原生数据库GaussDB(for Redis)作为前置缓存,应对考勤峰值的流量高峰。  华为云GaussDB(for Redis)凭借存算分离的云原生架构,实现分钟级计算节点扩容和秒级存储扩容;实现了亚毫秒级时延稳定无抖,轻松应对考勤并发高峰;还提供了三副本容灾方案,可从底层保证数据的一致性,从源头避免“脏数据”的出现,有效协助客户简化上层业务逻辑架构,增强数据的可用性。此外,“2号人事部”HR系统涉及众多公司员工的个人信息,如薪酬、员工档案等敏感信息,对数据服务的安全性要求较高。  华为云数据库提供虚拟私有云、子网、安全组、DDoS防护以及SSL安全访问等多层安全防护体系,实现租户隔离和访问控制以及实例监控、API管理、故障预警、自动备份等智能运维手段,多重守护敏感数据,全方位保证“2号人事部”HR系统的数据安全,让客户使用更安心。  两套“组合拳”助力“2号人事部”数据库系统在吞吐、访问时延、IOPS等指标方面综合提升15%,扩容时间由4小时缩短为5分钟,效率提升47倍,为企业带来更高的资源利用率,使整个平台在资源不变的情况下承载更多的用户。  华为云数据库自动运维平台提供的实时性能监控看板,可以随时应对突发洪峰,一旦发现某个数据库压力呈现不断上升趋势,及时一键扩容,高效支撑海量并发压力,保障业务的稳定运行。  人才是企业的重要资产,高效管理人才是企业成功的重要因素。“2号人事部”全场景数字化平台极大提升了企业组织效率和员工满意度,让人才与企业价值实现共赢。华为云GaussDB数据库愿凭借技术力量,助力万千企业一同推动企业人力资源管理的创新升级,为HR带来工作效能提升和价值重塑。文章来源:http://news.yesky.com/hotnews/325/725999325.shtml
  • [其他] GaussDB(DWS) 语句处于排队状态执行慢
    问题现象:语句执行慢,处于排队状态,而之后提交的任务先执行了。下图显示14:34提交的SQL等待了2个小时,而15:49提交的SQL已经在执行中。问题影响:语句的等待时间超过了2个小时,因超时被查杀掉,始终无法执行排查流程:1、执行 select * from pg_stat_get_cgroup_info(0); 来查看cgroup的信息2、对于不同的cgroup,配置的percent值不同,表示优先级不同,percent值小的优先级低。3、执行SQL的用户属于不同的cgroup,因优先级不同造成执行慢。问题原因:由于优先级设置造成的用户作业排队。
  • [其他] 【变更】GaussDB(DWS)线下环境变更前checklist
    请在变更前完成checklist检查,详情见附件
  • [其他] 【变更】GaussDB(DWS)线下环境变更前checklist
    请在变更前完成checklist检查,详情见附件
  • [其他] 【变更】GaussDB(DWS)线下环境变更前checklist
    请在变更前完成checklist检查,详情见附件
  • [其他] GaussDB(DWS) Schema授权后报错current user does not have privilege
    问题现象创建用户时,会自动创建一个同名的schema,例如使用下面语句创建一个new_user1用户,会自动创建出一个名为new_user1的schema。create user new_user1 password 'Password1234';下面再创建一个用户new_user2:create user new_user2 password 'Password1234';用户new_user1将schema上的创建权限授权给new_user2:test=# grant create on schema new_user1 to new_user2;GRANT使用new_user2用户,在new_user1的schema下创建表时报错:test=> create table new_user1.t1(id int);ERROR:  current user does not have privilege to role new_user1问题影响将schema的创建权限授给其他用户,但用户无法在schema下创建表和其他对象。解决方法方法1:修改schema的用户为其他用户test=# ALTER SCHEMA new_user1 OWNER TO tester;ALTER SCHEMA修改后使用new_user2可以创建表:test=> create table new_user1.t1(id int);NOTICE:  The 'DISTRIBUTE BY' clause is not specified. Using 'id' as the distribution column by default.HINT:  Please use 'DISTRIBUTE BY' clause to specify suitable data distribution column.CREATE TABLE方法2: 修改schema的名字和用户名不同test=# ALTER SCHEMA new_user1 RENAME TO new_user3;ALTER SCHEMA修改后使用new_user2可以创建表:test=> create table new_user3.t2(id int);NOTICE:  The 'DISTRIBUTE BY' clause is not specified. Using 'id' as the distribution column by default.HINT:  Please use 'DISTRIBUTE BY' clause to specify suitable data distribution column.CREATE TABLE问题原因DWS对和用户名同名的Schema有这个限制。
  • [运维管理] GaussDB 8.0.0.1版本 巡检工具806,互信中提到的sshTool.sh文件从哪里获取?
    【操作步骤&问题现象】GaussDB 8.0.0.1版本 巡检工具806,互信中提到的sshTool.sh文件从哪里获取?
  • [知识分享] 盘点华为云GaussDB(for Redis)六大秒级能力
    >摘要:盘点高斯Redis的秒级能力,包括扩容、备份、删除、启动等。 本文分享自华为云社区《华为云GaussDB(for Redis)揭秘第20期:六大秒级能力盘点》,作者: 高斯Redis官方博客。 # 引言 大家经常用时间类指标来评估数据库能力,诸如RTO/RPO、扩容耗时、变更操作对业务影响的时长等等,在高可用需求日益迫切的当下,这些都是评价数据库能力的重要参考。在KV数据库领域,华为云GaussDB(for Redis)基于存算分离的基础架构,在很多关键评估维度都具有“秒级”能力,今天便带大家了解一下。 # GaussDB(for Redis)秒级能力盘点 ## 秒启动 社区版Redis在宕机恢复的场景下,需要依赖AOF或RDB文件将数据全量加载到内存中,随着数据量增加,这个耗时经常需要数分钟甚至更久。 GaussDB(for Redis)节点拉起时无需加载全量数据,即可快速提供服务,启动时间受数据量影响极小,**大数据规模下亦可以达到秒级启动**,体验丝滑。 ## 秒删除 社区版Redis在删除/过期数据,尤其是大key的情况下会导致访问严重阻塞。 而GaussDB(for Redis)从根本上解决了大key删除/过期的操作隐患,在底层事先采用了“标记删除,异步回收”的逻辑,对任何数据执行删除/过期,都是立刻执行成功且0阻塞,因此完全不影响业务访问。在实测删除/过期一个大hash key(包含1000w个元素)时,GaussDB(for Redis)仅耗时毫秒。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20227/1/1656639071668891773.png) 图:GaussDB(for Redis)大key秒删 ## 秒备份 社区版Redis打快照时需要将全量数据dump到磁盘上,效率受到磁盘IO性能影响,耗时久。而且有着“fork问题”,造成性能抖动,导致容量利用率只有50%。 GaussDB(for Redis)备份基于底层文件系统的快照技术,记录某一时间点的数据状态,无需进行耗时的数据拷贝操作,真正做到秒级打快照。客户的数据快照文件自动上传到华为云OBS桶内,后续可用来一键恢复到新实例,相当便捷。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20227/1/1656639088751433379.png) 图:GaussDB(for Redis)时间点快照一键恢复 ## 秒扩容 社区版Redis计算、存储强耦合。比如64G规格装满了,当需要升128G规格时,升级过程不仅耗时久,严重影响业务;而且价格翻倍,存在大量算力成本浪费。 GaussDB(for Redis)提供以下3种灵活变更的“扩容”方式: - **1)数据快装满了?一键扩容量,秒级完成,不影响业务** GaussDB(for Redis)底层存储资源按配额形式提供使用,数据快写满场景,只需一键点击扩容,秒级获得更多容量。比如64G扩容到128G,秒级完成,不影响业务。同时无需为不必要的算力买单,扩容价格涨幅小,成本有极大优势。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20227/1/1656639130986819876.png) 图:GaussDB(for Redis)存储扩容 - **2)流量突发高峰?一键加节点,业务只受到秒级影响** GaussDB(for Redis)扩算力的最便捷方式即增加节点,秒级即可完成负载重新均衡,业务短暂受影响。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20227/1/1656639152163701279.png) 图:GaussDB(for Redis)算力扩容-添加节点 - **3)周期性做活动?节点规格按需伸缩,避免算力浪费** 在一些周期性的活动抢券场景,客户往往需要按周期进行规格升降,承载计划内的流量高峰,同时避免平时的浪费。GaussDB(for Redis)支持提升节点规格,比如16U升32U,客户可灵活按需扩容。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20227/1/1656639171808506421.png) 图:GaussDB(for Redis)算力扩容-节点规格变更 ## 故障秒恢复 GaussDB(for Redis)内部有全局的HA管控能力,计算节点故障秒级探测,发现故障后同样采用秒级接管的方式处理,秒级恢复业务侧正常访问。 ## 双活秒级RPO GaussDB(for Redis)支持region内/跨region容灾,即搭建稳定主从实例,提供企业级的高可用。通过高性能数据同步模块实现高性能主从实例同步,在高压力写入的业务压力下测试,有着RPO=10s的超高可靠性表现。 # 总结 经过上面的简单盘点可以看出,GaussDB(for Redis)在启动、大key删除、扩容变更等多种应用场景下均具有秒级能力,最小化业务影响,给用户提供企业级安全、稳定、可靠的使用体验。
  • [业务动态] 关于《GaussDB入门级开发者认证-Java》等3个开发者认证正式上线通知
    尊敬的客户:您好!为帮助您深入了解华为云产品,探索新的技术场景,我们非常高兴地与您分享一个好消息:为了更好地服务千万开发者,华为云推出开发者认证,真正让开发者在云上作业,懂开发会开发,与开发者共成长。由华为资深研发团队精心打磨,潜心研发的《GaussDB入门级开发者认证-Java》、《华为云云原生工作级开发者认证-基础设施》、《数据仓库工作级开发者认证》于2022年6月30日正式上线!届时请进入华为云开发者学堂-开发者认证查看产品详情,体验使用,我们非常期待您的宝贵建议。以下为该开发者认证详情,您可提前了解:产品名称: 《GaussDB入门级开发者认证-Java》适合人群: 高校学生、开发工程师等;培训方案: 基础技能+综合实践,培训华为云云数据库服务能力及技能;技术能力: 掌握数据库原理、数据库SQL语言、基于高斯数据库的Java编程实操及云上开发实践能力;认证价值: 通过理论结合实践,使软件开发相关从业者具备数据库基础的理论知识和实操能力。产品名称: 《华为云云原生工作级开发者认证-基础设施》适合人群: 开发工程师、运维工程师、架构师等;培训方案: 云原生关键基础设施能力及华为云相关服务的增强特性;技术能力: 熟练掌握应用容器化改造、服务网格、多集群等云原生核心基础设施理论及云上实践能力 ;认证价值: 通过理论结合实践,使云原生相关从业者深入理解关键理论提升工作场景下的实践能力。产品名称: 《数据仓库工作级开发者认证》适合人群: 数仓工程师、架构师、数仓平台开发和管理人员、对数仓技术感兴趣的爱好者;培训方案: 通过对GaussDB(DWS)的深入解析完成对数据仓库的开发运维及数据分析实践;技术能力: 掌握GaussDB(DWS)的数据库设计、SQL开发与优化、应用开发、安全设计、集群及运维管理能力;认证价值: 通过理论结合实践,使GaussDB(DWS)从业者具备数据库开发运维和数据分析能力。届时我们还将开展相关开发者认证上新活动,详情请关注华为云开发者学堂论坛-热门活动 相关通知。发布日期:2022年6月30日
  • [环境搭建] 安装gaussdb出现Failed to umount cgroup问题
    【功能模块】   安装gaussdb出现问题【操作步骤&问题现象】    正常使用命令install.sh -f /opt/FusionInsight_Manager/software/install_oms/10.77.0.79.ini 安装gaussdb,在安装到第三步的时候,出现Failed to umount cgroup问题     安装软件版本:GaussDB_8.1.1.2_RHEL.zip    解压后manage:FusionInsight_Manager_8.0.2.3_RHEL.tar.gz     操作系统版本:Red Hat Enterprise Linux Server release 7.5 (Maipo)【截图信息】【日志信息】(可选,上传日志内容或者附件)日志信息如附件/var/log/Bigdata/nodeagent/scriptlog/install.log日志如scriptlog_insall.txt
  • [集群管理] 一键配置OS core工具
    【 问题现象】现网出现core问题,使用数据库自带的bbox core dump时可能出现dump时间过长被CM杀掉无法core出来的问题,此时我们需要配置OS core保证 core可以稳定dump出来。【 处理方法】该工具目的是快速配置OS core避免手动操作较长的步骤。该工具为单节点配置gaussdb os core工具,如需配置整个集群的core需在每个配置的需配置的节点执行。使用方法:1.上传文件(所有配置节点都要执行)使用root用户登录需要配置的节点,并上传config_sys_core.py文件。config_sys_core.py文件见文档结尾附件,下载后重命名为config_sys_core.py。dos2unix config_sys_core.py2.配置OS core(所有配置节点都要执行)云环境执行 python config_sys_core.py Ruby线下环境执行 python config_sys_core.py omm3.关闭bbox core(一个节点执行)云环境进入沙箱执行,线下环境omm用户source ${BIGDATA_HOME}/mppdb/.mppdbgs_profile后执行gs_guc reload -Z coordinator -Z datanode -N all -I all -c "enable_bbox_dump=off"3.重启集群(一个节点执行)cm_ctl stopcm_ctl start4.检查是否生效(所有节点执行)切到omm或Ruby用户下,kill -11 从备进程号,检查从备数据目录下是否有core文件产生。检查配置是否生效工具 https://bbs.huaweicloud.com/forum/thread-0255111293440812002-1-1.html补充说明1.集群配置在所有节点配置后再重启集群;单节点配置可以不用重启集群,重启节点所有gaussdb实例即可如只配置1节点的core可以cm_ctl stop -n 1 停止1节点实例;cm_ctl start -n 1启动生效2.部分线下环境配置后还存在core不完整的情况,可以检查/etc/security/limits.d/omm-ncore.conf文件是否有额外配置如需要将10240改为unlimited,重新执行配置过程
  • [迁移系列] CDM迁移阿里云ADB到华为云DWS
    1. 阿里云ADB导入数据到DWS前提配置点(1) CDM绑定的公网IP的带宽不能太低,建议为按需购买的300M/S;(2) 阿里云ADB端的一个查询的连接时长默认为30min,若导数时长长于此值,会报错(Query exceeded maximum time limit of 1800000.00ms)进行设置:SET adb_config QUERY_TIMEOUT=XXXX;(阿里云这个全局生效)(3) DWS目标端为列存表时,delta不要开启;DWS目标端最好提前建好表,是分区表的话注意分区范围1.1 创建阿里云连接1.2 创建DWS连接1.3 作业配置1.4 CDM配置管理
  • [问题求助] 【DWS】想把所有存储过程的定义导出来,有什么办法?
    【功能模块】DWS 版本8.1.1.5【操作步骤&问题现象】想把所有存储过程的定义导出来,形成备份文件,有什么办法?
  • [技术干货] GaussDB(for MySQL)荣获“云原生技术创新领航者-云原生技术创新案例”大奖
    近日,由中国信息通信研究院主办的“原生聚力,云数赋能”第四届云原生产业大会顺利召开。在这场云原生领域盛会中,华为云GaussDB(for MySQL)云原生数据库凭优越的技术创新实力和实践经验,荣获“云原生技术创新领航者-云原生技术创新案例”大奖。华为云数据库副部长庄乾锋代表GaussDB亮相大会,就大会对GaussDB的认可表示感谢。庄乾锋表示,当前,数据库行业迎来云原生2.0时代,企业对云数据库提出了更高性能、安全可靠、极致扩展等诸多诉求。华为云GaussDB通过整合多年数据库领域经验和客户诉求,构筑云原生数据库全栈能力,构建以应用为中心的新型数据库云服务,积极引领云原生数据库发展新方向。聚焦技术创新 深入云原生领域持续发力作为华为自研的新一代企业级高性能云原生分布式数据库,GaussDB(for MySQL)基于DFV分布式存储,采用存算分离架构,拥有128TB的海量存储空间,可实现超百万级QPS 吞吐,既拥有商业数据库的性能和可靠性,又具备开源数据库的灵活性,在云原生业务场景有非常明显的核心优势。华为独特优势:垂直集成 与传统的线下数据库不同,云数据库有垂直集成云栈中所有层的能力,在云上,存储和数据库的集成能发挥更大的作用。华为作为在云栈各层领先的提供商,在云领域中有着独特的地位,有能力成为行业的领导者。通过并行查询(PQ)提高性能提高性能的一个通用方法是并行,并行可以在多层上实现,GaussDB(for MySQL)允许使用多个线程并行执行单个查询;另一个允许更高并行力度的层是存储层,因为存储系统可能有数百个节点和数千个核心,GaussDB(for MySQL)使用的这种云规模的分布式存储是提高查询性能的一个关键基础,结合并行查询,实现查询性能的极大提高。算子下推(NDP)加速查询效率 GaussDB(for MySQL)通过算子下推(NDP)技术,把算子卸载到数据所在的存储节点上,利用当地可用的计算资源执行,无需将数据读到计算节点中。这样实现了在大规模查询场景中将90%的逻辑计算在分布式存储层完成,大幅度降低了网络I/O 延迟,充分释放了云计算算力,在TPC-H测试中,相比社区版本,其性能最高提升了34倍。秒级伸缩,应用0感知 GaussDB(for MySQL)支持Serverless,根据数据容量自动伸缩,存储自动打散负载压力,无需分库分表。HTAP 只读分析 用户既能得到MySQL完备的事务保障,又能享受到GaussDB(for MySQL) HTAP只读分析的极致分析性能。华为云GaussDB(for MySQL)不仅通过分布式全并行架构和多节点写入提供极致的吞吐量性能,轻松应对海量高并发数据处理,提升高可用能力;还具备跨AZ部署、跨region容灾、单点故障0中断等多个特性,满足金融级别的高可靠性;且仅需要商用数据库1/10的成本就可以提供企业级的服务能力。极致性价比、AI 自治、HTAP、多主、Serverless将是GaussDB(for MySQL) 数据库未来的重点发展方向。 大浪淘沙 做千行百业上云优选 当前, GaussDB(for MySQL)数据库面向企业云原生赛道,已在音视频、互联网电商、游戏、保险、汽车制造、物流、交通出行等多个行业场景和标杆大客户得到广泛应用,包括助力永安保险重构核心业务系统,帮助互联网电商如梦饷集团、单创、未来一手等缔造电商新时代,赋能中国一汽红旗和一汽大众数字化转型等等。在中国一汽红旗ERP系统微服务改造、业务上云过程中,GaussDB(for MySQL)提供了在云上和本地部署体验一致的云数据库服务,改造后的ERP系统数据库整体性能大幅提升,流量洪峰下业务运行又快又稳。梦饷集团通过GaussDB(for MySQL)进行电商平台的数字化升级,将业务搬迁上云后,运维效率提升了约30%,核心业务数据库访问平均耗时由1.5s降至1s;此外,梦饷集团每秒成交的订单数再创历史新高,成为了利用数字基础设施助力业务快速增长的标杆。 持续深耕 共促产业生态繁荣 华为云GaussDB已连续两年入选Gartner云数据库管理系统魔力象限特定领域者,在IDC《2020年下半年中国关系型数据库软件市场数据跟踪报告》中,GaussDB拥有中国关系型数据库本地部署市场国产数据库份额NO.1、公有云市场数据库份额增速第一的优异成绩。 此次奖项的获得是对GaussDB技术创新实力的高度认可,同时也是新征程和新起点。未来,华为云GaussDB将持续聚焦云原生数据库技术的探索,打造更多业界领先的数据库技术与产品,助力企业加速上云,共促产业生态繁荣!
总条数:2749 到第 页
上滑加载中