• [认证交流] 华为云首个专业级开发者认证即将发布!——HCCDE – GaussDB(DWS)亮点抢先看
    尊敬的客户:很荣幸在此通知您,数据仓库专业级开发者认证(HCCDE - GaussDB(DWS))预计将于2024年9月20日正式对外发布。为帮助您更好的了解HCCDE - GaussDB(DWS)认证相关内容,现进行预发布通知,请您关注。1 什么是HCCDE – GaussDB(DWS)认证?    数据仓库专业级开发者认证(HCCDE - GaussDB(DWS))是华为云重磅推出的首个专业级开发者认证,也是华为云首个完整、明确定义数据仓库人才所需知识及技能的专业级认证。    HCCDE – GaussDB(DWS)认证作为华为云数据仓库领域最高等级的技能认证,由华为云学堂和华为云数据仓库GaussDB(DWS)产品部多位顶级专家精心设计、开发而成,保证了认证内容的权威性和可靠性。该认证主要面向数据仓库、数据库领域的应用架构师、系统架构师、资深工程师等对数据仓库有学习认证需求的相关岗位人员。获得HCCDE – GaussDB(DWS)认证证书能够展示自己在数据仓库领域的专业知识和技能,提升职场竞争力。HCCDE – GaussDB(DWS)认证对于数据仓库领域的专业人士来说,也是一个提升自己技能和展示专业能力的绝佳机会。通过该认证,您将获得华为云官方的能力认可,证明您在数据仓库及大数据方向具备了以下能力:全面掌握数据仓库领域相关的知识,深入理解GaussDB(DWS)的核心架构原理和关键技术原理。具备根据业务场景需要,利用GaussDB(DWS)进行架构设计和业务设计的能力。具备分析GaussDB(DWS)疑难性能问题、进行深度SQL优化、深度性能调优的能力。掌握导入导出方法,可以根据业务需要灵活选择不同数据源的最佳数据访问方案。具备根据业务安全要求进行安全设计的能力。具备根据业务实际需求设计合理的高可用方案,以及根据业务需要和业务高可用要求制定合理的备份和容灾策略的能力。2 为什么选择HCCDE – GaussDB(DWS)?华为云数据仓库GaussDB(DWS),历经13年的技术磨砺,已成为国产数据仓库中的佼佼者,作为中国唯一获得数仓类CC安全认证的产品,在国有大行和股份制银行中的部署比例达到60.1%,是中国金融数仓市场本地部署第一名。GaussDB(DWS)在金融、泛政府、电信、能源、交通、医疗、物流、电商等领域,帮助1700+大客户实现规模商用。数字化时代,各行业对使用数据仓库的需求日益增长,华为云数据仓库GaussDB(DWS)前景广阔,对于相关人才的需求也极为旺盛。3 HCCDE – GaussDB(DWS)认证内容介绍HCCDE – GaussDB(DWS)认证课程将涵盖以下关键知识领域:GaussDB(DWS)核心架构理念:理解GaussDB(DWS)的整体架构和设计原则,包括分布式架构、数据模型、查询处理等方面的技术内容。GaussDB(DWS)对象设计理念:理解如何合理利用GaussDB(DWS)设计和使用对象,以及如何根据不同的业务场景进行有效的业务对象设计。GaussDB(DWS)性能管理:对GaussDB(DWS)进行性能监控和管理,包括如何定位和解决性能问题,以及如何进行性能优化。GaussDB(DWS)数据访问:基于GaussDB(DWS)进行数据的导入、加工、导出和查询,以及如何使用相关的工具和技术。GaussDB(DWS)安全管理及集群安全配置:理解 GaussDB(DWS)的安全机制和策略,包括如何进行安全管理和集群安全配置。GaussDB(DWS)资源管控:在GaussDB(DWS)中进行资源管理和控制,以及如何根据业务需求进行资源分配和调度。GaussDB(DWS)高可靠及高可用原理与方案设计:掌握GaussDB(DWS)的高可靠性和高可用性的设计原则和方法,包括如何设计和应用相关的解决方案。GaussDB(DWS)监控运维原理与方案设计:在GaussDB(DWS)中进行监控和运维,以及如何设计和实施相关的监控和运维方案。4 如何更好地准备认证?为了准备HCCDE – GaussDB(DWS)认证学习与考试,我们建议你具备以下几点条件:首先,你需要拥有多年的数据仓库/数据库领域的工作经验,或者对数据仓库/数据库有较为清晰的认识。这将帮助你更好的理解考试内容,并在实际应用中运用所学知识。其次,你需要拥有HCCDP – GaussDB(DWS)认证证书,或者具备与HCCDP – GaussDB(DWS)同等的能力。这意味着你需要熟悉数据仓库、数据库的基本原理和概念,熟练掌握基本的对象设计方法,熟练掌握SQL写法和规范,以及了解GaussDB(DWS)常用系统表、系统视图及常用的问题处理方法。在开始认证学习之前,我们建议你通过阅读产品文档和参与开发者社区来增进对GaussDB(DWS)的认知。这将帮助你更好地了解GaussDB(DWS)的功能和特性,为认证考试做好准备。产品文档链接:cid:link_1开发者学习平台链接:cid:link_05 考试和认证流程介绍6 结语随着大数据时代的来临,数据成为企业的核心资产。数据仓库技术因此变得至关重要,掌握相关技能对职业发展具有重要的意义。华为云开发者认证推出的HCCDE–GaussDB(DWS)专业级认证,提升个人能力并帮助企业优化数据利用,增强竞争力。加入HCCDE–GaussDB(DWS)专业级认证,共同迎接数据驱动的未来。
  • [公告] 【获奖公示】DTSE Tech Talk丨NO.65:智能数据底座使能千行百业,华为云数据库服务API揭秘与实践探索
    中奖结果公示感谢各位小伙伴参与本次活动,欢迎关注华为云DTSE Tech Talk 技术直播更多活动~本次活动获奖名单如下(部分视频号抽奖用户无账号名):账号名 奖项名称 奖品名称 harmonypass优质提问HDC定制双肩包hw57269863优质提问HDC定制双肩包视频号抽奖开发者定制折叠雨伞视频号抽奖开发者定制短袖Polo衫
  • [技术干货] 数据库论坛2024年8月热门问题F&A
    数据库论坛2024年8月热门问题F&A请问GaussDB的主备版就是集中式吗cid:link_1集中式数据库集中式数据库通常由单个服务器或一组紧密耦合的服务器组成,所有的数据存储和处理都在一个中心位置进行。数据存储在一个或几个大容量的存储设备上,由一个中央处理器进行管理和控制。分布式数据库分布式数据库由多个分散在不同地理位置的数据库节点组成,这些节点通过网络连接在一起。数据分布在多个节点上,可以根据数据的特点和访问模式进行灵活的划分和存储。Gaussdb分布式 集群状态为degraded,其中2个节点显示为deletecid:link_2查看集群状态使用 GaussDB 的管理工具或命令行界面查看集群的整体状态和节点状态。例如,可以使用以下命令查看集群状态: SELECT * FROM pg_stat_replication;这个命令可以显示复制状态信息,包括节点的连接状态、同步进度等。检查日志文件查看 GaussDB 的日志文件,以获取有关节点故障、错误消息和其他问题的详细信息。日志文件通常位于数据库安装目录下的 log 子目录中。重新启动节点如果节点出现故障,可以尝试重新启动节点。使用适当的命令或工具来重新启动节点,例如: gs_ctl restart -D /path/to/database/data/directory其中 /path/to/database/data/directory 是数据库数据目录。检查数据复制使用 GaussDB 的复制工具或命令检查数据复制状态。例如,可以使用以下命令检查数据复制进度: SELECT * FROM pg_stat_replication;这个命令可以显示复制状态信息,包括节点的连接状态、同步进度等。gs_log日志找不到 statement SQL的相关信息cid:link_0数据库日志不记录在哪个库执行语句
  • [技术干货] [openGauss] 高级分析函数支持
    [openGauss] 高级分析函数支持可获得性本特性自openGauss 1.1.0版本开始引入。特性简介无。客户价值我们提供窗口函数来进行数据高级分析处理。窗口函数将一个表中的数据进行预先分组,每一行属于一个特定的组,然后在这个组上进行一系列的关联分析计算。这样可以挖掘出每一个元组在这个集合里的一些属性和与其他元组的关联信息。特性描述简单举例说明窗口分析功能:分析某一部门内每个人的薪水和部门平均薪水的对比。SELECT depname, empno, salary, avg(salary) OVER (PARTITION BY depname) FROM empsalary; depname | empno | salary | avg -----------+-------+--------+----------------------- develop | 11 | 5200 | 5020.0000000000000000 develop | 7 | 4200 | 5020.0000000000000000 develop | 9 | 4500 | 5020.0000000000000000 develop | 8 | 6000 | 5020.0000000000000000 develop | 10 | 5200 | 5020.0000000000000000 personnel | 5 | 3500 | 3700.0000000000000000 personnel | 2 | 3900 | 3700.0000000000000000 sales | 3 | 4800 | 4866.6666666666666667 sales | 1 | 5000 | 4866.6666666666666667 sales | 4 | 4800 | 4866.6666666666666667 (10 rows)可以看到,通过这个avg(salary) OVER (PARTITION BY depname)分析函数,每一个人的薪水和与部门的平均薪水很容易计算出来。目前,系统支持row_number()、rank()、dense_rank()、percent_rank()、cume_dist()、ntile()、lag()、lead()、first_value()、last_value()、nth_value()分析函数。具体的函数用法和语句请参见《SQL参考》中“ 内置函数 > 窗口函数”章节。特性增强无。特性约束无。依赖关系无。详情查看:cid:link_1详情查看:cid:link_0
  • [技术干货] [openGauss] 分布式数据库能力
    [openGauss] 分布式数据库能力可获得性本特性自openGauss 2.1.0版本开始引入。特性简介基于分布式中间件shardingsphere使openGauss具备分布式数据库能力。使用32个鲲鹏920(128核)节点组网(1*shardingsphere-proxy ,11*shardingsphere-jdbc,20*openGauss)时,完美sharding性能>2100万tpmc。客户价值通过中间件构建逻辑上无资源限制的分布式数据库。特性描述通过shardingsphere中间件的分库分表能力,使多个openGauss数据库可以在逻辑上组成一个更大的数据库,同时具备分布式事务和弹性伸缩的能力,使用方式与openGauss数据库并无不同。特性增强支持事务内语句读写分离能力。支持聚集算子计算能力,实现数据库跨分片表关联查询能力。特性约束无。依赖关系shardingsphere中间件。详情查看:cid:link_1详情查看:cid:link_0
  • [技术干货] [openGauss] 分布式分析能力
    [openGauss] 分布式分析能力可获得性本特性自openGauss 3.1.0版本开始引入。特性简介基于openLookeng实现分布式分析能力,与shardingsphere配合openGauss组成HTAP数据库。客户价值通过openLookeng快速实现海量数据分析。特性描述openLookeng复用shardingsphere中间件的分库分表能力,使openLookeng可以获取海量数据进行分析运算。特性增强无。特性约束无。依赖关系openLookeng中间件、shardingsphere中间件。详情查看:cid:link_1详情查看:cid:link_0
  • [技术干货] [openGauss] 反向迁移gs_replicate
    [openGauss] 访问控制模型可获得性本特性自openGauss 1.1.0版本开始引入。特性简介管理用户访问权限,为用户分配完成任务所需要的最小权限。客户价值客户依据自身需求创建对应的数据库用户并赋予相应的权限给操作人员,将数据库使用风险降到最低。特性描述数据库提供了基于角色的访问控制模型和基于三权分立的访问控制模型。在基于角色的访问控制模型下,数据库用户可分为系统管理员用户、监控管理员用户、运维管理员用户、安全策略管理员用户以及普通用户。系统管理员创建角色或者用户组,并为角色分配对应的权限;监控管理员查看dbe_perf模式下的监控视图或函数;运维管理员使用Roach工具执行数据库备份恢复操作;安全策略管理员创建资源标签、脱敏策略、统一审计策略。用户通过绑定不同的角色获得角色所拥有的对应的操作权限。在基于三权分立的访问控制模型下,数据库用户可分为系统管理员、安全管理员、审计管理员、监控管理员用户、运维管理员用户、安全策略管理员用户以及普通用户。安全管理员负责创建用户,系统管理员负责为用户赋权,审计管理员负责审计所有用户的行为。默认情况下,使用基于角色的访问控制模型。客户可通过设置GUC参数enableSeparationOfDuty为on来切换。特性增强无。特性约束系统管理员的具体权限受GUC参数enableSeparationOfDuty控制。三权分立开关和关闭切换时需要重启数据库,且无法对新模型下不合理的用户权限进行自主识别,需要DBA识别并修正。依赖关系无。详情查看:cid:link_1详情查看:cid:link_0
  • [技术干货] [openGauss] 发布订阅
    [openGauss] 发布订阅可获得性本特性自openGauss 3.0.0版本开始引入。特性简介发布订阅基于逻辑复制实现,其中有一个或者更多订阅者订阅一个发布者节点上的一个或者更多发布。订阅者从它们所订阅的发布拉取数据。实现集群间的数据实时同步。客户价值发布订阅的典型使用场景是:在一个数据库或者一个数据库的子集中发生更改时,把增量的改变发送给订阅者。在更改到达订阅者时引发触发器。把多个数据库联合到单一数据库中(例如用于分析目的)。特性描述发布者上的更改会被实时发送给订阅者。订阅者以与发布者相同的顺序应用那些数据,这样在一个订阅中能够保证发布的事务一致性。这种数据复制的方法有时候也被称为事务性复制。订阅者数据库的行为与任何其他openGauss实例相同,并且可以被用作其他数据库的发布者,只需要定义它自己的发布。当订阅者被应用当作只读时,单一的订阅中不会有冲突。在另一方面,如果应用或者对相同表集合的订阅者执行了其他的写动作,冲突可能会发生。特性增强3.1.0版本对该特性做了以下增强。支持gs_probackup备份发布端的逻辑复制槽,使得发布端使用gs_probackup备份恢复后复制槽不丢失,保证发布订阅的连接正常。支持发布订阅同步基础数据。当在创建发布订阅关系之前,发布端的表中已存在数据,这部分基础数据在创建订阅之后会同步到订阅端。支持以二进制格式发送数据。发布端和订阅端之间传输数据可以使用二进制的格式进行传输,而不是只能使用文本格式进行传输。支持发布端主备切换不断开。发布端发生主备切换后,订阅端能够自动连接到新的发布端主机,而无需手动修改订阅端的连接信息。5.1.0版本对该特性做了以下增强。支持发布订阅冲突自主解决。当订阅端同步数据时遇到主键或唯一键冲突时,数据库通过参数配置进行报错、保留本地或者应用远端。特性约束发布订阅基于逻辑复制实现,继承所有逻辑复制的限制,同时发布订阅还有下列额外的限制或者缺失的功能。数据库模式和DDL命令不会被复制。初始模式可以手工使用gs_dump --schema-only进行拷贝。后续的模式改变需要手工保持同步。序列数据不被复制。后台由序列支撑的serial或者标识列中的数据当然将被作为表的一部分复制,但是序列本身在订阅者上仍将显示开始值。如果订阅者被用作一个只读数据库,那么这通常不会是什么问题。不过,如果订阅者数据库预期有某种转换或者容错,那么序列需要被更新到最后的值,要么通过从发布者拷贝当前数据的防范(也许使用gs_dump),要么从表本身决定一个足够高的值。只有表支持复制,包括分区表。试图复制其他类型的关系,例如视图、物化视图或外部表,将会导致错误。同一数据库内的多个订阅不应当订阅内容重复的发布(指发布相同的表),否则会产生数据重复或者主键冲突。如果被发布的表中包含不支持btree/hash索引的数据类型(如地理类型等),那么该表需要有主键,才能成功的复制UPDATE/DELETE操作到订阅端。否则复制会失败,同时订阅端会出现“FATAL: could not identify an equality operator for type xx”的日志。依赖关系发布订阅依赖逻辑复制功能。详情查看:cid:link_1详情查看:cid:link_0
  • [技术干货] [openGauss] 堆表支持预读
    [openGauss] 堆表支持预读可获得性本特性自openGauss 6.0.0-RC1版本开始引入。特性简介在对堆表进行扫描进行顺序页面读取时,通过一次行读入多个页面,来减少因频繁读单页的IO损耗,提升对堆表进行线性扫描的性能表现。客户价值提升客户在频繁进行全表线性扫描场景下的性能表现。特性描述在对数据库中的堆表进行线性扫描时,系统会将磁盘中的页面逐一读入内存。如果待扫描的堆表数据量巨大,频繁地访问磁盘会导致显著的性能损耗。为了解决这一问题,引入了预读功能。预读是指在对磁盘文件进行扫描时,操作系统不是逐个页面地读取,而是通过一次磁盘IO操作读取多个页面,这样可以显著减少因单页访问引起的频繁IO损耗。在数据库环境中,此功能同样适用于对堆表的线性扫描,可以一次性将多个页面读入内存,从而降低磁盘IO的次数。在执行lazy vacuum对堆表进行清理时,利用预读功能也可以加快扫描和清理过程。用户可以根据自己的运行环境和业务需求来决定是否启用此功能,并适当调整参数大小。经验表明,在处理超过10GB数据的堆表时,启用预读功能能够有效提高线性扫描和lazy vacuum的性能。特性增强无。特性约束仅可用于非段页式、行存储引擎下的非压缩表的堆表线性扫描操作。依赖关系无。详情查看:cid:link_1详情查看:cid:link_0
  • [技术干货] [openGauss] 产品特点
    [openGauss] 产品特点openGauss具有高性能、高可用、高安全性和可维护性好的特点。高性能通过列存储、向量化执行引擎、融合引擎等关键技术,实现百亿数据量查询秒级响应。高可用同城跨AZ(Available Zone)容灾,数据不丢失,分钟级恢复。高安全性支持访问控制、加密认证、数据库审计、动态数据脱敏等安全特性,提供全方位端到端的数据安全保护。高可靠闪回和回收站通常在表数据被错误的UPDATE、DELETE、TRUNCATE和DROP时数据难以恢复,即便恢复也仅能通过PITR(Point-in-time recovery,基于时间点恢复)的方式恢复到错误操作前的时刻。这种修复方式会导致整个数据库不可用,并且一些用户不希望“撤销”的表操作也同样会被“撤销”。openGauss对TIMECAPSULE以及RECYCLEBIN的支持,使用户可以通过指定时间戳进行闪回查询,或者指定时间戳对表进行闪回,获取到错误DELETE、UPDATE前的历史数据。通过从RECYCLEBIN中闪回TRUNCATE、以及DROP的表对象,用户可以将表数据恢复到错误操作前,大大提高了用户数据的可靠性。可维护性好支持WDR诊断、慢SQL诊断、Session诊断等多种维护手段,准确快速定位问题。具备AI4DB能力,能够通过AI算法实现数据库自调优、自监控、自诊断等。详情查看:cid:link_1详情查看:cid:link_0
  • [技术干货] [openGauss] 参数调优与诊断
    [openGauss] 参数调优与诊断可获得性本特性自openGauss 1.0.0版本开始引入特性简介本功能是一款数据库集成的参数调优工具,通过结合深度强化学习和全局搜索算法等AI技术,实现在无需人工干预的情况下,获取最佳数据库参数配置。本功能不强制与数据库环境部署到一起,支持独立部署,脱离数据库安装环境独立运行。客户价值该工具可以在任意场景下,快速给出当前负载的调参配置,减少DBA的人工干预,提升运维效果,满足客户期望。特性描述调优程序包含三种运行模式,分别是:recommend: 通过用户指定的用户名等信息登录到数据库环境中,获取当前正在运行的workload特征信息,根据上述特征信息生成参数推荐报告。报告当前数据库中不合理的参数配置和潜在风险等;输出根据当前正在运行的workload行为和特征;输出推荐的参数配置。该模式是秒级的,不涉及数据库的重启操作,其他模式可能需要反复重启数据库。train: 通过用户提供的benchmark信息,不断地进行参数修改和benchmark的执行。通过反复的迭代过程,训练强化学习模型,以便用户在后面通过tune模式加载该模型进行调优。tune: 使用优化算法进行数据库参数的调优,当前支持两大类算法,一种是深度强化学习,另一种是全局搜索算法(全局优化算法)。深度强化学习模式要求先运行train模式,生成训练后的调优模型,而使用全局搜索算法则不需要提前进行训练,可以直接进行搜索调优。特性增强无特性约束数据库状态正常、客户端能够正常连接、且要求数据库内导入数据,以便调优程序可以执行benchmark测试调优效果。使用本工具需要指定登录到数据库的用户身份,要求该登录到数据库上的用户具有足够的权限,以便可以获得充足的数据库状态信息。使用登录到数据库宿主机上的Linux用户,需要将$GAUSSHOME/bin添加到PATH环境变量中,即能够直接运行gsql、gs_guc、gs_ctl等数据库运维工具。Python版本建议为Python3.6及以上,且运行环境中已经安装相应依赖,并能够正常启动调优程序。您可以独立安装一个python3.6+的环境,无需设置到全局环境变量中。不建议使用root用户权限安装本工具,如果以root身份安装本完毕工具,使用其他用户身份运行本工具时,需要确保配置文件有读取权限。本工具支持以三种模式运行,其中tune和train模式要求用户配置好benchmark运行环境,并导入数据,本工具将会通过迭代运行benchmark来判断修改后的参数是否有性能提升。recommend模式建议在数据库正在执行workload的过程中执行,以便获得更准确的实时workload信息。本工具默认带有TPC-C、TPC-H、TPC-DS以及sysbench的benchmark运行脚本样例,如果用户使用上述benchmark对数据库系统进行压力测试,则可以对上述配置文件进行适度修改或配置。如果需要适配用户自己的业务场景,需要您参照benchmark目录中的template.py文件编写驱动您自定义benchmark的脚本文件。依赖关系无详情查看:cid:link_1详情查看:cid:link_0
  • [技术干货] [openGauss] 并行逻辑解码
    [openGauss] 并行逻辑解码可获得性本特性自openGauss 3.0.0版本开始引入。特性简介支持多线程并行解码。客户价值大幅提升逻辑解码性能,解码速度由3~5MBps可提升到标准场景(16核CPU、内存128G、网络带宽 > 200MBps、表的列数为10~100、单行数据量0.1KB~1KB、DML操作以insert为主、不涉及落盘事务即单个事务中语句数量小于4096)下的100MBps。特性描述在使用JDBC或pg_recvlogical解码时,设置配置选项parallel-decode-num为大于1且小于等于20的值,开启并行解码特性,使用一个读取线程、多个解码线程以及一个发送线程协同进行逻辑解码操作,显著提升解码速度。特性增强无。特性约束当前的硬件和网络环境正常;由于逻辑日志一般为xlog的两倍,为保证xlog速度达到100MBps,I/O带宽至少保证200MBps;因为reader、decoder、sender线程均需预留资源,CPU需预留并发数+2的核数,如4并发场景需要预留6核。在实际场景中,使用备机解码即可保证需求,无需进行特殊的资源预留规划。为保证解码性能达标以及尽量降低对业务的影响,一台备机上应尽量仅建立一个并行解码连接,保证CPU、内存、带宽资源充足。日志级别的guc参数wal_level = logical。guc参数max_replication_slots >= 每个DN所需的(物理流复制槽数+备份槽数+逻辑复制槽数)。解码配置选项parallel-decode-num > 1且<= 20,指定并行的解码线程数。不支持DDL语句解码。不支持列存、数据页复制的解码。不支持解码分布式事务,当前机制为从DN解码,无法保证分布式事务一致性解码。单条元组大小不超过1GB,考虑解码结果可能大于插入数据,因此建议单条元组大小不超过500MB。不支持压缩表的DML语句解码。openGauss支持解码的数据类型为:INTEGER、BIGINT、SMALLILNT、TINYINT、SERIAL、SMALLSERIAL、BIGSERIAL、FLOAT、DOUBLE PRECISION、DATE、TIME[WITHOUT TIME ZONE]、TIMESTAMP[WITHOUT TIME ZONE]、CHAR(n)、VARCHAR(n)、TEXT。在需要ssl连接的场景,需要前置条件保证guc参数ssl = on。不支持interval partition表复制。在事务中执行DDL语句后,该DDL语句与之后的语句不会被解码。如需进行备机解码,需在对应主机上设置guc参数enable_slot_log = on。当前不支持超大CLOB解码。不允许主备,多个备机同时使用同一个复制槽解码,否则会产生数据不一致。禁止在使用逻辑复制槽时在其他节点对该复制槽进行操作,删除复制槽的操作需在该复制槽停止解码后执行。依赖关系依赖备机解码。详情查看:cid:link_1详情查看:cid:link_0
  • [技术干货] [openGauss] 备机增加删除
    [openGauss] 备机增加删除可获得性本特性自openGauss 2.0.0版本开始引入。特性简介支持新增和删除备节点。客户价值当主库的读取压力较大,或者用户想要提升数据库灾难恢复能力,需要新增备节点。当集群中的某些备节点发生故障无法短时间内进行修复时,为保证集群状态正常,用户可以先将故障节点删除。特性描述openGauss支持从单机或者一主多备最多扩容至一主八备,支持新增级联备机,支持在集群中存在故障备机的情况下新增备节点;支持从一主多备删除至单节点,支持备机故障的情况下将其删除。支持在线新增和删除备节点,即可以在不影响主机业务的情况下进行新增和删除备节点。特性增强无。特性约束新增备机的约束:数据库主机上存在openGauss镜像包。在新增的扩容备机上创建好与主机上相同的用户和用户组。已存在的数据库节点和新增的扩容节点之间需要建立好root用户互信以及数据库管理用户的互信。正确配置xml文件,在已安装数据库配置文件的基础上,添加需要扩容的备机信息。只能使用root用户执行扩容命令。不允许同时在主节点上执行gs_dropnode命令删除其他备机。执行扩容命令前需要导入主机数据库的环境变量。扩容备机的操作系统与主机保持一致。操作过程中不允许同时在其他备节点上执行主备倒换或者故障倒换的操作。删除备机的约束:删除备节点的操作只能在主节点上执行。操作过程中不允许同时在其他备节点上执行主备倒换或者故障倒换的操作。不允许同时在主节点上执行gs_expansion命令进行扩容。不允许同时执行2次相同的gs_dropnode命令。执行删除操作前,需要确保主节点和备节点之间建立好数据库管理用户的互信。需要使用数据库管理用户执行该命令。执行命令前需要通过source命令导入主机数据库的环境变量。依赖关系无。详情查看:cid:link_1详情查看:cid:link_0
  • [技术干货] [openGauss] X-Tuner: 参数调优与诊断
    [openGauss] X-Tuner: 参数调优与诊断可获得性本特性自openGauss 1.0.0版本开始引入。特性简介X-Tuner 是一款数据库集成的参数调优工具,通过结合深度强化学习和全局搜索算法等AI技术,实现在无需人工干预的情况下,获取最佳数据库参数配置。本功能不强制与数据库环境部署到一起,支持独立部署,脱离数据库安装环境独立运行。客户价值该工具可以在任意场景下,快速给出当前负载的调参配置,减少DBA的人工干预,提升运维效果,满足客户期望。特性描述调优程序X-Tuner包含三种运行模式,分别是:recommend:通过用户指定的用户名等信息登录到数据库环境中,获取当前正在运行的workload特征信息,根据上述特征信息生成参数推荐报告。报告当前数据库中不合理的参数配置和潜在风险等;输出根据当前正在运行的workload行为和特征;输出推荐的参数配置。该模式是秒级的,不涉及数据库的重启操作,其他模式可能需要反复重启数据库。train:通过用户提供的benchmark信息,不断地进行参数修改和benchmark的执行。通过反复的迭代过程,训练强化学习模型,以便用户在后面通过tune模式加载该模型进行调优。tune:使用优化算法进行数据库参数的调优,当前支持两大类算法,一种是深度强化学习,另一种是全局搜索算法(全局优化算法)。深度强化学习模式要求先运行train模式,生成训练后的调优模型,而使用全局搜索算法则不需要提前进行训练,可以直接进行搜索调优。特性增强无。特性约束数据库状态正常、客户端能够正常连接、且要求数据库内导入数据,以便调优程序可以执行benchmark测试调优效果。使用本工具需要指定登录到数据库的用户身份,要求该登录到数据库上的用户具有足够的权限,以便可以获得充足的数据库状态信息。使用登录到数据库宿主机上的Linux用户,需要将$GAUSSHOME/bin添加到PATH环境变量中,即能够直接运行gsql、gs_guc、gs_ctl等数据库运维工具。Python版本建议为Python3.6及以上,且运行环境中已经安装相应依赖,并能够正常启动调优程序。您可以独立安装一个python3.6+的环境,无需设置到全局环境变量中。不建议使用root用户权限安装本工具,如果以root身份安装本完毕工具,使用其他用户身份运行本工具时,需要确保配置文件有读取权限。本工具支持以三种模式运行,其中tune和train模式要求用户配置好benchmark运行环境,并导入数据,本工具将会通过迭代运行benchmark来判断修改后的参数是否有性能提升。recommend模式建议在数据库正在执行workload的过程中执行,以便获得更准确的实时workload信息。本工具默认带有TPC-C、TPC-H、TPC-DS以及sysbench的benchmark运行脚本样例,如果用户使用上述benchmark对数据库系统进行压力测试,则可以对上述配置文件进行适度修改或配置。如果需要适配用户自己的业务场景,需要您参照benchmark目录中的template.py文件编写驱动您自定义benchmark的脚本文件。依赖关系无。详情查看:cid:link_1详情查看:cid:link_0
  • [技术干货] [openGauss] SQLdiag: 慢SQL发现
    [openGauss] SQLdiag: 慢SQL发现可获得性本特性自openGauss1.1.0版本开始引入。特性简介SQLdiag是一个SQL语句执行时间预测工具,通过模板化方法,实现在不获取SQL语句执行计划的前提下,依据语句逻辑相似度与历史执行记录,预测SQL语句的执行时间。客户价值工具不需要用户提供SQL执行计划,对数据库性能不会有任何影响。不同于业内其他算法只局限于OLAP或者OLTP,本工具场景更加广泛。特性描述SQLdiag着眼于数据库的历史SQL语句,通过对历史SQL语句的执行表现进行总结归纳,将之再用于推断新的未知业务上。由于短时间内数据库SQL语句执行时长不会有太大的差距,SQLdiag可以从历史数据中检测出与已执行SQL语句相似的语句结果集,并基于SQL向量化技术和模板化方法预测SQL语句执行时长。特性增强无。特性约束需要保证用户提供的历史日志及待预测负载的格式符合要求,可以使用数据库GUC参数开启收集,也可以通过监控工具采集。为保证预测准确率,用户提供的历史语句日志应尽可能全面并具有代表性。按照要求配置python环境。依赖关系无。详情查看:cid:link_1详情查看:cid:link_0
总条数:514 到第
上滑加载中