-
gaussdb的计算模型是火山模型吗?
-
【 can not install gauss with root】:规格 通用计算增强型 | 4vCPUs | 16GiB | c7.xlarge.4 镜像 CentOS 7.6 64bit | 公共镜像[root@ecs-296259 openGauss]# ls [root@ecs-296259 openGauss]# wget 'https://opengauss.obs.cn-south-1.myhuaweicloud.com/5.0.0/x86/openGauss-Lite-5.0.0-CentOS-x86_64.tar.gz' --2023-09-22 11:26:58-- https://opengauss.obs.cn-south-1.myhuaweicloud.com/5.0.0/x86/openGauss-Lite-5.0.0-CentOS-x86_64.tar.gz Resolving opengauss.obs.cn-south-1.myhuaweicloud.com (opengauss.obs.cn-south-1.myhuaweicloud.com)... 139.159.208.230, 121.37.63.33, 121.37.63.38, ... Connecting to opengauss.obs.cn-south-1.myhuaweicloud.com (opengauss.obs.cn-south-1.myhuaweicloud.com)|139.159.208.230|:443... connected. HTTP request sent, awaiting response... 200 OK Length: 23216410 (22M) [application/gzip] Saving to: ‘openGauss-Lite-5.0.0-CentOS-x86_64.tar.gz’ 100%[======================================================================================>] 23,216,410 29.5MB/s in 0.8s 2023-09-22 11:26:59 (29.5 MB/s) - ‘openGauss-Lite-5.0.0-CentOS-x86_64.tar.gz’ saved [23216410/23216410] [root@ecs-296259 openGauss]# tar -zxf openGauss-Lite-5.0.0-CentOS-x86_64.tar.gz -C ~/openGausstar: /root/openGauss: Cannot open: No such file or directory tar: Error is not recoverable: exiting now [root@ecs-296259 openGauss]# tar -zxf openGauss-Lite-5.0.0-CentOS-x86_64.tar.gz -Ctar: option requires an argument -- 'C' Try `tar --help' or `tar --usage' for more information. [root@ecs-296259 openGauss]# tar -zxf openGauss-Lite-5.0.0-CentOS-x86_64.tar.gz -C /opt/software/openGauss [root@ecs-296259 openGauss]# ls dependency openGauss-Lite-5.0.0-CentOS-x86_64.tar.gz upgrade_config.sh upgrade_sql.tar.gz install.sh opengauss_lite.conf upgrade_errorcode.sh version.cfg openGauss-Lite-5.0.0-CentOS-x86_64.bin uninstall.sh upgrade_GAUSSV5.sh openGauss-Lite-5.0.0-CentOS-x86_64.sha256 upgrade_common.sh upgrade_sql.sha256 [root@ecs-296259 openGauss]# install.sh --mode single -D ~/openGauss/data -R ~/openGauss/install --start -bash: install.sh: command not found [root@ecs-296259 openGauss]# sh ./install.sh --mode single -D ~/openGauss/data -R ~/openGauss/install --start error: can not install gauss with root [root@ecs-296259 openGauss]# su - omm Last login: Fri Sep 22 11:20:28 CST 2023 on pts/1 [omm@ecs-296259 ~]$ cd /opt/software/openGauss [omm@ecs-296259 openGauss]$ ls dependency openGauss-Lite-5.0.0-CentOS-x86_64.tar.gz upgrade_config.sh upgrade_sql.tar.gz install.sh opengauss_lite.conf upgrade_errorcode.sh version.cfg openGauss-Lite-5.0.0-CentOS-x86_64.bin uninstall.sh upgrade_GAUSSV5.sh openGauss-Lite-5.0.0-CentOS-x86_64.sha256 upgrade_common.sh upgrade_sql.sha256 [omm@ecs-296259 openGauss]$ sudo sh ./install.sh --mode single -D ~/openGauss/data -R ~/openGauss/install --start [sudo] password for omm: omm is not in the sudoers file. This incident will be reported. [omm@ecs-296259 openGauss]$ sh ./install.sh --mode single -D ~/openGauss/data -R ~/openGauss/install --start touch: cannot touch ‘/opt/software/openGauss/install.log’: Permission denied error: failed to create the log file. [omm@ecs-296259 openGauss]$ sudo touch /opt/software/openGauss/install.log [sudo] password for omm: omm is not in the sudoers file. This incident will be reported. [omm@ecs-296259 openGauss]$ su - root Password: Last login: Fri Sep 22 11:24:42 CST 2023 on pts/1 [root@ecs-296259 ~]# cd /opt/software/openGauss [root@ecs-296259 openGauss]# sudo touch /opt/software/openGauss/install.log [root@ecs-296259 openGauss]# su - omm Last login: Fri Sep 22 11:32:20 CST 2023 on pts/1 [omm@ecs-296259 ~]$ cd /opt/software/openGauss [omm@ecs-296259 openGauss]$ sh ./install.sh --mode single -D ~/openGauss/data -R ~/openGauss/install --start ./install.sh: line 103: /opt/software/openGauss/install.log: Permission denied error: failed to create the log file. [omm@ecs-296259 openGauss]$ lsl -bash: lsl: command not found [omm@ecs-296259 openGauss]$ ls dependency openGauss-Lite-5.0.0-CentOS-x86_64.bin opengauss_lite.conf upgrade_config.sh upgrade_sql.sha256 install.log openGauss-Lite-5.0.0-CentOS-x86_64.sha256 uninstall.sh upgrade_errorcode.sh upgrade_sql.tar.gz install.sh openGauss-Lite-5.0.0-CentOS-x86_64.tar.gz upgrade_common.sh upgrade_GAUSSV5.sh version.cfg [omm@ecs-296259 openGauss]$ sudo usermod -aG sudo omm [sudo] password for omm: omm is not in the sudoers file. This incident will be reported. [omm@ecs-296259 openGauss]$ su - root Password: Last login: Fri Sep 22 11:35:50 CST 2023 on pts/1 [root@ecs-296259 ~]# sudo usermod -aG sudo omm usermod: group 'sudo' does not exist [root@ecs-296259 ~]# sudo visudo [root@ecs-296259 ~]# sudo usermod -aG wheel omm [root@ecs-296259 ~]# su - omm Last login: Fri Sep 22 11:36:45 CST 2023 on pts/1 [omm@ecs-296259 ~]$ cd /opt/software/openGauss [omm@ecs-296259 openGauss]$ sh ./install.sh --mode single -D ~/openGauss/data -R ~/openGauss/install --start ./install.sh: line 103: /opt/software/openGauss/install.log: Permission denied error: failed to create the log file. [omm@ecs-296259 openGauss]$ sudo sh ./install.sh --mode single -D ~/openGauss/data -R ~/openGauss/install --start [sudo] password for omm: error: can not install gauss with root [omm@ecs-296259 openGauss]$
-
近日,在第14届中国数据库技术大会(DTCC2023)的GaussDB“五高两易”核心技术,给世界一个更优选择专场,华为云数据库运维研发总监李东详细解读了GaussDB运维系统自动驾驶探索和实践。以下为演讲实录:大家好,我是来自华为云GaussDB数据库的李东。随着企业数字化转型进入深水区,数据库系统越来越复杂,运维团队维护的数据库规模越来越大,传统工具化的运维已无法满足当前运维的要求,数据库运维逐渐向智能化发展。如何更好地感知和预测数据库故障,进而进行智能诊断、自适应恢复,是我们一直探索的内容。接下来我将分享GaussDB在运维自动化驾驶上的探索和实践,分别从云数据库运维挑战,GaussDB运维体系架构,以及我们如何进行快速感知和快速诊断4个方向进行分享。一、云数据库运维面临哪些挑战?随着企业将数据库搬迁上云,云上数据库运维面临的挑战更加复杂。数据库可能会部署在裸金属、虚拟机、容器等多样化的基础设施上,而不同的基础设施面对的故障场景也是多样化的。如果我们遇到一个性能抖动的亚健康问题,通常解决思路是从应用数据库、操作系统、计算、存储、网络等多层次全面分析,每一层都可能发生故障,不同层次发生故障可能引发相同的亚健康现象。比如说一个慢SQL,可能是磁盘故障导致的,也有可能是网络抖动引起的,但是表现上对于客户而言都是一个慢SQL。如果运维能力不足,我们很难在短时间内去定位和解决亚健康问题,因为它在处理过程中一般有三个挑战:第一,无法准确预测和监控亚健康问题。这里主要涉及到多和少的问题,“少”就是在每一层上缺少对亚健康问题的监控,比如说磁盘故障了,可以很容易感知到;如果磁盘出现了坏块或者慢盘的情况,我们就没有办法快速监控。“多”体现在我们在每一层都做了监控和告警,但告警之间是没有关联性的,很难从这些告警中识别真正发生问题的点在哪里,所以很难精确发现当前的亚健康问题。第二,发现亚健康问题之后没有办法进行快速诊断。对于数据库内部发生的问题,往往依赖DBA经验进行诊断和决策,对运维的能力要求比较高,效率也无法保证。第三,恢复能力不足。我们当前诊断到发生问题的根源之后需要去恢复,但恢复能力不足,比如限流、扛过载的有效能力不足,涉及数据库参数调优、烂SQL优化等需要很深的数据库能力和经验的积累。二、GaussDB整体运维架构GaussDB是如何处理这些问题的?下面我们看一下GaussDB整体运维的架构。GaussDB统一运维平台分为5个部分:第一部分是实例运维,主要负责GaussDB集群生命周期的管理,比如创建、变更以及进行备份恢复和参数调整。第二部分是容灾管理,主要提供流式容灾、同城容灾、两地三中心能力。第三部分是智能运维,是GaussDB运维体系中最关键的部分,通过AI4DB的能力打造自治运维系统,它分为四层:第一层是数据采集层,负责采集各层的监控数据以及上层下发的操作指令。第二层是数据计算层,负责将采集到的数据进行缓存、持久化以及数据加工,包括时序数据库、算法模型库、故障规则库等。第三层是自治服务层,包括SQL诊断调优、安全、数据库运维等能力。第四层是全景监控,包括告警监控、全量SQL等能力。GaussDB通过构建一体化的智能运维中心,打造了全链路、端到端的自动驾驶体验。三、GaussDB故障快速感知数据库全景监控大盘,实时感知系统运行状态下面我们看一下GaussDB全景监控大盘,通过全景监控可以看出我们所维护的数据库集群哪些是正常的,哪些是异常的,哪些是存在亚健康情况的。比如查看告警统计模块,通过分析可以看出整个集群当前的告警情况,如果有紧急告警和重要告警,可以优先处理。也可以看到资源使用的风险,通过资源使用预测能力预警即将会发生哪些资源瓶颈,比如说磁盘空间不足、 CPU不足,方便我们及时处理和恢复。智能诊断这块,通过技术分析当前数据库有哪些性能瓶颈,同时也支持自定义监控大盘,选取用户重点业务数据库,自定义重点监控指标,对重点业务进行自定义维度的保障监控。全景大盘首先要依赖全链路、全方位的监控。数据库的可观测能力对于数据库的运维十分重要,GaussDB全链路监控具备从硬件、OS、DB等分层监控,构建从采集、发送、展示、分析到巡检等全链路能力,并且打通了硬件到操作系统,到数据库整个监控链的通道。比如说硬件出现故障问题,如果在云上,硬件故障属于不同部门维护,数据库部门只能看到数据库集群,如何感知到硬件发生亚健康或者操作系统存在问题,这个时候就得联合硬件部门,打通硬件到操作系统、数据库的通知机制,如果在这层发生了亚健康问题,可以把故障信息向上通知相关的运维部门解决。全量SQL数据采集分析接下来看一下全量SQL采集的能力。相较于传统全量SQL采集方式,即通过流量抓取或者日志方式获取全量SQL,GaussDB通过轻量化的方式构建了全量SQL的洞察。采集进程与数据库建立内存缓冲区通道,直接从内存通道里把SQL信息进行采集并转存到外部设备中,这个过程不需要发生任何磁盘IO操作,对性能影响极低。传统的采集场景我们可能需要开启全量SQL,对业务的影响在30%左右,一般情况下,用户是不敢开启的,而GaussDB的全量SQL,可以把风险降到最低。GaussDB提供的全量SQL方案具备以下4个特点:低风险。GaussDB通过内存方式把日志信息全部读取完再转存到第三方,对数据库性能损耗不超过5%。低成本。GaussDB不将全量SQL数据转存到本地IO,而是直接转存到第三方,比如说云上的OBS,并支持全量SQL的压缩,成本比较低。高扩展。GaussDB全量SQL会默认采集部分信息,如果这些信息不满足当前的诉求,可以进行扩展。高安全。当需要将全量SQL转存到第三方设备上时,GaussDB在转存过程中进行了默认的数据脱敏,确保数据安全的。通过全链路监控,GaussDB支持快速自动巡检。通过对可用性、可靠性、性能、资源使用趋势进行巡检,并输出巡检报告,可以查看当前存在的问题,并且给出一些相应建议。因此,通过上述全链路以及自动巡检的能力,GaussDB可以做到快速感知。四、GaussDB智能诊断下面我们看一下GaussDB在故障诊断方面有哪些能力?SQL自诊断我们基于离线+在线的方式进行SQL诊断,首先收集可能存在慢SQL的场景,包括SQL文本、SQL执行时间以及扫描行数、返回行数,并收集跟数据库、操作系统或者是资源相关的关键指标,通过业务SQL信息和关键指标的信息,进行一个离线的训练,最终得到一个慢SQL特征库。这个特征库有什么用呢?当我们在生产环境中遇到慢SQL问题,可以基于特征库和KNN算法进行在线推理,就诊断出SQL产生的原因,然后针对根因给出一些优化建议。SQL全链路分析之前有客户反馈,平时我们的SQL执行非常快,能在一秒内返回,但是最近经常为什么偶现执行超时了呢。我们业务人员通过查看每一层状况,从从客户端、数据库CN、DN、操作系统等串行分析,发现这个偶现的问题可能是发生在某个分片上,这样的诊断效率非常低。GaussDB提供的SQL全链路监控分析能力则很好地解决了这个问题。它包括全链路追踪和聚合分析两方面,通过业务SQL关键字或客户端traceID等条件查询到数据库SQLID,并追踪该SQL在数据库集群中的解析过程和执行耗时,以及每条SQL在集群中的转发、聚合情况,进而追踪到问题发生的源头。多维指标关联分析数据库运维过程中需要对大量指标进行监控,当其中某个或多个关键指标发生异常时,运维人员需要快速准确的定位到异常根因,以便决定下一步的操作。但是当指标数量很多的时候,筛选信息的工作量也会很庞大,因此我们需要一个高效的工具去解决这个问题。我们知道某些数据库指标之间是存在强关联性,通过有方向性的关联性算法,在异常发生时将同一时间段的指标进行比对,根据相关性的强弱将异常时间段内与关键指标相关的指标筛选出来,当前支持毛刺、持续增长、漂移、周期性等场景的检测算法,可以帮助运维人员迅速定位问题以及减轻运维人员的工作量,有助于我们锁定问题的根因。趋势预测在日常系统运维及故障处置实践中,负载的变化往往也蕴含着当前系统的亚健康及故障的影响反馈,基于传统的组件指标监控和告警在故障异常发现的及时性上具有挑战。GaussDB通过建立对实例级关键指标的监控,基于历史数据和时序预测、异常检测等关键算法,对黄金KPI进行指标预测,发现异常信息,进而提醒用户采取措施,避免异常情况造成严重后果。索引推荐应用开发者在对SQL进行优化的过程中,索引优化是关键的优化内容,由于对性能分析、优化手段多方面复杂分析及实践门槛,对SQL优化带来了挑战。索引推荐的核心方法是基于原生的词法和语法解析,对查询语句中的字句和谓词进行分析和处理,再结合字段选择度、聚合条件、多表join关系等输出最优的索引建议。GaussDB 提供索引推荐功能,给出索引推荐列表,以及每一个索引的正向和负向SQL的收益,识别当前数据库存在的冗余索引、无用索引,优化数据库查询速度。GaussDB还提供了优化器评估能力,优化器评估能力提供了一个虚拟索引的能力,不需要真实创建索引,通过虚拟索引评估索引推荐的结果是不是合适。通过持续对索引配置进行优化,可以解决用户的负载漂移情况,及时发现索引不优、冗余索引,以便避免故障发生。SQL会话查杀应用开发的复杂逻辑可能导致人工难以发现的逻辑问题,出现异常SQL,需要有对应手段帮助运维人员快速对异常会话进行查杀限制。GaussDB应用平台提供了一个会话管理的能力,实时会话页面支持会话统计、活跃会话、会话锁分析、会话查杀等功能,帮助运维和管理人员快速掌握实例的会话信息,管理实例会话,并高效定位数据库会话连接相关人工难以发现的逻辑问题。SQL限流和自治限流我们可以想象一个场景,在数据库正常运行过程中,某一个应用上线了一个新功能,这个新功能引入了一个超级烂SQL,导致数据库逐渐的从正常对外服务状态转为资源使用逐渐升高,大量的SQL因为获取不到线程、CPU等资源而执行的速度变慢,最终导致业务异常。在遇到异常SQL(如不优索引)、SQL并发上升等场景下,对整个数据库的可服务性影响比较大,这时我们就可以通过对SQL精准化限流的方式进行抑制,保证业务能够正常运行。GaussDB提供的SQL限流提供了以下能力:全局快慢车道。所谓全局快慢车道,就是定义两个资源池,一个是正常资源池,我们称为快车道,快车道提供大量的资源,正常业务在快车道运行,如果出现交通事故,这里的交通事故就是指异常的SQL业务。当出现交通事故时,我们可以通过页面一键将异常SQL放到慢车道中,慢车道限制了对资源的使用,这样交通事故处理完了,快车道可以继续保持高速运行。单类SQL精准管控。对单类SQL,从执行时间、IO使用等角度进行精准管控,管控这类SQL的资源占用。起到紧急限流的作用。内存熔断。提供内存上下限配置,内存使用超过最大内存上限后禁止新连接接入并kill当前会话,待内存恢复到内存下限后停止kill会话并允许新连接接入。SQL自治限流。提供按照一定的SQL规则,或者CPU、内存等资源使用规则,来进行SQL的自治限流能力,避免对应类别的SQL拖慢整个数据库。我们GaussDB运维中心还有很多其他的能力,会在10月份进行全新发布,届时大家可以体验,一起给我们提意见。今天我分享的内容主要到这里,谢谢大家!
-
华为GaussDB主要应用,特性优势,与其他数据库有什么异同?
-
近日, Navicat Premium顺利完成与华为云 GaussDB的兼容性测试认证,并获得华为云授予的技术认证书。Navicat 作为华为云 GaussDB 生态工具合作伙伴以及 Gocloud 合作伙伴,此次合作旨在通过Navicat 多年来在数据库开发管理工具上的积累赋能GaussDB 生态,丰富GaussDB生态工具链,给用户提供更多选择。最新 Navicat Premium 16.2.8 Windows版已支持对GaussDB 的管理和开发。它提供轻松、便捷的可视化数据查看和编辑功能,例如:数据增删改查、SQL或脚本处理、函数、数据生成等功能。此外,它还具有丰富的高阶功能:协同合作、数据迁移、数据传输、结构同步、数据同步、模型、图表、自动运行、备份还原,角色权限管理、服务器监控等, 能够满足 GaussDB 不同用户(初级、进阶和高阶)的全方位需求。凭借 GaussDB 强大的创新、技术与服务能力,结合Navicat 工具的稳定、易用、通用性以及广大的用户生态,相信这次合作会为GaussDB数据库的生态发展起到加速助推作用,让更多客户从中受益。未来,双方还将继续加快合作步伐,为 GaussDB 用户提供更高效的工具支撑。NavicatNavicat 被认可为业界领先的、屡获殊荣的数据库管理开发工具,致力于帮助全球用户(应用开发者、数据库相关工作者以及数据分析师等专业人员)轻松创建、管理和维护数据库。Navicat 深耕数据库领域20余年,专注于数据库工具配套技术的研发与技术创新,以产品力和客户需求为导向不断提升工具的可靠性、便捷性、稳定性和安全性。目前,超过五成的《财富》世界 500 强企业每天都会使用 Navicat。此外,Navicat 被广泛应用在各行各业,也受到金融客户的信赖。目前,浦发银行、农商银行、农业银行、中国银联和泰康保险都选择了 Navicat。GaussDB华为在数据库领域战略投入20多年,围绕客户全场景诉求打造了 GaussDB 分布式数据库。GaussDB 是当前国内唯一做到全栈软硬协同自主创新的数据库产品,有高度的语法兼容性和一站式的整体迁移解决方案,原生分布式架构大幅提升了系统的可用性,构建了高可用、高安全、高性能、高弹性、高智能、易部署、易迁移“五高两易”的核心技术竞争力。目前,GaussDB 已在华为内部IT系统和多个行业核心业务系统得到应用。未来,GaussDB 将持续深耕金融政企场景,通过全面创新,成为金融政企客户以及其他关键基础设施行业客户的更优选择。
-
8月16日,以“数智赋能 共筑未来”为主题的第14届中国数据库技术大会(DTCC 2023)在北京举行,在GaussDB“五高两易”核心技术,给世界一个更优选择的专场,华为云数据库生态工具研发总监窦德明分享了GaussDB数据库的迁移创新实践。以下是演讲实录:各位同仁,我是华为云数据库生态工具研发总监窦德明,我分享的是GaussDB数据库迁移的创新实践。易迁移能力是企业数据库替换选型的关键考量数据库的选型除了要看数据库本身的能力外,能否很平滑地从其他数据库迁移到GaussDB,也是很多企业考量的关键因素。而数据库能否平滑迁移有两个非常核心的要素,一个是数据库本身,比如能否很好地兼容主流数据库的语法,让应用少改或者不改;另外一个是在数据库外围能否提供一些好用、易用的迁移工具,把应用中内嵌的SQL、数据库中的对象以及全量和增量数据,在业务近乎零停机的情况下从其他数据库平滑地迁移过来。这两点是企业做数据库选型时考量的两个迁移关键要素。结构(UGO)+ 数据(DRS)一站式迁移解决方案在2021年的DTCC大会上,我们发布了华为云结构+数据一站式迁移解决方案,其中有两个核心工具。一个工具是UGO,主要做结构和应用的语法兼容性评估和转换,比如将数据库上层应用中内嵌的SQL捕获出来进行评估,对数据库内部对象的DDL进行评估,并输出一个报告,清晰地展示哪些是数据库本身兼容的、哪些是通过UGO转换可以兼容的、哪些不能转换需要人工介入进行改造等。另外一个工具是DRS,大家都知道,异构数据库替换过程中的数据迁移问题非常非常多,DRS要解决的就是怎么在业务近乎不停机的情况下快速把客户的存量数据和增量数据迁移过来,并保证数据在任何情况下不丢、不错、不乱,同时提供灵活、多样的数据比对和修复能力。UGO+DRS一体化解决方案在实际项目中得到验证UGO+DRS一站式迁移解决方案近两年在很多项目中都得到了验证和应用,这里举几个实际的例子。第一个是我们公司自己内部的MetaERP项目,使用UGO自动转换了近7亿行的O数据库SQL脚本,转换成功率接近100%,同时GaussDB实现了并行逻辑解码,性能高达近300MB/秒,可以让DRS轻松应对MetaERP在月结、季结和年结时10~20倍的流量洪峰,保证数据同步<5s的低时延。第二个是某银行的数据库替换,这个项目迁移复杂度比较高,面临应用多、数据库对象多、存储过程和package深度依赖等困难,截至目前通过我们的一站式迁移解决方案,完成了近1.3亿行SQL脚本(包含近8000万存储过程)的UGO自动转换,转换成功率超过96%,采用DRS迁移了近300套左右的O数据库实例,实现了O数据库与GaussDB数据库的长时间并机稳定运行,正反向低时延数据同步。项目实施过程中遇到新的困难与挑战在大量的项目实施过程中,我们UGO+DRS一站式迁移解决方案也遇到了一些新的困难和挑战,这些挑战相信大家也都会遇到,在此给大家做个分享。挑战1:在做异构数据库替换时,如何快速识别异构数据库语法不兼容点,识别数据相同的情况下相同SQL在不同数据库中执行的性能差异,以及低版本向高版本升级时是否会存在不兼容或性能劣化,再有就是如何模拟业务流量洪峰时的数据库行为表现。挑战2:当前很多企业的开发人员和DBA对GaussDB熟悉程度还不高,SQL编写水平参差不齐,而且在做应用开发时缺乏统一的SQL编程规范和有效的SQL审核机制,很多烂SQL都流入了生产环境,进而引发大量的应用性能问题,影响生产业务和客户体验。挑战3:很多数据库当前的字符集在标准字符集的基础上做了很多扩展或者定制,导致数据迁移时相同字符集的不兼容,或者就没有对等的字符集,更有甚者,历史数据里已经存在了各种各样的乱码数据,这些特殊场景都会影响迁移的平滑性。当然,困难和挑战还有很多,但这三个是会阻塞或拖慢数据库迁移进程的,那么针对这三个挑战,我们都做了哪些探索和创新呢?再给大家分享一下。应对挑战1:孵化数据库流量录制与回放能力流量录制与回放的概念相信大家都不陌生,在数据库领域,有些数据库厂商也提供了相应的工具,GaussDB面临的业务场景比较多,所以需要的技术也因场景而异。如果源数据库是公有云服务,而且提供了全量SQL,那么直接获取全量SQL并进行回放即可;如果源数据库开启了审计日志,也可以直接下载并解析审计日志,当然开启审计日志会对数据库的性能有一定的影响;如果源端是自建数据库,而且未开启审计日志,那就需要部署一个agent,通过捕获网络数据包,结合数据库本身的通信协议来解析出应用下发的所有SQL。基本上这三种方案可以涵盖所有的场景,这里面还要注意几个点,首先是要研究透不同数据库的通信协议,其次是实现异构数据库替换场景下的SQL自动转换,另外是要具备SQL回放的流量控制能力,能加速或者放慢等,当然在解析、回放等出现异常的情况下,要做好记录。接下来就是在源数据库的镜像库和GaussDB数据库同时进行流量回放,而且保证镜像库和目标数据库的数据完全一致,回放的SQL也完全一样,最终输出一个分析报告,比对每一条SQL的执行耗时、资源消耗、甚至是执行结果,很容易看出来哪些SQL的性能GaussDB比源数据库好、哪些出现了劣化、哪些是基本持平的。我们正在和某银行进行数据库流量录制与回放的联合创新,从实际应用效果来看,通过agent方式捕获流量包,SQL抓取成功率可以做到97%以上,解析成功率和回放成功率可以达到95%,在此过程中,还可以识别到语法不兼容、语义不兼容的异常情况。应对挑战2:孵化GaussDB数据库SQL审核能力SQL审核大家更为熟悉,很多大的企业都会进行探索和实践,但对于GaussDB来说,由于是纯自主创新的分布式数据库,很多企业的开发人员和DBA还不熟悉GaussDB的SQL语法,也没有制定较为完善的SQL编程规范,很多第三方SQL审核工具也没有针对GaussDB的审核能力,这种情况下,我们结合UGO成熟的SQL解析器,以及多个项目中的SQL调优实践,孵化出了GaussDB数据库的SQL审核能力。我们SQL审核的输入可以有多种类型,可以是代码仓,也可以是一个SQL文件,还可以是通过流量录制获取的动态SQL等等,可以审核直接获取到的原生SQL,也可以审核通过UGO转换后的SQL。截至目前,我们已经沉淀了81条审核规则,并在公司内部的两个项目以及外部的多个银行进行了应用,效果超出预期。应对挑战3:孵化字符集兼容性分析评估能力针对数据迁移,大家最担心的莫过于正式割接时出现各种各样的问题导致割接失败,除了迁移工具本身的功能之外,最常见的可能就是字符集不兼容、数据乱码、生僻字等等。举个例子,O数据库对GBK字符集做了扩充,可以存储UTF-8字符,而GaussDB数据库的GBK字符集非常规范,从O数据库向GaussDB迁移数据时,这些UTF-8字符根本无法写入,迁移必然失败。更有甚者,很多客户的海量历史数据中有大量的乱码数据,无法确定这些数据是什么时候写入的,哪些应用写入的,或者后续会不会再用到,但客户要求必须迁移过来。那么,面对这些挑战,我们尝试通过孵化字符集兼容性分析评估工具来提前识别。这个工具的原理很简单,首先是建立一个可以分析的字符集基线,比如GB系、Unicode系列等,其次是获取源数据库的元数据,包括字符集、索引信息、表结构信息(列类型、列长度)等,然后基于源数据库和目标数据库的字符集做好映射,最后再对数据库进行数据扫描和分析,输出多维度的分析评估报告。目前这个工具正在和某银行进行联创,从前期的试用效果来看,确实能发现很多问题,比如ZHS16GBK和AL32UTF8两种字符集混编、直接写入二进制格式导致数据乱码、ZHS16GBK字符集使用了大量生僻字等。对UGO+DRS一站式迁移方案的演进思考以上是我们在使用UGO+DRS一站式迁移解决方案过程中遇到的三个大的挑战,以及应对这三个挑战做的一些创新实践。现在GaussDB的迁移场景越来越多,也越来越复杂,所以我们会不断地进行探索和创新,让我们的方案更完善,迁移过程更平滑,比如流量回放、SQL审核、字符集兼容性评估会支持更多的数据库,推出非常详细和全面的应用、结构、数据迁移可行性分析报告,实现SQL捕获、转换、审核、优化全流程一体化管理等等,也希望能和客户、伙伴以及各位同行进行合作。以上就是我分享的GaussDB数据库在迁移方面的一些创新实践,谢谢大家。
-
例如插入语句INSERT INTO your_table (column1, column2) VALUES ('', 'other_value');实际库的结果是 null,'other_value'想要的结果是'','other_value'有没有配置触发器,不改变插入的结果
-
近日,在第14届中国数据库技术大会(DTCC2023)的GaussDB“五高两易”核心技术,给世界一个更优选择专场,华为数据库技术专家李士福详细解读了GaussDB性能调优的相关技术和应用实践。以下为演讲实录:大家下午好!我是来自华为高斯实验室的李士福,很荣幸和大家分享GaussDB性能调优的实践。我今天分享的内容主要包括三个部分,分别是性能调优的整体介绍,性能调优的关键技术,性能调优的应用实践。一、GaussDB性能调优简介我们知道数据库作为系统软件,在整个计算机体系中起到关键的承上启下作用。我们可以看到应用程序通过北向接口与数据库进行交互,而数据库通过南向接口与操作系统和硬件进行交互。对于数据库系统的性能影响是多方面的,不管是硬件规格、操作系统配置、数据库系统的设计、应用和客户端的连接方式,都会对业务最终的性能表现产生很大的影响,所以数据库的性能表现本质上是整体计算机系统软硬件协调的结果。数据库性能优化充满复杂性和挑战性,既有主观的成分,也有复杂的一面。性能问题的主观性,举例来说,某个查询消耗是1s,它的性能是好还是坏,是否脱离业务目标很难讲清楚。所以描述性能问题时要目标清晰、描述具体、结果可度量。例如一个问题出现后,需要给出硬件配置、参数信息、部署形态、业务场景、当前结果、期望目标。另一个面临的性能问题是复杂性,通过一个问题表象,很难一眼确定是某一个模块引起的,需要分析出一个明确的方向,进一步观察作业在不同模块间数据流动,用全局视角来分析问题;如果性能问题不是单点的问题,我们需要从中找到引起问题的主要矛盾,然后先解决掉大头,看看是否满足业务诉求。在遇到数据库性能相关问题时,经常会出现一些行业术语。比如:IOPS通常指的数据库系统数据盘每秒读写IO的次数,反应了磁盘IO能力的读写能力;吞吐量,往往指的是数据库每秒处理事务数TPS或者查询数QPS,反应整体的负载状况;响应时间,指的是数据库中一条查询从发起到结果返回的时间开销,用来识别慢SQL;饱和度,指大并发场景下属于工作队列的任务数,反应当前系统作业被积压的情况,忙闲程度。GaussDB数据库的逻辑架构分析GaussDB性能问题前,先简单介绍一下逻辑架构。GaussDB分布式数据库包括下面的一些组件:OM运维管理组件,负责日常的运维和管理操作,例如安装、升级、节点替换等;CM集群管理组件,负责集群、节点和实例级别启停,集群状态查询、选主、主备切换等;GTM全局事物管理器,负责生产和维护全局事务ID、快照、sequence等全局唯一信息,确保全局事务一致性;CN协调节点,负责接收应用的访问请求,并将结果返回给客户端,在CN中完成SQL解析和优化后,将计划下发到各DN执行;DN数据节点,负责存储业务数据,执行数据查询业务,并返回执行结果;ETCD一致性组件,存储集群的拓扑状态和信息,主备状态信息,全局事务ID和sequence依赖ETCD,CMS自身仲裁和CMS对数据库组件的仲裁依赖ETCD。后续ETCD将改为自研组件DCC分布式配置中心来存储集群配置信息。这里面影响业务查询的核心组件是GTM、CN和DN组件。GaussDB的查询处理流程了解GaussDB架构后,我们简单梳理一下查询处理流程,拆解到每个模块,我们展开一下每个模块的功能和性能关注点。查询解析模块,将SQL文本翻译为解析树,这里面的性能主要因素是词法、语法、语义分析效率,用到技术包括模板查询免解析,PBE模式绑定变量方式执行。查询优化将进行逻辑优化和物理优化,最终生成物理计划,性能核心点是高效计划生成,包括计划缓存、重写规则、基数估计、代价估计准确率等。在查询执行阶段,执行查询计划,并将结果返回;这里面性能核心点包括SMP并行执行、分布式执行、基于编译技术的算子执行、表达式计算等。在查询时进行数据读取,性能涉及存储引擎的多个模块,包括高效的存储数据、并发控制、事务能力等。最终所有各阶段的执行消耗综合,决定了查询端到端性能。二、数据库性能调优关键技术下面介绍一下GaussDB在性能优化方面的几个关键技术。计划缓存计划缓存技术,一般在OLTP的业务负载中,因为涉及的数据量较少,通过索引加速数据访问路径后,查询解析、重写、优化占比就很高。对于模板行之的语句,可以将模板语句的计划缓存起来,那么同模板不同参数语句执行时,直接使用缓存计划,大大提升并发吞吐量。我们可以想一下,缓存计划是针对一个session,还是针对整个系统的,所以引申出两个概念,local plan cache和global plan cache。如果只在session上缓存已执行计划,那可能会导致每个session上执行计划都很多,占用内存资源高,GPC可以很好解决内存占用问题,但维护代价较大,管理成本高。还有一个问题是缓存计划可能针对某一类SQL,如果参数变化后,执行计划不优怎么办。GaussDB实现了计划自适应选择的能力,可以自动为不同参数配置最佳的缓存计划。智能基数估计智能基数估计主要解决两个问题:一是什么时候创建多列统计信息?二是创建什么类型的统计模型?当前常见的方案是采用MCV(一种软件架构模式)和直方图的统计模型来实现。但这两个方案在单列场景估计的比较准确,在多列场景中仅支持单表,而且误差较大,无法应用。GaussDB创新性地设计出基于库内轻量级贝叶斯网络算子模型来实现多列场景下的基数估计。基于DB4AI的轻量级算子,在数据库内完成训练和推理,对内核几乎无影响;在自动analyze收集统计信息时,自动创建贝叶斯网络模型;优化器在进行多列基数估计时,调用训练好的模型,给出准确率的数值。分布式查询执行GaussDB分布式数据库在查询执行过程中,采用多种技术提升查询执行的性能。其中分布式执行框架用于实现分布式集群的多节点并行处理能力,提升集群整体的性能。在复杂语句查询时,会将重执行算子下推到DN节点执行,例如AGG算子等。在下推算子执行时,会考虑数据本地性,尽可能在本地计算,减少数据在网络中的传输开销,从而同时整体的查询性能。在单节点内,通过SMP并行技术,重分利用多核cpu的并行加速,结合内存管控,提升单节点的性能。GTM LiteGTM负责全局事务的一致性,传统的GTM组件需要维护每一个活跃事务信息,作业执行时,需要从GTM获取快照时,拿到的是当前的活跃事务链表,如果量特别大,将对网络并发带来压力;GaussDB实现GTM lite能力,通过CSN号代替事务链表,获取的快照仅为CSN号,在事务提交时,也只需要原子加CSN号。在可见性判断时,基于CSN号进行,如果事物结束的CSN比快照中csn值小,那么元组可见,否则元组不可见。日志并行流水线数据库日志系统非常关键,是数据持久化的关键保证。传统数据库一般采用串行刷日志的设计,因为日志有顺序依赖关系。GaussDB采用log writer日志写盘线程并行写机制,充分发挥多通道IO的能力。主要机制是将一把大锁,拆分为多个并行的小锁。部分worker线程的事务日志写到一个事务日志共享缓冲区,每个事务结束前保证对应的事务日志LSN已经刷盘,有全局LSN原子加保证顺序。NUMA AwareGaussDB在多核ARM架构下,通过NUMA Aware技术解决跨NUMA内存访问延迟问题。做几个主要工作包括全局数据结构NUMA化改造,降低数据换成访问延迟,关键数据结构包括CLOG、Wal insertlock、proc array等;将内核工作线程与numa node进行绑定,避免跨numa调度;利用原子操作指令集LSE,提升计算性能。三、数据库性能调优应用实践最后介绍一下性能调优的应用实践。我们先看看性能调优的思路,遇到性能问题,先确定性能调优的范围,观察是否某个系统资源达到瓶颈,或者是否存在SQL阻塞或慢SQL,通过分析,如果是系统资源类问题,我们通过系统调优来进行诊断和优化,如果是SQL层面问题,我们通过SQL调优进行诊断和优化,最终看优化后效果是否满足业务需求,如果一次优化不能达成预期,则需要多轮迭代,最终达成目标。我们看一下数据库系统整体性能问题的定位思路,先判断是数据库层面问题还是其他层面问题,其他层面问题例如是否是节点上其他进程引起的数据库性能下降,或者操作系统参数配置不当引起的。若是数据库层面问题,需要对数据库占用的系统资源信息、数据库内核资源、主备状况等进行综合分析,最后确认问题根因。在分析单条SQL语句性能时,通过使用视图statement_history或者statement,查询语句每个阶段执行时间消耗,确定语句执行的性能瓶颈。statement_history记录了执行时间超过阈值(log_min_duration_statement,默认3 s)的详细SQL信息,包含计划生成时间、执行时间、锁等待时间等信息;statement记录了SQL按照unique_sql_id归一化的执行信息,包括执行次数、总的执行时间、访问数据量、内存使用等信息。然后通过等待事件视图,查询阻塞会话和对象;最后通过执行计划,获取更细粒度的算子执行情况,如是否走索引、走正确的索引、分布式执行算子stream是否涉及广播等。讲到GaussDB全量SQL和慢SQL,我们看一下他们包含哪些内容。GaussDB的多维度指标监控采集粒度不同,对系统性能的影响也不同,可分为三个级别进行采集。L0级别基本不影响业务执行,采集信息包括实例信息、语句信息、元组、缓存、执行时间等;L1级别对系统稍微有些影响,但可接受,这也是业务上线默认推荐的配置,主要包括执行计划信息和锁的统计次数;开启L2会对系统带来很大影响,通常用在问题定位,包括细粒度锁信息和等待时间等。下面介绍两个案例。第一个是应用升级后引起了性能剧烈波动,我们先观察一下实例整体执行的时间,看看在哪一步消耗的比重最高,然后通过归一化视图观察单个SQL,看每一步的执行消耗,确认是在网络发送部分引起的,我们把应用侧进行替换,应用程序更新后这个问题就解决了。第二个是集群整体性能劣化。我们先观察CN上线程等待状态,发现有些节点等待次数超高;我们在异常节点上分析等待事件,发现wal sync等待的时间较高;对比正常节点,确认该节点上存在wal sync的问题。最后分析出主备间日志LSN分片差异较大,一直在进行回放,影响系统整体性能。最后介绍一下GaussDB两个自调优利器,分别是索引推荐和分布键推荐,主要用于提供高效推荐。比如索引推荐,可以帮助用户根据业务负载自动推荐合适的索引组合,识别冗余索引和无效索引。在推荐索引时,同时输出正向提升SQL信息和负向提升SQL信息,帮助用户来决策是否使用推荐的索引。我的分享就到这里,谢谢大家。
-
8月31日,华为云GaussDB数据库城市沙龙·厦门站圈层活动顺利举行,活动围绕数据库开展政企行业数字化转型解决方案与实践交流。华为厦门政企解决方案部部长罗立强、华为云数据库服务产品部副总经理庄乾锋、华为政企行业数据库架构师,以及明源云和先进数通等合作伙伴,在现场与参会嘉宾共同探讨福建政企数字化创新,推动国内数据库在政企行业的发展。华为厦门政企解决方案部部长罗立强在致辞中表示:“数字经济发展如火如荼,政企行业也借这股东风乘云直上。华为致力于构建数字经济底座,携手广大合作伙伴,共同打造先进的产品和行业解决方案,使能千行百业高质量发展。”政企数字化转型,技术是关键华为云数据库服务产品部副总经理庄乾锋表示,随着国内数据库的蓬勃发展,以及外部环境不确定性的加剧,自主创新已成为国内行业发展必然之路。华为云GaussDB数据库自成立起便肩负两大使命:一是解决华为集团业务连续性,二是保障国家金融、关键信息基础设施行业的安全,并在实际业务场景中锤炼出了系列核心能力。华为云GaussDB通过全场景部署,做大单点能力,做强分布式能力,为行业提供一站式数据服务。单点能力方面,GaussDB对标国际领先产品,减少非必要分布式改造,单节点支持16TB数据量,性能远超开源MySQL。分布式能力方面,GaussDB优化跨节点查询,复杂SQL 性能倍增;支持多租户管理,极大提升了资源利用率;支持全场景数据压缩,快速提升存储使用效率;提供“GaussDB+UGO+DRS”一站式迁移解决方案,让迁移工作变得更轻松可控;是国内首个通过国际CC EAL4+安全顶级认证的数据库,全方位守护数据安全;提供全流程、全链路运维方案,面向应用开发及运维打造数据库自动驾驶体验。深入行业实践,GaussDB百炼成钢华为政企行业数据库架构师李彦伟表示,GaussDB立足金融政企行业场景,深入业务实践,完全经受住了企业严苛场景的锤炼。在工商银行核心交易系统分布式改造过程中,GaussDB提供了跨Region双集群数据0丢失方案,满足大型业务系统对存储容量和可用性的要求;异构语法兼容及自动化迁移成功率高,节省迁移改造工作量90%以上;全力支撑工行全球信贷系统7*24小时连续性服务。在华为集团MetaERP替换中,GaussDB通过Ustore存储引擎、纯软全密态、异地跨云容灾等能力,35小时完成3200亿行数据完全在线迁移,9大核心模块(库存服务、采购履行中心、库存分析等)系统稳定运行无问题,端到端业务处理效率提升10倍。依托GaussDB云原生数据库,明源云打造不动产数字新引擎明源云厦门公司解决方案架构师曾飞飞表示,明源云以“PaaS平台+SaaS+生态”的战略布局,累计为超过7000家不动产开发、运营企业提供了数字化产品与服务,助力1000多家国企实现深化改革和数字化转型。明源云携手华为云,从数据合作到Paas平台,从完整方案到AIGC,一步步构建引擎,加速国资国企智赢时代。在SaaS应用阶段一,明源云基于GaussDB云原生数据库展开数据合作,明源云链数字工程业务依托GaussDB提供的存算分离架构、Proxy读写分离、会话级别一致性等能力,以数据库为抓手,盘活数据资产,让数据成为血液流动。PaaS层面,明源云天际建模平台基于GaussDB云原生数据库,为企业提供快速开发平台,提升了企业开发效率。此外,明源云携手华为云联合构建了不动产投建营一体化平台,围绕投资、建设、运营三个方向为国企提供技术创新力,保障科学投资、智能建设、资产盘活,助力国企走向世界一流企业。携手先进数通,联合打造更优服务北京先进数通信息技术股份公司产品总监郭钰表示,作为中国金融行业数字化转型引领者,先进数通致力于为客户提供可信赖的数字化转型服务,并携手华为打造了包含GaussDB产品专业服务在内的系列专业产品服务,更好地提升了产品和服务的质量。随着国内数据库产业需求变化和技术演进,金融政企客户更倾向于选择自主创新、持续领先、低迁移成本、持续性服务、生态开放的产品。先进数通与华为分别基于Starring 和GaussDB数据库,共同构建了金融智能支付平台,让支付变得更敏捷高效。还打造了全生命周期服务与保障,包括前期咨询、中期实施、后期保障,提供了GaussDB基础运维服务,核心系统数据迁移服务,技术专家支持服务,让原本不确定的迁移担忧变为确定性的计划。共研国内数据库创新之路在“国产数据库深度使用”专题研讨环节,华为云高级数据库解决方案架构师马海旭与参会嘉宾围绕国产数据库资质、能力、迁移、管理、生态、人才等维度进行了深度讨论,积极为国产数据库创新发展建言献策,为金融客户数字化转型提供了更多思路。比如迁移方面,马海旭表示,迁移是一项系统工程,需要完善的方法论,高效的工具和成熟的产品。华为云数据库提供“GaussDB+UGO+DRS”一站式迁移上云解决方案,让客户迁移无忧。其中,UGO负责对源库进行风险和工作量评估,自动转换异构数据库语法,目前已经做到了95%的自动化;DRS负责全量和增量数据的实时在线迁移和同步,通过数据一致性比对确保数据零丢失,模拟业务流量进行仿真验证,让客户迁移更放心。国内数据库产业发展欣欣向荣,千行百业数字化转型正当时。华为云GaussDB沉淀了华为在数据库领域20多年的战略投入成果,具备高可用、高安全、高性能、高弹性、高智能、易部署、易迁移“五高两易”的核心技术竞争力,坚持做企业核心业务云化的智能数据底座,与众多合作伙伴构建数据库生态圈,共同助力政企行业数字化转型,实现高质量发展。
-
总所周知,小批量插入列存表可能会引起小cu问题,导致表空间膨胀和性能劣化。而批量插入的过程中,如果引入不下推的函数,导致语句不下推,同样也会引起小cu问题。在此,做了如下实验验证:-- 准备数据create table test_source(id int, a int);create table test_column(id int, a int, t timestamp) with (orientation = column, colversion=2.0);insert into test_source select GENERATE_SERIES(1, 1000), GENERATE_SERIES(1, 1000);-- 创建不下推函数-- now()函数可以下推create function test_function_01() return timestamp asbeginreturn now();end;/-- 对比下推与不下推的插入语句的执行计划和小cu状况explain performance insert into test_column select id, a, now() from test_source;truncate test_column;explain performance insert into test_column select id, a, test_function_01() from test_source;小cu排查技巧可以参考下列帖子【总结】列存表查看CU信息_数仓GaussDB(DWS)_大数据_华为云论坛 (huaweicloud.com)实验结果为test_function_01()的语句使目标表出现了严重的小cu现象,而now()语句没出现小cu现象。对比执行计划,在不下推语句的执行计划中发现如下记录: Targetlist Information (identified by plan id) ----------------------------------------------------------------------------------- 1 --Insert on public.test_column Node/s: All datanodes Remote query: INSERT INTO public.test_column (id, a, t) VALUES ($1, $2, $3) 2 --Data Node Scan on test_source "_REMOTE_TABLE_QUERY_" Output: test_source.id, test_source.a, test_function_01() Node/s: All datanodes Remote query: SELECT id, a FROM ONLY public.test_source WHERE true当语句不下推时,执行计划会先让dn收集除不下推函数以外的数据在cn汇总,再以insert into xxx (xx, xx, xx) values ($1, $2, $3)的模式执行。故而会产生小cu现象。
-
目前国家对去IOE这块的政策,有谁有了解么?谁能给详细讲讲。
-
近日,在第14届中国数据库技术大会(DTCC 2023)的GaussDB“五高两易”核心技术,给世界一个更优选择专场,华为云数据库技术专家徐宜良分享了《GaussDB高可用之应用无损透明》主题演讲,介绍了华为云GaussDB高可用方面的最新成果。以下为演讲实录:大家下午好!下面由我来为大家介绍GaussDB高可用之应用无损透明特性。一、GaussDB应用无损透明特性简介我们知道用户在使用数据库在线业务系统时,如果数据库服务端发生了维护操作,比如说重启或者主备切换,或者发生故障时,应用程序会感应到数据库之间的连接发生中断,一些执行的事务会被自动回滚掉。当数据服务恢复之后,应用程序需要重建连接,,这样对业务来说不仅增加了业务系统的开发复杂性,也增加业务运行风险。我们知道数据库发生异常时,我们无法判断正在执行的事务是否提交完成。为了解决连接中断和事务自动回滚的问题,华为云GaussDB数据库提供了应用无损透明的高可用能力,通过这个能力我们实现了连接保持和事务断点继续(从事务中断的地方继续执行)的功能。GaussDB应用无损透明支持在数据库内部自动判断事务边界,缓存当前事务执行的会话信息和数据信息,这些信息包括会话锁、用户变量等内容。在数据库恢复时,可以根据这些缓存的会话信息和事务信息,以及服务端的日志一起自动构建恢复出一个一致性的快照点,我们可以通过这个一致性快照点恢复出数据库发生主备切换那一刻所有的应用会话,恢复主备切换那一刻未提交的事务状态,当会话和事务状态都被恢复之后,我们可以从事务的一致性点上继续往下执行事务。从业务视角来看,如果使用应用无损透明功能,整个数据库在发生主备切换期间,应用程序只是感知到事务执行稍微变慢了,不会感知到事务执行中断,也不需要进行重建连接,更不需要进行事务的重试,简化了业务程序的开发复杂性,降低了风险。二、GaussDB应用无损透明的架构我们看一下GaussDB数据库的应用无损透明架构。刚才提到两个特性,一个是连接保持,一个是事务的断点继续,针对连接保持,业界常用的解决方案是,在应用程序和数据库之间部署一个中间件,中间件对数据库和应用程序的连接起到转发作用,当数据库服务端发生主备切换,断开了数据库和中间件之间的连接,应用程序和中间件之间的连接没有断,从表现上看好像解决了连接保持的功能,但我们知道中间件和数据库之间的连接还是发生了中断,连接断了之后会话级参数就丢失了。数据库进行主备切换,在备库升级为主库的时候,所有未提交的事务自动回滚掉了。中间件是独立的,它跟数据库没有任何关系,解决不了事务断点继续的问题,而且中间件不仅在调用链上多了一环,增加了高可用的复杂性和风险,还需要额外的部署、增加了资源消耗。GaussDB数据库没有使用中间件方式,而是直接把能力构建在驱动层。当数据库服务端主备切换或者发生故障时,驱动层不会把中断信息上报到应用程序,而是在自己内部进行连接保持,保持的时候缓存了一些会话数据和事务数据。当数据库服务端恢复之后,驱动会自动建立一个新的会话连接,利用缓存的会话数据,恢复原来连接上会话级的参数。会话级参数恢复之后,根据缓存的事务信息继续恢复原来未提交的事务状态,这样会话和事务状态都恢复之后,事务可以从它主备切换时的一致性快照点继续执行。刚才提到主库宕机备库升主之后,一般数据库会把未提交的事务回滚掉,针对这种未提交事务的回滚问题,GaussDB在启动应用无损透明功能之后,未提交的事务不能自动回滚,需要保持未提交事务的状态,等待新建的连接过来之后进行事务的恢复和桥接事务。这个地方我们引用了逻辑事务ID的功能,通过逻辑事务ID和真实的事务ID匹配,去判断事务的状态有效性。如果事务状态是有效的,就会把事务信息绑定到连接上,实现了数据库备库升主库之后未提交事务状态的恢复。当数据库发生主备切换的时候,连接发生中断,应用程序也不知道数据库发生了什么,也不知道数据库什么时候恢复,一般的策略会采用定时的重试,不停地去连接,查看数据库是否正常这种定时尝试机制存在两个问题:一个是,数据库服务正在恢复期间,不停的尝试会不断的报错,无效且多余的操作;二是,定时检测机制存在延时问题,当数据库服务恢复后,应用无法实时的感知服务恢复了。GaussDB 提供了一种实时消息通知服务(简称GNS),当数据库服务端状态发生任何变化的时候,可以及时的发送消息事件通知给应用程序,应用程序收到之后可以进行相应的动作。GaussDB消息通知服务是一种实时的主动推送的方式,时延更低,消耗资源更少。三、GaussDB应用无损透明的使用方式说到应用无损透明,其使用方式非常简单,只需要在应用程序向数据库建立连接时打开功能开关即可。例如以JDBC驱动为例,当应用程序想使用应用无损透明功能时,只需要在JDBC的URL中配置GaussDB消息通知服务(简称GNS)的IP地址和端口即可。这时会有一个情况,一个数据库集群有很多应用程序客户端,有的应用客户端想用应用无损透明功能,有的应用程序不用,打开或关闭应用无损透明功能这两种情况同时存在,那么当数据库发生主备切换时,使用应用无损透明功能的应用程序客户端,就会具备连接保持和事务断点继续的能力,这个时候的数据库主备切换操作对业务来说是无感知的。没有配置使用应用无损透明功能的应用程序客户端,当数据库发生主备切换或者异常时,可以立即感知到连接中断,数据库正在执行的事务会立即回滚掉。我们看到GNS是对等多活的,当客户端很多时,可以连接到不同的GNS,相当于负载均衡的功能,而不是像主备方式那样,把所有的资源压在一台物理机上。四、GaussDB应用无损透明的使用场景刚才介绍了一下架构原理和使用方法,下面介绍GaussDB数据库的应用无损透明使用场景,主要包括计划内主备切换、计划外主备切换、容灾切换等三个方面。计划内主备切换计划内主备切换一般都是数据库在进行例行的维护和升级中用到的,由运维管理员主动发起。在做计划内主备切换时,GaussDB会自动判断和等待达到一个安全的事务边界后,在驱动层缓存刚才说的会话数据和事务数据,把数据缓存完之后数据库再进行主备切换。安全的事务边界是指当前会话上的事务执行到某一个一致性点,可以分为两种情况,一是执行完事务后进行主备切换,即事务级排空,二是执行完一个SQL语句即可进行主备切换,即语句级排空,这个时候事务属于未提交状态,可以说语句级排空对业务影响更小一点。在整个数据库主备切换期间,GaussDB驱动进行连接保持,当数据库服务恢复了之后,先重建连接,再去恢复事务,事务恢复之后从事务一致性点继续执行。我们可以看到在正常的计划内主备切换的场景下,使用应用无损透明特性,对数据库来说是无感知的,而且这种主备切换会使用语句级排空。OLTP场景下,SQL语句执行时长都是毫秒级的,使用应用无损透明功能下的主备切换只是多增加了一个SQL语句执行时间的等待,也就是多等待一个毫秒级的时间,相对于原来几秒甚至几十秒的主备切换时间来说,多增加出来的毫秒级等待时间几乎是可以忽略不计的。计划外主备切换下面我们看一下计划外的场景。计划外可以说是灾难性的,突发的,它和计划内的主备切换场景的部分处理机制是有所不同的。针对计划外的主备切换,GaussDB数据库通过基于事务粒度来缓存整个事务里的语句和重放整个事务来实现。GaussDB自动以事务作为一致性边界,在事务执行过程中,驱动自动缓存执行过的事务SQL语句。数据库服务恢复后,GaussDB重新执行缓存的事务SQL语句,为了避免重复执行和提交事务,驱动重放时会首先根据逻辑事务ID来查询事务执行状态,如果事务已经提交了就不需要再执行。之所以采用事务粒度重放,而不是以语句粒度重放,是因为数据库的主库和备库之间的数据同步,是以事务为单位的,当事务在主库上被提交了,为了保证数据不丢失一定会把事务的wal日志实时同步到备库上,这是数据库的主备数据复制的一个通用基本的机制,已经完全能满足事务粒度重放的要求,而如果要使用语句粒度的重放,必然需要采用一些其他额外的手段措施,例如使用savepoint作为主备实时同步边界,用来阶段性保存进度等,和事务粒度重放相比,语句粒度重放使得方案更复杂,覆盖的场景更少,性能更差。容灾切换我们看一下容灾场景。异地容灾是两个城市相距几千公里,时延在几十毫秒,这么大的时延很难要求跨地区访问数据库,所以异地场景的容灾切换是数据库的容灾和业务程序容灾相互配合,同时切换的过程。目前容灾切换面临一个困境,因为这两个切换是互相独立的,数据库集群切换完了,而应用程序却没有切换完,端到端看数据库恢复了,但是业务没有恢复。为了解决端到端的问题,GaussDB提供了一个消息通知服务功能,即GNS。当数据库发生容灾切换时,比如说生产集群降为灾备集群时,会立即把消息发到应用,应用程序收到数据库集群降备的事件通知后,就可以立即进行主备切换;当数据库容灾集群升为主集群时,GNS会及时通知到应用程序,应用程序收到消息之后,就可以立即切流以恢复业务。这样一个相互配合的机制,可以解决端到端的RTO时长问题,不需要多余的等待,也不需要人为判断。除了异地容灾外,还有一种同城容灾部署场景,因为是同城,所以时延比较低,网络环境比较好,同城容灾这种场景下,可能只是数据库集群发生切换,而应用程序保持不变。这种场景如果我们使用GaussDB提供的应用无损透明机制,也就是通过连接保持和事务断点继续技术,在同城容灾切换时,在确保RPO=0不丢数据的情况下,还能保证数据库的容灾切换对应用程序也是透明的。今天我分享的内容就到这里,感谢大家。
-
近日,在第14届中国数据库技术大会(DTCC2023)的GaussDB“五高两易”核心技术,给世界一个更优选择专场,华为GaussDB首席安全架构师郭亮详细解读了GaussDB的高安全之密态等值技术。以下为演讲实录:各位嘉宾、各位老师下午好!我是GaussDB首席安全架构师郭亮,今天带来的分享是GaussDB高安全的关键特性,名字叫密态等值,是我们做的一个关于全密态的关键能力。数据成为生产要素,合规要求趋于严格大家应该都有切身的体会,近些年来数据的重要性越来越高,特别是国家已经把数据明确定义为了生产要素。生产要素是什么?就好像过去的石油,从工业革命时期开始,每一家工业企业几乎都要用到,是生产过程中必不可少的东西。现在,国家把数据定义为生产要素,意味着数据在各个领域也将要广泛的使用到。正因为这样,数据也上升成为了国家的“战略资源”。基于此,国家近些年发布了《中华人民共和国数据安全法》、《中华人民共和国个人信息保护法》等一系列法律,对数据安全的保护标准和使用规范越来越明确、越来越严格,这是我们切身体会到的一个大的趋势。数据库安全面临更大的威胁和挑战在这种新形势下,数据库的安全也面临很大的威胁。我们做了一个梳理,从里到外,数据库的安全问题一共有这几个方面。首先是数据安全传输,从网络层面容易受到攻击。大概20年前,安全人员在网络上部署一台嗅探器,就可以获取到许多的敏感信息。而之后陆续出现相关的标准和技术,经过一段时间的演进逐步成熟,演变成稳定的安全协议或安全架构,被广泛使用起来。例如HTTPS、TLS等,通过这种安全协议上的消解,我们发现,现在很难通过网络攻击,直接获取到敏感的东西。随后我们发现,SQL注入,以及网页跨站等问题开始越来越明显,数据展示层的攻击虽然和数据库不直接相关,而是从数据库把数据拿出来之后放到业务层,在业务层引入的风险,但这些风险也可以通过数据库提供的能力进行消减,因此也纳入数据库威胁范围内。同样也是随着技术的发展,一些稳定的安全框架、安全编码规范形成之后,这部分的风险逐渐消减了。再之后就是存储。各类安全规范里经常会提及到存储安全保护,因为我们知道数据一旦存在磁盘里,有可能永远都在磁盘里,直到磁盘销毁的那一天。如果里面存放了敏感数据,理论上每一天都有被偷走的可能,所以存储安全非常重要。关于这一点,相关的技术也在逐步成熟,像磁盘加密、透明加密等,而且各家机构企业也都非常重视对于物理硬件的保护,管理手段非常严格,所以磁盘被偷走的情况也很少出现。最近几年,我们经常看到各种各样的严重安全事件,主要在两个维度,一个是维护,一个是管理。维护就是后台操作系统的人员做一些数据库的维护操作,管理就是DBA通过数据库标准通道做一些管理操作。这也不一定是内部人员有问题,也有可能是这些内部人员的账号被泄露,近几年世界知名的一些大型数据安全事件,大部分是在这两个方面出了问题,都泄露了很多的数据,这是新形势下最大的安全威胁。GaussDB以数据为中心,构筑起3+1安全架构面对这些挑战,GaussDB构筑起了3+1的安全架构。这个架构的最外层,是基于智能化能力做一些风险、异常行为的感知,先感知有没有恶意攻击,阻挡一遍攻击。中层是访问控制能力,加上口令、身份认证等,进一步控制用户访问风险。里层是数据加密、脱敏,直接在数据上做文章,因而攻击者即使将外层全部攻破,拿走的也全部是密文状态下的数据。最后在这三层之外是审计,GaussDB做了很多细粒度的审计能力,还有防篡改。我们的审计日志是改不了的,即使篡改了也能看出来哪里被改了。所以,即使攻击者做了很多操作,把数据库也攻破了,但所有操作是跑不了的。而我今天分享的就是全密态里面的等值查询。GaussDB全密态等值查询,实现数据全流程保护全密态技术的原理很简单。比如在使用的时候输入一个SQL语句,加密驱动会找到哪个字段需要加密,然后用一个密钥把它自动加密,这样加密完后整个流程都是密文的,整个数据库跑的数据、以及跑完之后的结果都是密文数据,不论什么时候把数据拿走,拿走的也都是密文的,因为在整个数据库里面没有任何解密的过程。我们对查询回来的密文结果在客户端再进行解密,将明文数据返回给业务进行处理,从而能够做到无感知的使用和业务迁移。我们当前支持密态等值等查询,很快还会支持密态范围查询和模糊查询,都是基于密码学的算法。对于大规模数据,我们还可以基于密文数据进行索引和快速查询,并且支持JDBC、GO、Libpq等多种客户端驱动。客户端密钥管理,保障服务可信对加密来说,密钥是最关键的,所以全密态最主要的是密钥的分配。我们的全密态密钥是在客户端管理,一般属于业务管理人员负责,业务管理人员拿到密钥后把数据加密再交给数据库。逻辑很简单,我们在驱动层做了一个加密驱动,里面做了自动加解密和自动解析,能够自动识别哪个字段需要哪个密钥,再自动找到密钥、自动加密。这样只要业务不把密钥权限分配给到DBA和运维,他们就不能解密这部分数据,但是能够正常运维,如果有极特殊的情况需要看到明文敏感数据才能做管理运维,也可以把密钥赋权给相关人员。全流程加密,数据库内部全流程零解密第二层是加密,数据库里的整个流程是没有解密过程的,这是GaussDB实现的最主要的能力,包括传输、查询、存储等操作都有对应的方式,不需要解密再处理。但是,如果不单是在客户端需要数据导出,假如后端也需要直接导出数据,我们也可以在某些特殊场景下把密钥授权给下游做临时解密。这是加密方面的情况介绍。客户端轻量化解析,业务层加密透明无感知另外,如何做到透明无感知?大家应该知道解析器是数据库里的关键组件,我们在客户端里面做了一个轻量化解析器,对用户输入进去的SQL语句做自动的语法解析,找到哪个字段需要加密,而对于返回过来的语法也进行对应的解析。做完这个解析,客户端可以获取到需要加密的数据以及该数据在原始语句中的位置,然后重新构造一个新的SQL语句,数据库实际收到的就是加密之后的数据。经过客户端的自动语法解析,自动密钥管理和自动加密后,就可以继承标准的SQL语法,实现业务的透明无感知。对于业务迁移,也只需要修改一下建表语句,配置数据加密的表和加密字段即可,在实际增删改查过程中,所有操作语句都是与明文一样的。全密态等值和传统加密有什么区别?我做了一个总结。函数加密,是用户把密钥给到数据库,数据库在执行函数时做一个加密动作,是在数据库里加密。透明加密是数据库自己找一个密钥,在磁盘落盘时做加密,是磁盘做加密。全密态等值是客户找到密钥之后先把数据加密,再交给数据库,全生命周期都是密文的。应用案例自己生产的降落伞自己先跳,GaussDB的全密态能力已经在华为的MetaERP系统商用了。不久前,华为宣布实现自主创新的MetaERP研发,完成对旧ERP系统的替换,目前已覆盖了华为公司100%的业务场景和80%的业务量。ERP作为华为企业经营最核心的系统,伴随着华为20多年的快速发展,支撑了每年数千亿产值的业务以及全球170+国家业务高效经营。我们分析过一个业务,其中有270多个绝密字段,任何一个环节发生数据泄露都是重大事故。而之前的传统方案,是强制在应用层加密,加密完成后存到数据库,用数据的时候,先把数据查询出来之后做解密再使用,数据库做不了任何事情,这种方案加密时间长,性能损耗大,密钥需要自管,所以上了全密态。刚开始做自己的ERP系统的时候,数据库的容量、性能,特别是对批量数据的查询和处理,都是空前挑战。因为ERP业务实际是不看TPCC等基准测试指标的,他们只看实际业务场景的性能,比如批量插入、批量查询等,这给我们提供了一个良好的训练场,我们对批量处理性能等多种场景的实际应用都进行很大的优化,确保MetaERP在全密态下能满足业务对性能的要求。另外,ERP应用的时候有一个特点,交易查询完之后,下游还有一个分析库处理,我们有一个密钥授权能力,在业务负责人将密钥权限授权下游处理节点后,数据库就把密文数据解密后托管给下游处理,这样后台数据就可以不经过客户端,不同的应用只需要使用同一个KMS(密钥管理)就可以操作同一部分数据。另外,只要业务负责人不把密钥授权给其他任何人,就没有人能处理这个数据,包括管理和运维人员。最后是我们获得的一些成绩,GaussDB是国内首个通过国际CC EAL4+认证的数据库,也是国内首批通过信通院全密态数据库评测、国内首家通过信通院防篡改数据库评测的数据库产品。今天的分享就到这里,谢谢大家。
-
使用zookeeper客户端连接命令zkCli.sh -server 172.33.0.188:20029报以下错误:Connecting to 172.33.0.188:20029 Welcome to ZooKeeper! JLine support is enabled [zk: 172.33.0.188:20029(CONNECTING) 0] 2023-08-23 16:46:47,499 [myid:172.33.0.188:20029] - WARN [main-SendThread(172.33.0.188:20029):ClientCnxn$SendThread@1312] - Connection 0x0 for sever MN01/172.33.0.188:20029, Closing socket connection. Attempting reconnect except it is a SessionExpiredException. java.lang.OutOfMemoryError: Java heap space at java.nio.HeapByteBuffer.<init>(HeapByteBuffer.java:57) at java.nio.ByteBuffer.allocate(ByteBuffer.java:335) at org.apache.zookeeper.ClientCnxnSocket.readLength(ClientCnxnSocket.java:124) at org.apache.zookeeper.ClientCnxnSocketNIO.doIO(ClientCnxnSocketNIO.java:84) at org.apache.zookeeper.ClientCnxnSocketNIO.doTransport(ClientCnxnSocketNIO.java:352) at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:1301) 2023-08-23 16:46:48,694 [myid:172.33.0.188:20029] - WARN [main-SendThread(172.33.0.188:20029):ClientCnxn$SendThread@1312] - Connection 0x0 for sever MN01/172.33.0.188:20029, Closing socket connection. Attempting reconnect except it is a SessionExpiredException. java.lang.OutOfMemoryError: Java heap space at java.nio.HeapByteBuffer.<init>(HeapByteBuffer.java:57) at java.nio.ByteBuffer.allocate(ByteBuffer.java:335) at org.apache.zookeeper.ClientCnxnSocket.readLength(ClientCnxnSocket.java:124) at org.apache.zookeeper.ClientCnxnSocketNIO.doIO(ClientCnxnSocketNIO.java:84) at org.apache.zookeeper.ClientCnxnSocketNIO.doTransport(ClientCnxnSocketNIO.java:352) at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:1301) 2023-08-23 16:46:50,411 [myid:172.33.0.188:20029] - WARN [main-SendThread(172.33.0.188:20029):ClientCnxn$SendThread@1312] - Connection 0x0 for sever MN01/172.33.0.188:20029, Closing socket connection. Attempting reconnect except it is a SessionExpiredException.上面的错误看起来是内存溢出的错误,这个怎么解决?另外一个问题,我的产品文档里写着端口号是:20029,但是我在网页版里面写的是24002。这2个之间的差异有哪位大佬可以解决下,谢谢
-
安装hive客户端后,并且将环境变量进行了source,也使用admin用户进行了安全认证,klist也可以返回正常结果。为什么我使用beeline连接后,报以下错误。产品文档中并没有找见这个问题产生的原因和解决办法,如何处理,谢谢。看问题是admin用户没有hdfs相关目录的权限,我是否可以直接修改hdfs的权限,安全性如何保证?Error: Could not open client transport for any of the Server URI's in ZooKeeper: Failed to open new session: java.lang.RuntimeException: org.apache.hadoop.security.AccessControlException: Permission denied: user=admin, access=EXECUTE, inode="/tmp/hive-scratch":hive:hive:drwxrwx--- at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check(FSPermissionChecker.java:504) at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkTraverse(FSPermissionChecker.java:420) at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:323) at com.huawei.hadoop.adapter.hdfs.plugin.HWAccessControlEnforce.checkPermission(HWAccessControlEnforce.java:74) at org.apache.ranger.authorization.hadoop.RangerHdfsAuthorizer$RangerAccessControlEnforcer.checkDefaultEnforcer(RangerHdfsAuthorizer.java:687) at org.apache.ranger.authorization.hadoop.RangerHdfsAuthorizer$RangerAccessControlEnforcer.checkRangerPermission(RangerHdfsAuthorizer.java:399) at org.apache.ranger.authorization.hadoop.RangerHdfsAuthorizer$RangerAccessControlEnforcer.checkPermissionWithContext(RangerHdfsAuthorizer.java:236) at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:240) at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPermission(FSDirectory.java:2220) at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPermission(FSDirectory.java:2204) at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkAncestorAccess(FSDirectory.java:2163) at org.apache.hadoop.hdfs.server.namenode.FSDirMkdirOp.mkdirs(FSDirMkdirOp.java:60) at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirs(FSNamesystem.java:3653) at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.mkdirs(NameNodeRpcServer.java:1204) at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.mkdirs(ClientNamenodeProtocolServerSideTranslatorPB.java:780) at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java) at org.apache.hadoop.ipc.ProtobufRpcEngine2$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine2.java:602) at org.apache.hadoop.ipc.ProtobufRpcEngine2$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine2.java:570) at org.apache.hadoop.ipc.ProtobufRpcEngine2$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine2.java:554) at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:1093) at org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:1084) at org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:1007) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:422) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1890) at org.apache.hadoop.ipc.Server$Handler.run(Server.java:3037) (state=08S01,code=0)
上滑加载中
推荐直播
-
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家;李炎-华为云码道产品专家;彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战,从0到1打通消息通道;码道鸿蒙端云一体化实战,快速搭建员工签到系统。
回顾中 -
华为云开发者AI素养直播课·第五期2026/09/04 周五 16:00-18:00
林华鼎-华为云AI开发者运营负责人;蒋春阳-华为云AI开发者案例开发专家
本期直播内容: AI工具体验营 · 第5-8课连讲。Agent-Team 多智能体协作完成毕业设计实践
回顾中 -
华为云开发者AI素养ClassRoom·第六期2026/09/08 周二 19:00-20:00
樊渊-2026华为软件挑战赛冠军
高手来了:看软挑高手解析二维排样问题—从工业难题到算法突破
回顾中
热门标签