-
数据复制服务(Data Replication Service,简称DRS)支持将其他云MySQL数据库的数据迁移到本云云数据库MySQL。通过DRS提供的实时迁移任务,实现在数据库迁移过程中业务和数据库不停机,业务中断时间最小化。本节小课为您介绍将其他云MySQL迁移到RDS for MySQL实例。部署架构更多关于MySQL数据迁移须知请单击这里了解。一. 创建RDS for MySQL实例创建MySQL业务实例,选择已规划的业务实例所属VPC和安全组。1. 登录华为云控制台。2. 单击管理控制台左上角的,选择区域“华南-广州”。3. 单击左侧的服务列表图标,选择“数据库 > 云数据库 RDS”。4. 单击“购买数据库实例”。5. 配置实例名称和实例基本信息。 6. 选择实例规格。 7. 选择实例所属的VPC和安全组、配置数据库端口。 8. 配置实例密码。 9. 单击“立即购买”。10. 返回云数据库实例列表。当RDS实例运行状态为“正常”时,表示实例创建完成。二、其他云MySQL实例准备帐号权限要求当使用DRS将其他云MySQL数据库的数据迁移到本云云数据库MySQL实例时,帐号权限要求如下表所示,授权的具体操作请参考授权操作。迁移帐号权限迁移类型全量迁移全量+增量迁移源数据库(MySQL)SELECT、SHOW VIEW、EVENT。SELECT、SHOW VIEW、EVENT、LOCK TABLES、REPLICATION SLAVE、REPLICATION CLIENT。网络设置源数据库MySQL实例需要开放外网域名的访问。白名单设置其他云MySQL实例需要将目标端DRS迁移实例的弹性公网IP添加到其网络白名单中,目标端DRS迁移实例的弹性公网IP在创建完DRS迁移实例后可以获取到,确保源数据库可以与DRS实例互通,各厂商云数据库添加白名单的方法不同,请参考各厂商云数据库官方文档进行操作。三、创建DRS迁移任务1. 登录华为云控制台。2. 单击管理控制台左上角的,选择区域,即为目标实例所在的区域。3. 单击左侧的服务列表图标,选择“数据库 > 数据复制服务 DRS”。4. 单击“创建迁移任务”。5. 填写迁移任务参数。 配置迁移任务名称。 填写迁移数据并选择模板库。这里的目标库选择创建的RDS实例。 6. 单击“下一步”。 迁移实例创建中,大约需要5-10分钟。迁移实例创建完成后可获取弹性公网IP信息。 7. 配置源库信息和目标库数据库密码。 8. 单击“下一步”。9. 在“迁移设置”页面,设置流速模式、迁移用户和迁移对象。流速模式:不限速迁移对象:全部迁移10. 单击“下一步”,在“预检查”页面,进行迁移任务预校验,校验是否可进行任务迁移。查看检查结果,如有不通过的检查项,需要修复不通过项后,单击“重新校验”按钮重新进行迁移任务预校验。预检查完成后,且所有检查项结果均成功时,单击“下一步”。11. 参数对比。若您选择不进行参数对比,可跳过该步骤,单击页面右下角“下一步”按钮,继续执行后续操作。若您选择进行参数对比,对于常规参数,如果源库和目标库存在不一致的情况,建议将目标数据库的参数值通过“一键修改”按钮修改为和源库对应参数相同的值。12. 单击“提交任务”。 返回DRS实时迁移管理,查看迁移任务状态。 启动中状态一般需要几分钟,请耐心等待。 当状态变更为“已结束”,表示迁移任务完成。四、确认迁移结果确认迁移结果可参考如下两种方式:DRS会针对迁移对象、用户、数据等维度进行对比,从而给出迁移结果,详情参见在DRS管理控制台查看迁移结果。直接登录数据库查看库、表、数据是否迁移完成。手工确认数据迁移情况,详情参见在RDS管理控制台查看迁移结果。在DRS管理控制台查看迁移结果1. 登录华为云控制台。2. 单击管理控制台左上角的,选择目标区域。3. 单击左侧的服务列表图标,选择“数据库 > 数据复制服务 DRS”。4. 单击DRS实例名称。5. 单击“迁移对比”,选择“对象级对比”,单击“开始对比”,校验数据库对象是否缺失。6. 选择“数据级对比”,单击“创建对比任务”,查看迁移的数据库和表内容是否一致。7. 选择“用户对比”,查看迁移的源库和目标库的账号和权限是否一致。在RDS管理控制台查看迁移结果1. 登录华为云控制台。2. 单击管理控制台左上角的,选择目标区域。3. 单击左侧的服务列表图标,选择“数据库 > 云数据库 RDS”。4. 单击迁移的目标实例的操作列的“更多 > 登录”。 5. 在弹出的对话框中输入密码单击“测试连接”检查。6. 连接成功后单击“登录”。7. 输入实例密码,登录RDS实例。8. 查看并确认目标库名和表名等。确认相关数据是否迁移完成。
-
数据复制服务DRS支持将本地MySQL数据库的数据迁移至RDS for MySQL。通过DRS提供的实时迁移任务,实现在数据库迁移过程中业务和数据库不停机,业务中断时间最小化。本节小课为您介绍将自建MySQL迁移到RDS for MySQL的过程。部署架构本示例中,数据库源端为ECS自建MySQL,目的端为RDS实例,同时假设ECS和RDS实例在同一个VPC中。更多关于MySQL数据迁移须知请单击这里了解。一. 创建ECS(MySQL服务器)并安装MySQL社区版购买并登录弹性云服务器,用于安装MySQL社区版。1. 登录华为云控制台。2. 单击管理控制台左上角的,选择区域“华东-上海一”。3. 单击左侧的服务列表图标,选择“计算 > 弹性云服务器 ECS”。4. 单击“购买云服务器”。5. 配置弹性云服务器参数,填选信息后,单击“立即购买”。 选择镜像和磁盘规格。 6. 在创建的ECS上单击“远程登录”。选择“CloudShell登录”。7. 输入root用户密码,完成登录。8. 执行如下命令,创建mysql文件夹。 mkdir /mysql9. 执行如下命令,查看数据盘信息。 fdisk -l10. 执行如下命令,初始化数据盘。 mkfs.ext4 /dev/vdb11. 执行如下命令,挂载磁盘。 mount /dev/vdb /mysql12. 执行如下命令,查看磁盘是否挂在成功。 df -h 当回显出现 /dev/vdb的数据时,表示挂载成功。13. 依次执行如下命令,创建文件夹并切换至install文件夹。 mkdir -p /mysql/install/data mkdir -p /mysql/install/tmp mkdir -p /mysql/install/file mkdir -p /mysql/install/log cd /mysql/install14. 下载依赖包并上传到/mysql/install/file命令。15. 下载并安装社区版MySQL。二. 创建ECS并安装MySQL客户端1. 创建MySQL客户端的弹性云服务器。确保和MySQL服务器所在ECS配置成相同Region、相同可用区、相同VPC、相同安全组。不用购买数据盘。云服务器名配置为:ecs-client。其他参数同MySQL服务器的ECS配置。2. 下载并安装MySQL客户,请参考安装MySQL客户端。三. 创建RDS实例本章节介绍创建RDS实例,该实例选择和自建MySQL服务器相同的VPC和安全组。1. 登录华为云控制台。2. 单击管理控制台左上角的,选择区域“华东-上海一”。3. 单击左侧的服务列表图标,选择“数据库 > 云数据库 RDS”。4. 填选信息后,单击“购买数据库实例”。 选择实例规格。 选择实例所属的VPC和安全组、配置数据库端口。 配置实例密码。 四. 创建DRS迁移任务介绍自建MySQL服务器上的loadtest数据库迁移到RDS MySQL实例的详细操作过程。1. 登录华为云控制台。2. 单击管理控制台左上角的,选择区域“华东-上海一”。3. 单击左侧的服务列表图标,选择“数据库 > 数据复制服务 DRS”。4. 单击“创建迁移任务”。5. 填写迁移任务参数,直到任务创建完成。 配置迁移任务名称。 填写迁移数据并选择模板库。这里的目标库选择创建的RDS实例。 6. 配置源库信息和目标库数据库密码。 7. 单击“下一步”,直到迁移任务提交成功,数据迁移完成。
-
1. 什么是数据复制服务数据复制服务(Data Replication Service,简称DRS)是一种易用、稳定、高效、用于数据库实时迁移和数据库实时同步的云服务。数据复制服务围绕云数据库,降低了数据库之间数据流通的复杂性,有效地帮助您减少数据传输的成本。您可通过数据复制服务快速解决多场景下,数据库之间的数据流通问题,以满足数据传输业务需求。 2. 实时迁移实时迁移是指在数据复制服务器能够同时连通源数据库和目标数据库的情况下,只需要配置迁移的源、目标数据库实例及迁移对象即可自动完成整个数据迁移过程。实时迁移支持多种网络迁移方式,如:公网网络、VPC网络、VPN网络和专线网络。特点:通过增量迁移技术,能够最大限度允许迁移过程中业务继续对外提供使用,有效的将业务系统中断时间和业务影响最小化,实现数据库平滑迁移上云,支持全部数据库对象的迁移。图1 实时迁移3. 实时同步实时同步是指在不同的系统之间,将数据通过同步技术从一个数据源拷贝到其他数据库,并保持一致,实现关键业务的数据实时流动。特点:满足多种灵活性的需求,例如多对一、一对多,动态增减同步表,不同表名之间同步数据等。图2 多对一实时同步4. 实时迁移与实时同步有什么不同4.1 适用场景不同实时迁移支持通过多种网络,实现跨云平台数据库迁移、云下数据库迁移上云或云上跨Region的数据库迁移等多种业务场景。实时同步维持不同业务系统之间数据的持续流动,常见的场景是:实时分析、报表系统、数仓环境。4.2 支持的对象不同实时迁移以整体数据库搬迁为目的,支持全部的数据库对象,包括:表、数据、索引、视图、存储过程、函数、数据库账号、数据库参数等。实时同步则聚焦于表和数据,并满足多种灵活性的需求,例如多对一、一对多,动态增减同步表,不同表名之间同步数据等。以MySQL->RDS for MySQL实时迁移和实时同步选择对象为例,如图:图3 实时迁移图4 实时同步具体的任务创建步骤,还可参考华为云官网资料:实时迁移https://support.huaweicloud.com/realtimemig-drs/drs_08_0089.html实时同步https://support.huaweicloud.com/realtimesyn-drs/drs_05_0005.html4.3 功能特性不同对比项实时迁移实时同步支持数据库引擎支持多种数据库之间的数据迁移,不同数据库的支持详情请参考实时迁移。支持多种数据库类型的实时同步,且支持多个源数据库到同一个目标数据库之间的实时同步,详情请参考实时同步。功能特性实时迁移提供修改流速模式、快捷对比、异常诊断、续传、重试、暂停、重置等多种特性,详情请参考任务管理。实时同步除了提供异常诊断、续传、重试、暂停、重置等特性,还支持数据过滤和对象名映射,详情请参考任务管理。使用限制详情请参考各链路使用须知。详情请参考各链路使用须知。 更多具体内容,请移步这里,了解详情。
-
众所周知,数据复制服务(Data Replication Service,简称DRS)是一种易用、稳定、高效、用于数据库在线迁移和数据库实时同步的云服务。目前,DRS已支持其他云、本地IDC、ECS自建MySQL、SQL Server、MongoDB(数据库种类)、PostgreSQL等多种数据库引擎,支持通过公网网络、华为VPN、华为云VPC网络环境下等多种网络场景的数据实时迁移和实时同步。同时,DRS还提供了丰富的数据辅助功能,今天,我们就来聊聊在您进行数据同步过程中的“小助手”---数据过滤。首先,我们来了解一下数据过滤特性的业务场景----数据同步。 1 数据同步介绍功能介绍数据同步是DRS的重要功能之一。即在不同的系统之间,将数据通过同步技术从一个数据源拷贝到其他数据库,并保持一致,实现关键业务的数据实时流动。常用场景实时分析,报表系统,数仓环境。功能特点数据同步功能聚焦于表和数据,并满足多种灵活性的需求,例如多对一(如下图所示)、一对多,动态增减同步表,不同表名之间同步数据等。对于数据同步有了初步的了解之后,我们可以知道,数据同步不同于迁移,迁移是以整体数据库搬迁为目的,而数据同步是维持不同业务之间的数据持续性流动。那么,在数据的定期同步、拆分汇总数据表等多种应用场景中,我们时常想要实时获取各个表中的某一部分数据来做汇总分析,这个时候,如果能够设定一些同步的规则,来帮助我们更准确、更高效的同步数据,就变得尤为重要。DRS的数据过滤特性,就是解决这种场景的必备“良药”,通过对同步的对象进行加工,为选择的对象添加规则,方便您自己设定想要同步的数据条件。下面,我们就来了解一下今天的主角----数据过滤。2 数据过滤原理基于以数据一致性为首要目标的原则,我们通过一个例子,来看看数据过滤规则添加后,在源库执行更新操作会遇到的几种场景:假设,源库中的id为1、2、3、5、6。我们设置数据过滤条件为id between 1 and 5,那么数据同步后目标库的id为1、2、3、5。如下图所示:首先,我们来看几种常见的更新场景:■ 如果在源库中插入id=1.5,此id符合过滤条件(id between 1 and 5),则目标库会执行相同的更新操作。如下图所示:■ 如果在源库中删除id=2,此id符合过滤条件(id between 1 and 5),则目标库会执行相同的删除动作。如下图所示:■ 如果在源库中将id=3更新为id=3.5,更新后的id仍符合过滤条件(id between 1 and 5),则目标库会执行相同的更新操作。如下图所示:以上,是我们在进行数据同步时,常常遇到的几种场景。当然,有时我们也会遇到如下几种较为特殊的更新场景:■ 如果我们执行更新操作,将源库中的id=2更新为id=7,即更新前源库中的id=2符合过滤条件(id between 1 and 5),更新后id=7不符合过滤条件,继续同步时,目标库会执行相同的更新操作,同步后目标库的id为1、3、5、7。如下图所示: ■ 如果我们执行更新操作,将源库的id=6更新为id=4,即更新前源库中的id=6不符合过滤条件(id between 1 and 5),更新后id=4符合过滤条件,继续同步时,目标库执行相同的更新操作,但是此时目标库并没有id=6,无法匹配数据。这时,我们会根据当前同步任务选定的冲突处理策略来处理: ● 冲突处理策略为“覆盖”,则id=4变成新数据在目标数据库插入,源库和目标库的结果仍然一致。如下图所示: ● 冲突处理策略为“忽略”,则会忽略该更新动作,即源库有id=4,而目标库没有,这种情况目标库数据将少于源库。如下图所示: ● 冲突处理策略为“报错”,则任务将会失败并立即中止。操作步骤1. 登录管理控制台。2. 单击管理控制台左上角的 ,选择区域和项目。 数据复制服务目前也支持通过使用专属计算集群服务购买的物理机资源,创建所需的实例,实现数据迁移和数据同步。您可以选择自己的专属计算集群。3. 在“所有服务”或“服务列表”中,选择“数据库 > 数据复制服务”,进入数据复制服务信息页面。4. 在“数据同步管理”页面,单击“创建同步任务”。5. 在“场景选择”页面,分别选择“源数据库来源”和“目标数据库来源”后,单击“下一步”进入“同步实例”页面。6. 在“同步实例”页面,填选任务名称、通知收件人信息、描述、同步实例信息,单击“下一步”。7. 同步实例创建成功后,在“源库及目标库”页面,填选源库信息和目标库信息后,单击“源库和目标库”处的“测试连接”,分别测试并确定与源库和目标库连通后,勾选协议,单击“下一步”。 8. 在“设置同步”页面,选择数据冲突策略和同步对象,单击“下一步”。 图1 同步模式 表1 同步模式和对象参数描述冲突策略数据复制服务提供的数据同步功能使用了主键或唯一键冲突策略,这些策略可以由您自主选择,尽可能保证源数据库中有主键约束或唯一键约束的表同步到目标数据库是符合预期的。冲突策略目前支持如下三种形式:● 忽略当同步数据与目标数据库已有数据冲突时(主键/唯一键存在重复等),将跳过冲突数据,继续进行后续同步。● 报错当同步数据与目标数据库已有数据冲突时(主键/唯一键存在重复等),同步任务将失败并立即中止。● 覆盖当同步数据与目标数据库已有数据冲突时(主键/唯一键存在重复等),将覆盖原来的冲突数据。说明目前仅MySQL->RDS for MySQL的同步场景支持设置“覆盖”冲突策略。当数据发生冲突时,针对如下情况,建议选择“忽略”或者“覆盖”,否则建议选择“报错”:● 目标数据库存在数据● 多对一同步场景● 目标数据库手动更新数据是否过滤DROP DATABASE数据同步过程中,源数据库端执行的DDL操作在一定程度上会影响数据的同步能力,为了降低同步数据的风险,数据复制服务提供了过滤DDL操作的功能。目前支持默认过滤删除数据库的操作。● 是,表示数据同步过程中不会同步用户在源数据库端执行的删除数据库的操作。 否,则表示数据同步过程中将相关操作同步到目标库。说明目前仅MySQL->MySQL的数据同步场景支持过滤DDL操作。对象同步范围对象同步范围支持索引同步,您可以根据业务需求选择是否进行索引同步。同步对象同步对象支持库级和表级同步,您可以根据业务场景选择对应的数据进行同步。如果有切换源数据库的操作,请在选择同步对象前单击右上角的,以确保待选择的对象为最新源数据库对象。数据同步功能可以支持源数据库和目标数据库中的同步对象(包括数据库、schema、表)的名称不同。如果同步的数据库对象在源数据库和目标数据库中的命名不同,那么可以使用数据复制服务提供的对象名映射功能进行映射。其中包括:库映射、schema映射、表映射。 9. 在“数据加工”页面,“加工类型”选择“数据过滤” 图2 数据加工10. 在“对象选择”区域选择需要加工的表对象。11. 在过滤条件区域,填写过滤条件(只需填写SQL语句的WHERE之后部分,例如id=1)后,单击“校验”。● 每张表仅支持添加一个校验规则。● Oracle为源库的数据过滤每次最多支持20000张表,MySQL为源库的数据过滤每次最多支持10000张表。● 过滤条件不支持使用某种数据库引擎特有的packege、函数、变量、常量等写法,须使用通用SQL标准。12. 校验通过后,单击“生成加工规则”,即可在加工规则表格中看到该规则。13. 检查无误后,单击“下一步”,进入下一步操作。----结束DRS的数据同步功能除了提供数据过滤的贴心特性之外,还提供了对象名映射、异常诊断、续传、重试、暂停、重置等多种特性,给您的数据同步场景提供保障,解决您的后顾之忧,欲了解详情请戳这里。DRS提供在线迁移、备份迁移、数据同步、数据订阅和多活灾备等多种功能,以各自独有的特点适用不同的数据流通场景,为您提供安心且省心的数据复制体验。欲了解详情请戳这里。
-
伴随着信息技术的高速发展,数据和信息在现代企业中扮演着越来越重要的角色,信息数据的丢失和损坏将对企业造成难以估量的损失。如何抵御大规模的灾难事件受到人们越来越多的关注,现阶段而言,容灾是较好的解决方案。关键数据的备份与恢复操作已经成为系统日常运行维护的一个重要组成部分。华为云云数据库服务的双AZ高可用实例,可以满足同城级别的灾备。数据复制服务提供的多活灾备功能具有跨区域、跨云灾备的能力,分为单主灾备和双主灾备。单主灾备单主灾备即使用一主一备的架构,当灾难发生时原灾备数据库作为业务数据库保证业务正常运行。DRS的主备倒换功能可以实现主备切换,主备倒换前,业务正常运行在业务数据库,并且将数据实时同步至灾备数据库。此时,灾备数据库不可写入数据。主备倒换后,原灾备数据库为可读写状态,可将业务切换到原灾备数据库运行,原业务数据库不可写 。双主灾备双主灾备多用于灾备双方互为主备,共同承担业务流量的场景。其角色分为主1、主2,使用之前需要首先确立本云(本区)RDS的角色,才可以更好的完成多活灾备的搭建。完整的双主灾备是由正、反两条链路构成的,其创建顺序有着严格的要求。开始时,主1为可读写状态、主2为只读状态,正向灾备将初始化数据全量同步到主2后,方可启动反向灾备。此时,主1、主2均为可读写状态,正/反向灾备分别向主2、主1持续同步增量数据。特点及使用约束· 重要! 双主灾备是对环境要求比较高的架构,实施部署双主灾备前请务必阅读约束和设计思考。· 双主灾备的搭建过程对步骤是有严格要求的,请按照以下步骤进行部署,以确保双主任务顺利部署。创建正向灾备任务,具体操作步骤请参见创建灾备任务。创建完成后,会生成两个子任务,即正向灾备和反向灾备任务,此时反向灾备任务为配置状态。当正向灾备任务进入“灾备中”状态时(反向任务操作列出现编辑),配置并启动反向任务。 在“多活灾备管理”页面,选择该灾备任务的反向任务,单击操作列的编辑,进入“创建灾备任务”页面,继续完成创建反向任务。建议您在主2进行验证,满足预期后,启动反向任务。更多内容,猛戳>>>
-
数据复制服务(Data Replication Service,简称DRS)是一种易用、稳定、高效、用于数据库在线迁移和数据库实时同步的云服务。数据复制服务提供了在线迁移、备份迁移、数据同步、数据订阅和多活灾备等多种功能。数据复制服务支持哪些对象名映射数据复制服务的数据同步功能支持源数据库和目标数据库中同步对象的名称不同,即源库中的对象A同步到目标库,成为目标库中的对象B。可以使用对象名映射功能实现该目的,支持库映射、表映射和schema映射。持对象映射的同步场景映射类型支持同步场景库映射MySQL->MySQL同步MySQL->PostgreSQL同步表映射MySQL->PostgreSQL同步Schema映射MySQL->PostgreSQL同步操作步骤库映射1. 在“设定同步”页面,同步对象右侧已选对象框中,选择需要进行映射的数据库,单击“编辑”按钮。图1 库映射2. 修改库名。在“编辑库名”的弹出框中,填写新的数据库名,修改后的名称即为保存在目标数据库中的库名。图2 修改库名3. 查看修改结果。库名修改成功后,您会看到修改前的库名和修改后的新数据库名,至此,表示完成库映射的配置。图3 查看库名修改结果schema映射schema指数据库对象的集合,这个集合包含了各种对象如:表、视图、存储过程、索引等。1. 在“设定同步”页面,同步对象右侧已选对象框中,选择需要进行映射的schema,单击“编辑”按钮。图4 schema映射2. 修改schema名。在“编辑schema名”的弹出框中,填写新的schema名,修改后的名称即为保存在目标数据库中的schema名。图5 修改schema名3. 查看修改结果。schema名修改成功后,您会看到修改前的schema名和修改后的新schema名,至此,表示完成schema映射的配置。图6 查看schema修改结果表映射1. 在“设定同步”页面,同步对象右侧已选对象框中,选择需要进行映射的表,单击“编辑”按钮。图7 表映射2. 修改表名。在“编辑表名”的弹出框中,填写新的表名,修改后的名称即为保存在目标数据库中的表名。图8 修改表名3. 查看修改结果。表名修改成功后,您会看到修改前的表名和修改后的新表名,至此,表示完成表映射的配置。图9 查看表名修改结果 了解更多,请戳我...
-
数据复制服务(DRS)是一种易用、稳定、高效、用于数据同步的云服务,本节小课为您介绍,如何通过DRS将其他云 MySQL实例的数据迁移到华为云GaussDB(for MySQL)。使用场景DRS实时迁移可自动化迁存量数据并持续同步增量数据,保证源和目标数据近实时一致,可自由选择业务割接窗口实现平滑无感搬家,可迁表、视图、存储过程、触发器、用户权限、参数等特性。本实践中的选择均为测试简化基本操作,仅做参考,实际情况请用户按业务场景选择,更多关于DRS的使用场景请单击这里了解。部署架构本示例中,DRS源数据库为其他云MySQL,目标端为华为云云数据库GaussDB(for MySQL),通过公网网络,将源数据库迁移到目标端。创建GaussDB(for MySQL)实例1. 登录华为云控制台。2. 单击管理控制台左上角的,选择区域“华南-广州”。3. 单击左侧的服务列表图标,选择“数据库 > 云数据库 GaussDB”。4. 选择GaussDB(for MySQL),单击“购买数据库实例”。5. 配置实例名称和实例基本信息。6. 选择实例规格。7. 选择实例所属的VPC和安全组、配置数据库端口。VPC和安全组已在创建VPC和安全组中准备好。8. 配置实例密码。9. 单击“立即购买”。10. 返回云数据库GaussDB实例列表。当GaussDB(for MySQL)实例运行状态为“正常”时,表示实例创建完成。其他云MySQL实例准备前提条件已购买其他云数据库MySQL实例。帐号权限符合要求,具体见帐号权限要求。帐号权限要求当使用DRS将其他云MySQL数据库的数据迁移到华为云云数据库GaussDB(for MySQL)实例时,在不同迁移类型的情况下,对源数据库的帐号权限要求如下:迁移类型全量迁移全量+增量迁移源数据库(MySQL)SELECT、SHOW VIEW、EVENT。SELECT、SHOW VIEW、EVENT、LOCK TABLES、REPLICATION SLAVE、REPLICATION CLIENT。MySQL的相关授权操作可参考操作指导。网络设置源数据库MySQL实例需要开放外网域名的访问。各厂商云数据库对应方法不同,请参考各厂商云数据库官方文档进行操作。以阿里云RDS MySQL为例,需要通过申请外网地址来允许外部的应用对接,具体的操作及注意事项可以参考其官方文档进行操作他云提供的相关指导。创建DRS迁移任务本章节介绍如何创建DRS实例,将其他云MySQL上的数据库迁移到华为云GaussDB(for MySQL)。迁移前检查在创建任务前,需要针对迁移条件进行手工自检,以确保您的同步任务更加顺畅。本示例为MySQL到GaussDB(for MySQL)入云迁移,您可以参考入云迁移使用须知获取相关信息。创建迁移任务1. 登录华为云控制台。2. 单击管理控制台左上角的,选择区域,本示例中为“华北-北京四”。3. 单击左侧的服务列表图标,选择“数据库 > 数据复制服务 DRS”。4. 单击“创建迁移任务”。5. 填写迁移任务参数:配置迁移任务名称。填写迁移数据并选择模板库。这里的目标库选择创建GaussDB(for MySQL)实例所创建的GaussDB(for MySQL)实例。6. 单击“下一步”。迁移实例创建中,大约需要5-10分钟。7. 配置源库网络白名单。源数据库MySQL实例需要将DRS迁移实例的弹性公网IP添加到其网络白名单中,确保源数据库可以与DRS实例互通。各厂商云数据库添加白名单的方法不同,请参考各厂商云数据库官方文档进行操作。以阿里云RDS MySQL为例,具体设置网络白名单的操作及注意事项可以参考相关指导。8. 配置源库信息和目标库数据库密码。配置源库信息,单击“测试连接”。当界面显示“测试成功”时表示连接成功。配置源库信息,单击“测试连接”。当界面显示“测试成功”时表示连接成功。9. 单击“下一步”。10. 在“迁移设置”页面,设置迁移用户和迁移对象。迁移用户:否迁移对象:全部迁移11. 单击“下一步”,在“预检查”页面,进行迁移任务预校验,校验是否可进行任务迁移。查看检查结果,如有不通过的检查项,需要修复不通过项后,单击“重新校验”按钮重新进行迁移任务预校验。预检查完成后,且所有检查项结果均成功时,单击“下一步”。12. 单击“提交任务”。返回DRS实时迁移管理,查看迁移任务状态。启动中状态一般需要几分钟,请耐心等待。当状态变更为“已结束”,表示迁移任务完成。说明:目前MySQL到GaussDB(for MySQL)迁移支持全量、全量+增量两种模式。如果创建的任务为全量迁移,任务启动后先进行全量数据迁移,数据迁移完成后任务自动结束。如果创建的任务为全量+增量迁移,任务启动后先进入全量迁移,全量数据迁移完成后进入增量迁移状态。增量迁移会持续性迁移增量数据,不会自动结束。确认迁移结果确认迁移结果可参考如下两种方式:DRS会针对迁移对象、用户、数据等维度进行对比,从而给出迁移结果,详情参见在DRS管理控制台查看迁移结果。直接登录数据库查看库、表、数据是否迁移完成。手工确认数据迁移情况,详情参见在GaussDB管理控制台查看迁移结果。在DRS管理控制台查看迁移结果1. 登录华为云控制台。2. 单击管理控制台左上角的,选择目标区域。3. 单击左侧的服务列表图标,选择“数据库 > 数据复制服务 DRS”。4. 单击DRS实例名称。5. 单击“迁移对比”,选择“对象级对比”,查看数据库对象是否缺失。6. 选择“数据级对比”,查看迁移对象行数是否一致。7. 选择“用户对比”,查看迁移的源库和目标库的账号和权限是否一致。在GaussDB管理控制台查看迁移结果1. 登录华为云控制台。2. 单击管理控制台左上角的,选择目标区域。3. 单击左侧的服务列表图标,选择“数据库 > 云数据库 GaussDB”。4. 选择GaussDB(for MySQL),单击迁移的目标实例的操作列的“登录”。5. 在弹出的对话框中输入密码,单击“测试连接”检查。6. 连接成功后单击“登录”。7. 查看并确认目标库名和表名等。确认相关数据是否迁移完成。
-
数据复制服务(DRS)是一种易用、稳定、高效、用于数据同步的云服务,本节小课为您介绍,如何通过DRS将RDS for MySQL实例的增量数据同步到分布式消息服务Kafka。使用场景DRS实时同步功能一般用于建立数据同步通道,解决数据共享问题,也可以用于数据流式集成,具有数据转换能力,如库表映射,行列过滤等。本实践中的选择均为测试简化基本操作,仅做参考,实际情况请用户按业务场景选择,更多关于DRS的使用场景请单击这里了解。部署架构本示例中,DRS源数据库为华为云RDS for MySQL,目标端为华为云同Region下的分布式消息服务Kafka,通过VPC网络,将源数据库的增量数据同步到目标端。更多关于DRS的使用场景请单击这里了解。源端RDS for MySQL准备创建RDS for MySQL实例如何创建RDS for MySQL实例,请点击这里查看详细步骤。构造数据1. 登录华为云控制台。2. 单击管理控制台左上角的,选择区域“华南-广州”。3. 单击左侧的服务列表图标,选择“数据库 > 云数据库 RDS”。4. 选择RDS实例,单击实例后的“更多 > 登录”。5. 在弹出的对话框中单击“测试连接”检查。6. 连接成功后单击“登录”。7. 输入实例密码,登录RDS实例。8. 单击“新建数据库”,创建db_test测试库。9. 在db_test库中执行如下语句,创建对应的测试表table3_。CREATE TABLE `db_test`.`table3_` ( `Column1` INT(11) UNSIGNED NOT NULL, `Column2` TIME NULL, `Column3` CHAR NULL, PRIMARY KEY (`Column1`) ) ENGINE = InnoDB DEFAULT CHARACTER SET = utf8mb4 COLLATE = utf8mb4_general_ci;目标端Kafka准备创建Kafka实例1. 登录华为云控制台。2. 单击管理控制台左上角的,选择区域“华南-广州”。3. 单击左侧的服务列表图标,选择“应用中间件 > 分布式消息服务Kafka版”。4. 单击“购买Kafka实例”。5. 选择实例区域和可用区。6. 配置实例名称和实例规格等信息。7. 选择存储空间和容量阈值策略。8. 选择实例所属的VPC和安全组。VPC和安全组已在创建VPC和安全组中准备好。9. 配置实例密码。10. 单击“立即购买”。11. 返回实例列表。当Kafka实例运行状态为“运行中”时,表示实例创建完成。创建Topic1. 在“Kafka专享版”页面,单击Kafka实例的名称。2. 选择“Topic管理”页签,单击“创建Topic”。3. 在弹出的“创建Topic”的对话框中,填写Topic名称和配置信息,单击“确定”,完成创建Topic。创建DRS同步任务本章节介绍创建DRS实例,将RDS for MySQL上的数据库增量同步到Kafka。同步前检查在创建任务前,需要针对同步条件进行手工自检,以确保您的同步任务更加顺畅。本示例中,为RDS for MySQL到Kafka的出云同步,您可以参考出云同步使用须知获取相关信息。操作步骤介绍RDS for MySQL到Kafka增量同步任务的详细操作过程。1. 登录华为云控制台。2. 单击管理控制台左上角的,选择区域“华南-广州”。3. 单击左侧的服务列表图标,选择“数据库 > 数据复制服务 DRS”。4. 选择左侧“实时同步管理”,单击“创建同步任务”。5. 填写同步任务参数:配置同步任务名称。选择需要同步任务的源库、目标数据库以及网络信息。这里的目标库选择源端RDS for MySQL准备创建的RDS实例。企业项目选择“default”。 6. 单击“下一步”。同步实例创建中,大约需要5-10分钟。7. 配置源库信息和目标库数据库密码。配置源库信息。单击“测试连接”。当界面显示“测试成功”时表示连接成功。 选择目标库所在VPC和子网,填写Kafka的IP地址和端口。单击“测试连接”。当界面显示“测试成功”时表示连接成功。 8. 单击“下一步”。9. 选择同步信息、策略、消息格式和对象等,投递到Kafka的消息格式。本次选择如下。表1 同步设置类别设置同步Topic策略集中投递到一个Topic,Topic名称“testTopic”。同步到Kafka partition策略按表名+库名的hash值投递到不同Partition。投递到Kafka的数据格式可选择JSON格式,可参考Kafka消息格式。同步对象同步对象选择db_test下的table3_表。10.单击“下一步”。11. 选择数据加工方式。RDS for MySQL到Kafka数据同步目前只支持列加工,列加工提供列级的查询和过滤能力。12. 单击“下一步”,等待预检查结果。13. 当所有检查都是“通过”时,单击"下一步”。14. 确认同步任务信息正确后,单击“启动任务”。返回DRS实时同步管理,查看同步任务状态。启动中状态一般需要几分钟,请耐心等待。当状态变更为“增量同步”,表示同步任务已启动。说明:目前RDS for MySQL到Kafka仅支持增量同步,任务启动后为增量同步状态。如果创建的任务为全量同步,任务启动后进行全量数据同步,数据同步完成后任务自动结束。如果创建的任务为全量+增量同步,任务启动后先进入全量同步,全量数据同步完成后进入增量同步状态。增量同步会持续性同步增量数据,不会自动结束。确认同步任务执行结果由于本次实践为增量同步模式,DRS任务会将源库的产生的增量数据持续同步至目标库中,直到手动任务结束。下面我们通过在源库RDS for MySQL中插入数据,查看Kafka的接收到的数据来验证同步结果。操作步骤1. 登录华为云控制台。2. 单击管理控制台左上角的,选择区域“华南-广州”。3. 单击左侧的服务列表图标,选择“数据库 > 云数据库 RDS””。4. 单击RDS实例后的“更多 > 登录”。5. 在弹出的对话框中单击“测试连接”检查。6. 连接成功后单击“登录”。7. 输入实例密码,登录RDS实例。8. 在DRS同步对象的db_test.table3_表中,执行如下语句,插入数据。INSERT INTO `db_test`.`table3_` (`Column1`,`Column2`,`Column3`) VALUES(4,'00:00:44','ddd');9. 单击左侧的服务列表图标,选择“应用中间件 > 分布式消息服务Kafka版”。10. 在“Kafka专享版”页面,单击Kafka实例的名称。11. 选择“消息查询”页签,在Kafka对应的Topic中,查看接收到相应的JSON格式数据。12. 结束同步任务。根据业务情况,确认数据已全部同步至目标库,可以结束当前任务。单击“操作”列的“结束”。仔细阅读提示后,单击“是”,结束任务。
-
1 前言 数据库中高可用普遍使用的是Log Shipping方式,即将WAL日志采用streaming方式传输给备实例,备实例通过重放该日志得到主实例的数据。对于行存储方式使用Log Shipping方式效率较高,但是对于列式存储,通常都是批量导入,如果同样将数据记录到日志中,会使数据写两遍IO,难以发挥列存储优势,因此通常采用数据复制方式(即数据从主实例的内存中直接通过网络传输给备实例,然后备实例写盘)更为合理。在行存的批量导入中,使用数据复制不仅可以提升传输效率(直接从内存中读取数据,无需通过磁盘读取日志),还可提升备实例恢复效率(直接从内存中恢复,无需将日志先写盘,再读取恢复)。GaussDB for DWS的复制方式采用日志和数据混合方式,对于行存单条insert/update/delete,然后使用日志复制方式,对于行存批量导入(copy/insert into select from)默认采用数据复制方式;对于列存默认采用数据复制方式。下面主要介绍下GaussDB for DWS中数据复制的主要设计。2 数据复制总体设计 在GaussDB for DWS中,数据复制默认打开,分别在行存批量导入和列存导入时使用。整体设计如下图所示: 在数据导入过程中,每个业务线程Backend将收到的数据组成一个block(列存为一个CU)放到Datasend线程的数据队列(DataSenderQueue)里,Datasend线程将数据队列数据发送给Datareceive线程,Datareceive线程将接收的数据写入到数据队列(DataWriterQueue)中,Datarcvwrite线程从数据队列(DataWriterQueue)中取出数据按block分别写入到磁盘,实现主备复制高可用。 2.1 Dataqueue设计Dataqueue是一块共享内存,用于实现DataSenderQueue和DataWriterQueue,其算法核心是循环使用共享内存,如下图所示: 首先tail1,head2,tail2初始化为0,每个变量为两个uint32位,第一个uint32 queueid表示数据队列使用了第几次,第二个uint32 queue offset表示当前数据队列的offset。数据导入后,首先tail2向后递增,各个导入通过锁控制实现并发,Datasend发送数据后将head2向后移动,当tail2到达末尾时,新导入数据将移动tail1指针,当tail1与head2接近时,表明没有缓存空间了,因此需要等待Datasend发送数据后将head2向后移动腾出空间。整体算法是一个循环利用实例制,数据的offset是一个单调递增的过程,类似WAL日志的LSN。2.2.2 同步提交设计在GaussDB for DWS中,数据冗余使用的是同步提交,即数据写完两份后事务提交。WAL日志中通过比较LSN非常简单的实现了同步提交。类似WAL日志,数据复制由于Dataqueue中offset也是有序递增的,因此也很容易实现同步提交。其过程是Datarcvwrite将数据单元写入磁盘后,刷新写盘offset,Datareceive线程通过心跳信息将写盘offset发送给Datasend,各业务线程在事务提交前check本次导入最后一段数据备实例端已经写盘后即可提交。2.2.3 BCM与Catchup设计由于GaussDB for DWS设计之初考虑到RAID5数据冗余存储,因此上层只存储两副本,由于分布式环境下各个数据节点采用异步提交时可能会导致全局数据不一致,因此各个数据节点必须使用同步提交。那么系统中如果坏了一个任何一个数据节点的主实例或者备实例系统便不可进行写事务操作。然而在大型分布式系统中这是往往不能接受的,必须要支持单节点故障。GaussDB for DWS使用了缓存接收数据(从备)来实现同步提交下的单节点故障。那么就是备实例挂了后,数据将发往从备,等备实例修复后,备实例可以从主实例同步数据,如何区分哪些数据未同步便显得尤为重要。这里使用BCM(bit change map)文件来实现哪些block需要在追赶时发送给备实例,哪些不用发送。具体设计如下:当数据导入时,每个block对应BCM页面中两个bit(第一个bit用于标记是否同步,第二个保留),放入发送队列后将BCM页面中两个bit第一个标记为未同步,当数据已经写入到备实例端后,将对应block的BCM页面bit标记为已经同步。当备实例挂掉时,数据发送给从备后,BCM页面对应bit将不再清理未同步标记,任然为未同步。当备实例起来后,连接主实例,主实例启动catchup线程先获取从备上增量数据列表,然后扫描本地所有未同步数据发送给备实例,实现主备同步。2.2.4 数据复制与日志复制并发控制数据复制和日志复制是并发运行的,当数据复制正在写入数据时,日志复制无法恢复删除表与truncate表等操作,两者通过锁控制。同样当数据复制时要写入的database与表空间还未恢复时,同样需要等待日志复制恢复完成,这里通过循环检测等待实现。3 数据复制相比日志复制 当IO负载较高时,批量导入场景数据复制的性能优于日志复制30%左右,因此在大数据量入库时,使用数据复制性能更佳。然而对于行存来说触发数据复制时每次会获取新页面,因此对于insert into t1 values v1,v2,v3这种值较少的场景下会导致大量的空页面,不适用于数据复制,可以手动关闭数据复制开关。
-
【问题现象】 DRS同步到DWS上时,创建数据同步任务时,页面报错DRS.M00004:服务器错误;【原因分析】1、查看drs service日志: 页面打开F12-》》DRS界面点击下一步创建同步任务-》》network中找到报错的接口,点击打开后查看headers中的X-TRACE-ID-》》在drs后台进入这个目录 cd /opt/cloud/drs-service/logs/drs-service more drs-service.project.log | grep 加上刚才那个traceId; 得到报错日志,报connection refused,此时应该是与DWS接口对接问题2、登录API网关或DMK,查看DWS配置: DMK页面:点击任务管理—》》在里面找到DWS,查看API配置 dwsAddressMap中调用的URL是否有端口号【解决方案】 DWS接口调用时不需要端口号,如果调用的接口域名后有端口号,将配置中端口号删除
-
【直播回看】点击观看直播【直播简介】DRS是一款易用、稳定、高效,用于数据库在线迁移和数据库实时同步的云服务,它提供了以Oracle、MySQL、PostgreSQL、华为云RDS等多种数据库作为源端的数据迁移上云服务,其中GaussDB(for openGauss)作为华为云上的主力云数据库,DRS对其做了深度的开发支持,在迁移的功能和性能上具有很大优势,可以帮助客户简单、快捷、一键式的完成数据迁移。本次直播特邀华为云数据迁移DRS产品架构师南风老师,为大家讲解DRS数据迁移功能简介、实现原理及适用场景,快来学习吧!戳这里→参与活动
-
1月7日-9日,以“开源论道·数据驱动·共建数字化未来”为主题的第十一届PostgreSQL中国技术大会隆重举办。华为多位数据库专家出席并发表了重要演讲,分享了华为云数据库最新技术与实践,积极推动商业落地,使能企业智能升级。会上,华为云RDS for PostgreSQL荣获“数据库最具潜力产品奖”,华为流程IT DBA团队荣获“PostgreSQL中国最具价值团队奖”,华为数据库架构师陈华军和华为云数据库高级专家赵全明分别荣获“十周年卓越贡献特别奖”、“中国PostgreSQL最具价值专家MVP奖”。大会主会场,华为质量与流程IT数据库架构师陈华军分享了《华为集团IT PostgreSQL运用实践》主题演讲。他介绍到,流程IT作为服务华为公司19万员工的企业IT部门,支持华为公司全球业务、全球研发、全球协同,客户覆盖全球170多个国家、服务上亿消费者。为了应对日益增长的业务数据和海量并发问题,华为集团对交易库选择主要采用云数据库PostgreSQL去“O”,通过架构部署、参数调优、客户端配置、监控告警、性能诊断工具、闪回实现等能力,很好地解决了数据库兼容性、扩展性、数据一致性、性能等方面的问题。目前,华为集团IT去“O”和上云工作已完成一半。华为云数据库高级工程师刘志俊在分论坛分享了《Oracle迁移到PostgreSQL的挑战与突破》。他提到,近年来去“O”的呼声越来越大,大量的传统企业开始脱离“IOE”集中式架构,进行云端分布式改造。针对扩展性、技术不可控、高成本等去“O”难题,华为云GaussDB推出了数据库和应用迁移UGO+数据复制服务DRS专属组合解决方案,该方案从迁移评估、结构迁移、应用迁移、全量+增量数据迁移、数据一致性动态校验、流量回放等方面提供了一站式迁移上云方案,让客户上云更轻松、更高效。华为云数据库产品经理冯万里分享了《解锁华为云数据库PostgreSQL高速增长密码》。他表示,华为云数据库PostgreSQL连续3年保持5倍营收增长,持续为5000+客户创造了价值。取得这一重大成果的原因在于,华为云RDS for PostgreSQL具备卓越的高可靠、高安全、插件丰富、兼容开源、便捷上云、低成本等能力优势,并在国家地理信息服务平台天地图和中国一汽等企业中成功落地。华为云数据库高级工程师杨科伟在分论坛分享了《GaussDB(for Redis)的云原生存算分离架构实践》。他指出,存算分离的分布式架构是大势所趋,目前已经有越来越多企业选择将核心业务上云到该架构。华为云GaussDB(for Redis)基于该架构,完美避开了开源Redis的主从堆积、主从不一致、fork抖动、内存利用率只有50%等问题,构筑了强一致、高可用、冷热分离、弹性伸缩、高性能等极具竞争力的能力优势,极大促进了企业业务的发展。华为云数据库高级工程师党李飞分享了《华为云DDS数据库容灾关键技术》。他介绍到,华为云DDS是一款兼容MongoDB 3.4/4.0版本的文档数据库服务,目前支持分片集群、副本集和单节点三种部署架构。华为云DDS基于华为云数据复制服务DRS灾备技术,支持主备倒换,通过数据抓取和数据回放,保障数据一致性。通过优化原生Change Streams,华为云DDS支持更丰富的DDL语句,对于集合删除、数据库删除事件,日志拉取不中断,支撑近50000 ops,与社区版相比,性能得到大幅提升。技术不止步,服务更贴心,华为云数据库未来将会打造更优、更专业高效的数据库服务,赋能企业挖掘数据价值,推动业务革新,加速企业数字化转型。 错过直播不要怕,点击下面链接可直接回顾精彩:1月7日,华为数据库架构师陈华军演讲链接:https://live.csdn.net/room/postgresqlchina/1Ppndzfv?spm=1001.2014.3001.55011月8日,华为云数据库高级工程师刘志俊演讲链接:https://live.csdn.net/room/postgresqlchina/FS0reRwq?spm=1001.2014.3001.55011月9日,华为云数据库高级工程师杨科伟和党李飞、华为云数据库产品经理冯万里演讲链接:https://live.csdn.net/room/postgresqlchina/XB2Uc2AA?spm=1001.2014.3001.5501 【阅读原文】https://www.huaweicloud.com/product/dbs.html
-
回首2021,我们探索数字化实践和前沿技术之路,深入产业发展与生态合作,勇攀一个个高峰;展望2022,我们怀抱更大的数字梦想,继续探索数字时代星辰大海。前行之路感谢相伴,华为云GaussDB 与您一起筑梦前行。https://www.huaweicloud.com/product/dbs.html
-
数字化潮流浩浩汤汤,企业上云如火如荼,网约车行业也借助这一股东风展现出了蓬勃的生命力,因为它的高效便捷,吸引了越来越多的都市**验。T3出行是南京领行科技股份有限公司打造的智慧出行生态平台,公司以“科技引领 愉悦出行”为使命,致力于成为能够为用户提供“安全、便捷、品质”出行服务的科技创新型企业。随着业务扩张和用户数量的增加,T3出行原系统在支撑海量数据和提供出行服务方面渐渐力不从心。为满足业务发展,提供安全高效的出行服务,T3出行开始对出行产品进行迭代更新,而华为云也在这段升级之旅中发挥了巨大作用。那么这段升级之旅是否顺畅无阻呢?我们接着往下瞧。重压之下,快与稳的迁移之路?升级需要将现有系统的数据进行迁移,而T3出行涉及业务繁多,若因为迁移而停止提供服务,将会造成巨大的业务损失。因此,客户希望既尽量避免对业务的影响,同时迁移工作也能顺利进行,求快与求稳是其核心诉求。数据库种类多,迁移难度大。T3出行不同业务类型的数据分别存放在MySQL、MongoDB、PostgreSQL等数据库中,需要很好适配各种不同数据库,以减轻应用改造压力。时间紧任务重,要在30h内完成。各种类型的数据基数庞大,存在亿级的大表,单单关系数据就有数十TB,而且还存在实例只迁移表级数据的梳理,场景复杂。客户要求在30h内完成新老数据库之间的迁移,并要求数据做增量比对,保证数据一致性。业务不停机,系统持续平稳运行。在数据库迁移过程中,不能因为对源端数据库的查询,导致对应实例性能受到影响,进而影响业务;客户原先使用的开源c**频繁重启,导致业务受损,希望有高可靠、能提前告警等能力的服务替换c**。层层重压之下,华为云如何应对呢?逐一击破,华为云DRS利刃出击天下武功,唯快不破。华为云通过优化目标端数据写入能力,结合数据复制服务DRS的限流功能,快速适配c**能力,实现30小时内完成全量数据同步,并在原有基础上提供了更高可靠和提前告警的能力。容纳百川,高效迁移:华为云DRS支持其他云、本地IDC、ECS自建数据库等不同平台之间的迁移,目前共支持60+类不同的数据库链路,充分满足T3出行的不同数据库迁移需求。润物无声,平滑在线迁移:华为云DRS针对不同实例,通过优化参数、同步方式和架构,并结合其特有的限流能力,确保迁移期间源端业务正常平稳运行,成功在指定时间内完成全量数据同步。稳如磐石,业务持续可用:华为云通过RDS适配c**能力,结合DRS高可靠和自动化运维能力,大大提高数据订阅稳定性。通过这一系列操作,华为云DRS成功助力T3出行在规定时间内完成数十TB级全量数据的迁移,迁移过程业务无须停机,迁移前后数据强一致,实现业务的持续平稳运行。如果将数据迁移比作一段旅行,那么华为云DRS就是助你快速到达目的地的飞机。在这个万事都讲究效率的时代,华为云DRS用扎实领先的技术为客户的迁移之旅保驾护航,客户诉求所指,便是华为云DRS迁移之道。相信在华为云DRS的能力加持下,未来的数据库迁移之路会更畅通无阻。 【重磅活动推荐】12.12 华为云数据库专场火热来袭,云数据库MySQL 低至12.12元,爆款云数据库包年1折起,更多优惠详情,请前往华为云官网:https://activity.huaweicloud.com/dbs_Promotion/index.html
-
摘要:华为云&精英数智,用数据驱动服务,让煤矿开采更安全煤炭,被誉为黑色的金子,工业的食粮,是十八世纪以来人类世界使用的主要能源之一。尽管近年来越来越多新能源取代煤炭,但是煤炭在我国能源体系中还具有“压舱石”的作用,煤炭目前仍是我国非常重要的能源。强烈的需求背后,煤矿的安全开采问题也一直牵动着人们的心。作业人员的不安全行为、设备的不安全状态,以及环境的不安全因素等,成为导致矿难产生的主要原因。因此,优化煤矿安全生产过程是一件势在必行的工程。华为云和精英数智科技股份有限公司(简称:精英数智)一拍即合,联合打造了“煤矿大脑”解决方案,该方案通过覆盖矿山安全态势感知与信息共享体系化协同模型,设计、实施、评测一体化智能监控平台,视觉、语音、OCR多维度作业场景分析模型,层级职能部门联合执行异常事件联动与处置机制等四个部分,基于煤矿生产和安全痛点,为煤炭行业注入了最强的人工智能技术和完备的服务体系。其中,由华为云数据库支撑的系列智能监控平台为精英数智提供了高效、稳定、可靠的数据服务,通过统一采集数据源,为决策分析提供有力的数据凭证,助力“煤矿大脑”更智慧、反应更灵敏。守护煤矿安全生产,华为云数据库从不玩虚的改造前:千呼万唤始出来,一看页面还空白精英数智原监控系统架构局限于容量瓶颈,无法满足业务增长诉求,当出现故障或者进行应用改造时,面临较长时间监控数据缺失,业务连续性方面得不到有效保障。改造后:千里江陵一日还,实时监控心里安华为云基于分布式数据库中间件DDM,对精英数智系列监控系统和生产调度指挥系统进行分布式改造,通过分布式高扩展、分库分表、平滑无感迁移等方式,成功支撑上千+矿井实现实时监控,为煤矿安全生产提供连续安全监测服务。支撑1300+矿井监控,华为云数据库助力精英数智打造智能矿山为满足精英数智16TB数据量、1300+个矿井的目标,华为云分布式数据库中间件 DDM通过分布式扩展和分库分表提升监控系统的性能,同时利用华为云数据复制服务DRS实现平滑在线迁移,让监控实时高效,分秒守护煤矿安全生产。提供极致扩展能力,让监控更高效分布式高扩展:精英数智需要支撑1300个矿井,对数据库弹性扩容要求极高,华为云DDM采用分布式架构提供横向扩容能力,快速弹性伸缩以满足业务增长诉求,让监控更平稳高效。分库分表:精英数智监控数据体量约16TB,客户希望在满足基本性能的同时,数据库反应更灵敏高效。华为云DDM采用分库分表方案,提升查询性能,业务集中访问场景下,监控平台依旧稳定高效,有效减少生产波动,达到稳定生产。监控不掉线,分秒守护安全精英数智的管控系统涉及整个生产流程,涵盖各系统生产状态、设备运行状态、井下作业人员等诸多场景环节,如果某一环节受影响,将造成不可估量的损失,因此,对业务连续性要求很高。华为云数据库采用数据复制服务DRS,将RDS数据库在线迁移到华为云DDM架构中,整个过程业务无须停机,最大程度减少了业务中断带来的风险,实现平滑无感迁移,监控实时在线,数据零丢失。经过改造,精英数智系列监控系统在容量扩展方面,单套系统支撑矿井数量由600提升到1300个,业务支撑能力提升1.2倍;平台连续稳定,监控不中断,业务无感知;单实例数据量由2TB提升到16TB,满足海量数据存储,性能大幅提升。华为云数据库为1300+矿井提供安全监测,为煤矿行业安全生产提供了强有力的保障,最终实现整个产业的智能化升级。随着国家大力推进各行各业信息化、智能化,煤矿人工智能已被提到国家战略的高度,煤矿智能化已成为能源领域的重要发展方向,“煤矿大脑”为煤矿行业的智能化发展提供了重要支撑,而华为云数据库也在煤矿产业升级中注入自己的力量,未来的煤矿发展前景可期。 【重磅活动推荐】12.12 华为云数据库专场火热来袭,云数据库MySQL 低至12.12元,爆款云数据库包年1折起,更多优惠详情,请前往华为云官网:https://activity.huaweicloud.com/dbs_Promotion/index.html
上滑加载中
推荐直播
-
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家;李炎-华为云码道产品专家;彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战,从0到1打通消息通道;码道鸿蒙端云一体化实战,快速搭建员工签到系统。
回顾中 -
华为云开发者AI素养直播课·第五期2026/09/04 周五 16:00-18:00
林华鼎-华为云AI开发者运营负责人;蒋春阳-华为云AI开发者案例开发专家
本期直播内容: AI工具体验营 · 第5-8课连讲。Agent-Team 多智能体协作完成毕业设计实践
回顾中 -
华为云开发者AI素养ClassRoom·第六期2026/09/08 周二 19:00-20:00
樊渊-2026华为软件挑战赛冠军
高手来了:看软挑高手解析二维排样问题—从工业难题到算法突破
回顾中
热门标签