2022.6.7直播签到

在 Zookeeper 中，主要依赖 ZAB 协议来实现分布式数据一致性。ZAB 协议分为两部分：消息广播崩溃恢复消息广播Zookeeper 使用单一的主进程 Leader 来接收和处理客户端所有事务请求，并采用 ZAB 协议的原子广播协议，将事务请求以 Proposal 提议广播到所有 Follower 节点，当集群中有过半的Follower 服务器进行正确的 ACK 反馈，那么Leader就会再次向所有的 Follower 服务器发送commit 消息，将此次提案进行提交。这个过程可以简称为 2pc 事务提交，整个流程可以参考下图，注意 Observer 节点只负责同步 Leader 数据，不参与 2PC 数据同步过程。崩溃恢复在正常情况消息广播情况下能运行良好，但是一旦 Leader 服务器出现崩溃，或者由于网络原理导致 Leader 服务器失去了与过半 Follower 的通信，那么就会进入崩溃恢复模式，需要选举出一个新的 Leader 服务器。在这个过程中可能会出现两种数据不一致性的隐患，需要 ZAB 协议的特性进行避免。1、Leader 服务器将消息 commit 发出后，立即崩溃2、Leader 服务器刚提出 proposal 后，立即崩溃ZAB 协议的恢复模式使用了以下策略：1、选举 zxid 最大的节点作为新的 leader2、新 leader 将事务日志中尚未提交的消息进行处理

请问怎么把乌兰一DLI数据同步到乌兰二零三中，环境防火墙是否可以打通，谢谢

## 场景描述 当前分享包含以下内容： - 如何通过对等连接打通两个账号的VPC，以及数据库网络 - 通过DRS 实现数据库的数据迁移 说明：当前使用场景为同一个region 不同账号下的RDS数据迁移；若场景为同一账号下相同region不同 Vpc 间的数据迁移，使用DRS VPC网络进行数据迁移，详细操作可参考链接：[https://support.huaweicloud.com/prepare-drs/drs_02_0480.html](https://support.huaweicloud.com/prepare-drs/drs_02_0480.html) ## 实现原理  RDS 同 region 跨账号数据迁移原理： 使用对等连接（同region使用）打通两个账号之间的VPC网络，使用DRS VPN、专线网络模型实现内网数据库的数据迁移。 ## 服务列表 - 虚拟私有有云 VPC - 对等连接 - 云数据库 RDS - 数据复制服务 DRS ## 操作流程 - 流程图  #### 详细操作见附件

自古以来，甘肃便是我国中医药文化的重要发源地，孕育了医药鼻祖伏羲、中华医祖岐伯，也孕育了这片土地上世世代代的子孙。几千年后，经过历史长河的沉淀，甘肃仍然在向中医药强省稳步迈进。医疗是民生之需。2019年，国家医疗保障局颁布《关于医疗保障信息化工作的指导意见》，要建立全国统一的医保信息系统，搭建国家和省两级医保信息平台，提高全国医保的标准化、智能化，信息化。作为拥有深厚医药文化底蕴的甘肃自然一马当先，加速搭乘“数字化”列车，大力推进中医药强省建设，为百姓就医谋便利。医保升级好事多磨不过，一个参保人数超2642万的大省，说起医保升级，并没有想象中那么容易。按照国家医保局的建设要求，应对旧医保平台进行优化和升级，而老医保平台还在使用传统数据库，扩展性较弱。同时，新平台要求业务请求端到端时延应该缩短至秒级，而老医保平台结算类业务延迟高、响应慢，办事效率尤待加强。从业务端来看，省级医保平台业务面向全省参保人口，并发量高、数据量大，业务数据量能达到百TB级别，因此数据库还需要同时满足性能和存储容量的双重高要求。同样重要的是，医保业务属于类金融类的民生业务，其系统的稳定性、可靠性不可忽视，需要具备故障自动切换的高可用能力和数据完整灾备能力。华为云数据库对症下药2020年9月，华为云凭借自身在云计算、大数据、计算、存储等方面的产品优势，全份额中标甘肃省医疗保障信息平台建设项目，为该平台提供了强可靠的支撑和保障。华为云分布式数据库DDM+RDS for MySQL承载起了甘肃省医保信息平台数十个业务系统的数字底座。能成为中医药强省医保数字化改革的信赖之选，华为云数据库有强大优势。首先，华为云数据库基于华为累积多年的数据库研发经验而打造，大幅优化了传统数据库，提供更高可用、更高性能、更高安全的数据库服务，完全满足国家医保局对于数据库的使用要求。不仅如此，华为云数据库还具备分库分表的能力，可通过增加节点实现性能和容量的线性增长，而且单集群数据库性能可达百万级QPS，最高可实现PB级的存储容量，足以轻松应对平台业务并发量高、数据量大的问题。更重要的是，数据库基于其高可用架构，能够实力保障在平台出现故障时做到同数据中心故障自动秒级切换，并且通过数据复制服务DRS实现跨Region数据完整灾备，遇到故障时能够游刃有余地保障业务的连续性和安全性。新平台面貌焕然一新在华为云数据库的高效支撑下，甘肃省医疗保障信息平台于2021年5月在兰州市全面上线运行。自上线以来，平台一直处于平稳运行状态。从新平台的实际运行效果来看，其门诊结算系统响应速度从单次平均5秒提高到了单次平均0.9秒，入院办理系统响应速度从单次平均3秒提高到单次平均0.4秒，住院结算系统响应速度从单次平均10秒提高到单次平均1.9秒。业务请求端到端时延得到了可视化的提高，大幅度减少了群众就医结算的等待时间。此外，为了顺利完成项目交付，华为云数据库团队驻扎到现场，深入甘肃省医疗保障局的实际业务场景，联合ISV厂家一起投入到项目中，并制定了业务库表设计规范、分库分表最佳实践、业务系统上线变更规范、数据库运维管理规范等。华为云数据库团队严格遵循国家医疗保障信息平台有关标准规范和要求，为国家医保信息平台在全国其他地方的落地提供了借鉴经验。【重磅活动推荐】开年采购享好价！华为云数据库MySQL、GaussDB(for Redis)18元/年限量秒杀，不限新老用户包年3折起。活动期间还有8000元大礼包、满额赠华为笔记本、0门槛抽奖等多重福利！https://activity.huaweicloud.com/dbs_Promotion/index.html

【功能模块】您好，我们现在项目使用了基线的Person Pass便捷通行APP，看业务资产接口文档没有看到同步人员出入记录相关的接口，请问我们现在对接第三方的出入记录应该怎么同步进去？【操作步骤&问题现象】1、2、【截图信息】【日志信息】（可选，上传日志内容或者附件）

dayu实时数据同步怎么实现

数据复制服务（DRS）是一种易用、稳定、高效、用于数据同步的云服务，本节小课为您介绍，如何通过DRS将其他云 MySQL实例的数据迁移到华为云GaussDB(for MySQL)。使用场景DRS实时迁移可自动化迁存量数据并持续同步增量数据，保证源和目标数据近实时一致，可自由选择业务割接窗口实现平滑无感搬家，可迁表、视图、存储过程、触发器、用户权限、参数等特性。本实践中的选择均为测试简化基本操作，仅做参考，实际情况请用户按业务场景选择，更多关于DRS的使用场景请单击这里了解。部署架构本示例中，DRS源数据库为其他云MySQL，目标端为华为云云数据库GaussDB(for MySQL)，通过公网网络，将源数据库迁移到目标端。创建GaussDB(for MySQL)实例1. 登录华为云控制台。2. 单击管理控制台左上角的，选择区域“华南-广州”。3. 单击左侧的服务列表图标，选择“数据库 > 云数据库 GaussDB”。4. 选择GaussDB(for MySQL)，单击“购买数据库实例”。5. 配置实例名称和实例基本信息。6. 选择实例规格。7. 选择实例所属的VPC和安全组、配置数据库端口。VPC和安全组已在创建VPC和安全组中准备好。8. 配置实例密码。9. 单击“立即购买”。10. 返回云数据库GaussDB实例列表。当GaussDB(for MySQL)实例运行状态为“正常”时，表示实例创建完成。其他云MySQL实例准备前提条件已购买其他云数据库MySQL实例。帐号权限符合要求，具体见帐号权限要求。帐号权限要求当使用DRS将其他云MySQL数据库的数据迁移到华为云云数据库GaussDB(for MySQL)实例时，在不同迁移类型的情况下，对源数据库的帐号权限要求如下：迁移类型全量迁移全量+增量迁移源数据库（MySQL）SELECT、SHOW VIEW、EVENT。SELECT、SHOW VIEW、EVENT、LOCK TABLES、REPLICATION SLAVE、REPLICATION CLIENT。MySQL的相关授权操作可参考操作指导。网络设置源数据库MySQL实例需要开放外网域名的访问。各厂商云数据库对应方法不同，请参考各厂商云数据库官方文档进行操作。以阿里云RDS MySQL为例，需要通过申请外网地址来允许外部的应用对接，具体的操作及注意事项可以参考其官方文档进行操作他云提供的相关指导。创建DRS迁移任务本章节介绍如何创建DRS实例，将其他云MySQL上的数据库迁移到华为云GaussDB(for MySQL)。迁移前检查在创建任务前，需要针对迁移条件进行手工自检，以确保您的同步任务更加顺畅。本示例为MySQL到GaussDB(for MySQL)入云迁移，您可以参考入云迁移使用须知获取相关信息。创建迁移任务1. 登录华为云控制台。2. 单击管理控制台左上角的，选择区域，本示例中为“华北-北京四”。3. 单击左侧的服务列表图标，选择“数据库 > 数据复制服务 DRS”。4. 单击“创建迁移任务”。5. 填写迁移任务参数：配置迁移任务名称。填写迁移数据并选择模板库。这里的目标库选择创建GaussDB(for MySQL)实例所创建的GaussDB(for MySQL)实例。6. 单击“下一步”。迁移实例创建中，大约需要5-10分钟。7. 配置源库网络白名单。源数据库MySQL实例需要将DRS迁移实例的弹性公网IP添加到其网络白名单中，确保源数据库可以与DRS实例互通。各厂商云数据库添加白名单的方法不同，请参考各厂商云数据库官方文档进行操作。以阿里云RDS MySQL为例，具体设置网络白名单的操作及注意事项可以参考相关指导。8. 配置源库信息和目标库数据库密码。配置源库信息，单击“测试连接”。当界面显示“测试成功”时表示连接成功。配置源库信息，单击“测试连接”。当界面显示“测试成功”时表示连接成功。9. 单击“下一步”。10. 在“迁移设置”页面，设置迁移用户和迁移对象。迁移用户：否迁移对象：全部迁移11. 单击“下一步”,在“预检查”页面，进行迁移任务预校验，校验是否可进行任务迁移。查看检查结果，如有不通过的检查项，需要修复不通过项后，单击“重新校验”按钮重新进行迁移任务预校验。预检查完成后，且所有检查项结果均成功时，单击“下一步”。12. 单击“提交任务”。返回DRS实时迁移管理，查看迁移任务状态。启动中状态一般需要几分钟，请耐心等待。当状态变更为“已结束”，表示迁移任务完成。说明：目前MySQL到GaussDB(for MySQL)迁移支持全量、全量+增量两种模式。如果创建的任务为全量迁移，任务启动后先进行全量数据迁移，数据迁移完成后任务自动结束。如果创建的任务为全量+增量迁移，任务启动后先进入全量迁移，全量数据迁移完成后进入增量迁移状态。增量迁移会持续性迁移增量数据，不会自动结束。确认迁移结果确认迁移结果可参考如下两种方式：DRS会针对迁移对象、用户、数据等维度进行对比，从而给出迁移结果，详情参见在DRS管理控制台查看迁移结果。直接登录数据库查看库、表、数据是否迁移完成。手工确认数据迁移情况，详情参见在GaussDB管理控制台查看迁移结果。在DRS管理控制台查看迁移结果1. 登录华为云控制台。2. 单击管理控制台左上角的，选择目标区域。3. 单击左侧的服务列表图标，选择“数据库 > 数据复制服务 DRS”。4. 单击DRS实例名称。5. 单击“迁移对比”，选择“对象级对比”，查看数据库对象是否缺失。6. 选择“数据级对比”，查看迁移对象行数是否一致。7. 选择“用户对比”，查看迁移的源库和目标库的账号和权限是否一致。在GaussDB管理控制台查看迁移结果1. 登录华为云控制台。2. 单击管理控制台左上角的，选择目标区域。3. 单击左侧的服务列表图标，选择“数据库 > 云数据库 GaussDB”。4. 选择GaussDB(for MySQL)，单击迁移的目标实例的操作列的“登录”。5. 在弹出的对话框中输入密码，单击“测试连接”检查。6. 连接成功后单击“登录”。7. 查看并确认目标库名和表名等。确认相关数据是否迁移完成。

数据复制服务（DRS）是一种易用、稳定、高效、用于数据同步的云服务，本节小课为您介绍，如何通过DRS将RDS for MySQL实例的增量数据同步到分布式消息服务Kafka。使用场景DRS实时同步功能一般用于建立数据同步通道，解决数据共享问题，也可以用于数据流式集成，具有数据转换能力，如库表映射，行列过滤等。本实践中的选择均为测试简化基本操作，仅做参考，实际情况请用户按业务场景选择，更多关于DRS的使用场景请单击这里了解。部署架构本示例中，DRS源数据库为华为云RDS for MySQL，目标端为华为云同Region下的分布式消息服务Kafka，通过VPC网络，将源数据库的增量数据同步到目标端。更多关于DRS的使用场景请单击这里了解。源端RDS for MySQL准备创建RDS for MySQL实例如何创建RDS for MySQL实例，请点击这里查看详细步骤。构造数据1. 登录华为云控制台。2. 单击管理控制台左上角的，选择区域“华南-广州”。3. 单击左侧的服务列表图标，选择“数据库 > 云数据库 RDS”。4. 选择RDS实例，单击实例后的“更多 > 登录”。5. 在弹出的对话框中单击“测试连接”检查。6. 连接成功后单击“登录”。7. 输入实例密码，登录RDS实例。8. 单击“新建数据库”，创建db_test测试库。9. 在db_test库中执行如下语句，创建对应的测试表table3_。CREATE TABLE `db_test`.`table3_` ( `Column1` INT(11) UNSIGNED NOT NULL, `Column2` TIME NULL, `Column3` CHAR NULL, PRIMARY KEY (`Column1`) ) ENGINE = InnoDB DEFAULT CHARACTER SET = utf8mb4 COLLATE = utf8mb4_general_ci;目标端Kafka准备创建Kafka实例1. 登录华为云控制台。2. 单击管理控制台左上角的，选择区域“华南-广州”。3. 单击左侧的服务列表图标，选择“应用中间件 > 分布式消息服务Kafka版”。4. 单击“购买Kafka实例”。5. 选择实例区域和可用区。6. 配置实例名称和实例规格等信息。7. 选择存储空间和容量阈值策略。8. 选择实例所属的VPC和安全组。VPC和安全组已在创建VPC和安全组中准备好。9. 配置实例密码。10. 单击“立即购买”。11. 返回实例列表。当Kafka实例运行状态为“运行中”时，表示实例创建完成。创建Topic1. 在“Kafka专享版”页面，单击Kafka实例的名称。2. 选择“Topic管理”页签，单击“创建Topic”。3. 在弹出的“创建Topic”的对话框中，填写Topic名称和配置信息，单击“确定”，完成创建Topic。创建DRS同步任务本章节介绍创建DRS实例，将RDS for MySQL上的数据库增量同步到Kafka。同步前检查在创建任务前，需要针对同步条件进行手工自检，以确保您的同步任务更加顺畅。本示例中，为RDS for MySQL到Kafka的出云同步，您可以参考出云同步使用须知获取相关信息。操作步骤介绍RDS for MySQL到Kafka增量同步任务的详细操作过程。1. 登录华为云控制台。2. 单击管理控制台左上角的，选择区域“华南-广州”。3. 单击左侧的服务列表图标，选择“数据库 > 数据复制服务 DRS”。4. 选择左侧“实时同步管理”，单击“创建同步任务”。5. 填写同步任务参数：配置同步任务名称。选择需要同步任务的源库、目标数据库以及网络信息。这里的目标库选择源端RDS for MySQL准备创建的RDS实例。企业项目选择“default”。   6. 单击“下一步”。同步实例创建中，大约需要5-10分钟。7. 配置源库信息和目标库数据库密码。配置源库信息。单击“测试连接”。当界面显示“测试成功”时表示连接成功。      选择目标库所在VPC和子网，填写Kafka的IP地址和端口。单击“测试连接”。当界面显示“测试成功”时表示连接成功。      8. 单击“下一步”。9. 选择同步信息、策略、消息格式和对象等，投递到Kafka的消息格式。本次选择如下。表1 同步设置类别设置同步Topic策略集中投递到一个Topic，Topic名称“testTopic”。同步到Kafka partition策略按表名+库名的hash值投递到不同Partition。投递到Kafka的数据格式可选择JSON格式，可参考Kafka消息格式。同步对象同步对象选择db_test下的table3_表。10.单击“下一步”。11. 选择数据加工方式。RDS for MySQL到Kafka数据同步目前只支持列加工，列加工提供列级的查询和过滤能力。12. 单击“下一步”，等待预检查结果。13. 当所有检查都是“通过”时，单击"下一步”。14. 确认同步任务信息正确后，单击“启动任务”。返回DRS实时同步管理，查看同步任务状态。启动中状态一般需要几分钟，请耐心等待。当状态变更为“增量同步”，表示同步任务已启动。说明：目前RDS for MySQL到Kafka仅支持增量同步，任务启动后为增量同步状态。如果创建的任务为全量同步，任务启动后进行全量数据同步，数据同步完成后任务自动结束。如果创建的任务为全量+增量同步，任务启动后先进入全量同步，全量数据同步完成后进入增量同步状态。增量同步会持续性同步增量数据，不会自动结束。确认同步任务执行结果由于本次实践为增量同步模式，DRS任务会将源库的产生的增量数据持续同步至目标库中，直到手动任务结束。下面我们通过在源库RDS for MySQL中插入数据，查看Kafka的接收到的数据来验证同步结果。操作步骤1. 登录华为云控制台。2. 单击管理控制台左上角的，选择区域“华南-广州”。3. 单击左侧的服务列表图标，选择“数据库 > 云数据库 RDS””。4. 单击RDS实例后的“更多 > 登录”。5. 在弹出的对话框中单击“测试连接”检查。6. 连接成功后单击“登录”。7. 输入实例密码，登录RDS实例。8. 在DRS同步对象的db_test.table3_表中，执行如下语句，插入数据。INSERT INTO `db_test`.`table3_` (`Column1`,`Column2`,`Column3`) VALUES(4,'00:00:44','ddd');9. 单击左侧的服务列表图标，选择“应用中间件 > 分布式消息服务Kafka版”。10. 在“Kafka专享版”页面，单击Kafka实例的名称。11. 选择“消息查询”页签，在Kafka对应的Topic中，查看接收到相应的JSON格式数据。12. 结束同步任务。根据业务情况，确认数据已全部同步至目标库，可以结束当前任务。单击“操作”列的“结束”。仔细阅读提示后，单击“是”，结束任务。     

当某一地区故障而导致业务不可用，可以使用数据复制服务DRS推出的灾备场景，为业务连续性提供数据库的同步保障。本节小课为您介绍RDS for MySQL实例通过DRS服务搭建异地单主灾备的过程。实现原理RDS跨Region容灾实现原理说明：在两个数据中心独立部署RDS for MySQL实例，通过DRS服务将生产中心MySQL库中的数据同步到灾备中心MySQL库中，实现RDS for MySQL主实例和跨Region灾备实例之间的实时同步。更多关于MySQL实例灾备须知请单击这里了解。一、生产中心RDS for MySQL实例准备创建MySQL业务实例，选择已规划的业务实例所属VPC，并为实例绑定EIP。1.   登录华为云控制台。2.   单击管理控制台左上角的，选择区域“华北-北京一”。3.   单击左侧的服务列表图标，选择“数据库 > 云数据库 RDS”。4.   单击“购买数据库实例”。5.   填选实例信息后，单击“立即购买”。 选择引擎版本信息。选择规格信息。选择已规划的网络信息。设置管理员密码。6.   为创建的RDS实例绑定弹性公网IP。二、灾备中心RDS for MySQL实例准备创建MySQL灾备实例，选择已规划的灾备实例所属VPC。1.   单击管理控制台左上角的，选择区域“华北-北京四”。2.   单击左侧的服务列表图标，选择“数据库 > 云数据库 RDS”。3.   单击“购买数据库实例”。4.   填选实例信息后，单击“立即购买”。选择灾备实例引擎版本信息选择灾备实例规格信息选择灾备实例已规划的网络信息设置灾备实例管理员密码三、搭建容灾关系创建DRS灾备实例，创建时选择灾备中心创建的RDS for MySQL实例。1.   在“华北-北京四”区域，单击左侧的服务列表图标，选择“数据库 > 数据复制服务 DRS”。2.   选择左侧“实时灾备管理”，单击右上角“创建灾备任务”。3.   灾备类型选择“单主灾备”，灾备关系选择“本云为备”，灾备数据库实例选择在“华北-北京四”新创建的MySQL灾备实例，单击“下一步”，开始创建灾备实例。设置基本信息设置灾备实例信息4.   返回“实时灾备管理”页面，可以看到新创建的灾备实例。创建完成5.   在灾备实例上，单击“编辑”。6.   根据界面提示，将灾备实例的弹性公网IP加入生产中心MySQL实例所属安全组的入方向规则，选择TCP协议，端口为生产中心MySQL实例的端口号。添加安全组规则      源库信息中的“IP地址或域名”填写生产中心MySQL实例绑定的EIP，“端口”填写生产中心MySQL实例的端口号。测试通过后，单击“下一步”，直到任务启动，任务状态为“灾备中”。编辑灾备任务灾备中四、容灾切换生产中心数据库故障时，需要手动将灾备数据库实例切换为可读写状态。切换后，将通过灾备实例写入数据，并同步到源库。1.   生产中心源库发生故障，例如：源库无法连接、源库执行缓慢、CPU占比高。2.   收到SMN邮件通知。邮件通知3.   查看灾备任务时延异常。时延异常4.   用户自行判断业务已经停止。具体请参考如何确保业务数据库的全部业务已经停止。5.   选择“批量操作 > 主备倒换”，将灾备实例由只读状态更改为读写状态。主备倒换倒换完成6.   在应用端修改数据库连接地址后，可正常连接数据库，进行数据读写。

数据复制服务（Data Replication Service，简称DRS）支持将其他云MySQL数据库的数据迁移到本云云数据库MySQL。通过DRS提供的实时迁移任务，实现在数据库迁移过程中业务和数据库不停机，业务中断时间最小化。本节小课为您介绍将其他云MySQL迁移到RDS for MySQL实例。部署架构更多关于MySQL数据迁移须知请单击这里了解。一.  创建RDS for MySQL实例创建MySQL业务实例，选择已规划的业务实例所属VPC和安全组。1.   登录华为云控制台。2.   单击管理控制台左上角的，选择区域“华南-广州”。3.   单击左侧的服务列表图标，选择“数据库 > 云数据库 RDS”。4.   单击“购买数据库实例”。5.   配置实例名称和实例基本信息。      6.   选择实例规格。      7.   选择实例所属的VPC和安全组、配置数据库端口。      8.   配置实例密码。      9.   单击“立即购买”。10.   返回云数据库实例列表。当RDS实例运行状态为“正常”时，表示实例创建完成。二、其他云MySQL实例准备帐号权限要求当使用DRS将其他云MySQL数据库的数据迁移到本云云数据库MySQL实例时，帐号权限要求如下表所示，授权的具体操作请参考授权操作。迁移帐号权限迁移类型全量迁移全量+增量迁移源数据库（MySQL）SELECT、SHOW VIEW、EVENT。SELECT、SHOW VIEW、EVENT、LOCK TABLES、REPLICATION SLAVE、REPLICATION CLIENT。网络设置源数据库MySQL实例需要开放外网域名的访问。白名单设置其他云MySQL实例需要将目标端DRS迁移实例的弹性公网IP添加到其网络白名单中，目标端DRS迁移实例的弹性公网IP在创建完DRS迁移实例后可以获取到，确保源数据库可以与DRS实例互通，各厂商云数据库添加白名单的方法不同，请参考各厂商云数据库官方文档进行操作。三、创建DRS迁移任务1.   登录华为云控制台。2.   单击管理控制台左上角的，选择区域，即为目标实例所在的区域。3.   单击左侧的服务列表图标，选择“数据库 > 数据复制服务 DRS”。4.   单击“创建迁移任务”。5.   填写迁移任务参数。      配置迁移任务名称。            填写迁移数据并选择模板库。这里的目标库选择创建的RDS实例。      6.   单击“下一步”。      迁移实例创建中，大约需要5-10分钟。迁移实例创建完成后可获取弹性公网IP信息。      7.   配置源库信息和目标库数据库密码。      8.   单击“下一步”。9.   在“迁移设置”页面，设置流速模式、迁移用户和迁移对象。流速模式：不限速迁移对象：全部迁移10.   单击“下一步”,在“预检查”页面，进行迁移任务预校验，校验是否可进行任务迁移。查看检查结果，如有不通过的检查项，需要修复不通过项后，单击“重新校验”按钮重新进行迁移任务预校验。预检查完成后，且所有检查项结果均成功时，单击“下一步”。11.   参数对比。若您选择不进行参数对比，可跳过该步骤，单击页面右下角“下一步”按钮，继续执行后续操作。若您选择进行参数对比，对于常规参数，如果源库和目标库存在不一致的情况，建议将目标数据库的参数值通过“一键修改”按钮修改为和源库对应参数相同的值。12.   单击“提交任务”。      返回DRS实时迁移管理，查看迁移任务状态。      启动中状态一般需要几分钟，请耐心等待。            当状态变更为“已结束”，表示迁移任务完成。四、确认迁移结果确认迁移结果可参考如下两种方式：DRS会针对迁移对象、用户、数据等维度进行对比，从而给出迁移结果，详情参见在DRS管理控制台查看迁移结果。直接登录数据库查看库、表、数据是否迁移完成。手工确认数据迁移情况，详情参见在RDS管理控制台查看迁移结果。在DRS管理控制台查看迁移结果1.   登录华为云控制台。2.   单击管理控制台左上角的，选择目标区域。3.   单击左侧的服务列表图标，选择“数据库 > 数据复制服务 DRS”。4.   单击DRS实例名称。5.   单击“迁移对比”，选择“对象级对比”，单击“开始对比”，校验数据库对象是否缺失。6.   选择“数据级对比”，单击“创建对比任务”，查看迁移的数据库和表内容是否一致。7.   选择“用户对比”，查看迁移的源库和目标库的账号和权限是否一致。在RDS管理控制台查看迁移结果1.    登录华为云控制台。2.   单击管理控制台左上角的，选择目标区域。3.   单击左侧的服务列表图标，选择“数据库 > 云数据库 RDS”。4.   单击迁移的目标实例的操作列的“更多 > 登录”。      5.   在弹出的对话框中输入密码单击“测试连接”检查。6.   连接成功后单击“登录”。7.   输入实例密码，登录RDS实例。8.   查看并确认目标库名和表名等。确认相关数据是否迁移完成。

数据复制服务DRS支持将本地MySQL数据库的数据迁移至RDS for MySQL。通过DRS提供的实时迁移任务，实现在数据库迁移过程中业务和数据库不停机，业务中断时间最小化。本节小课为您介绍将自建MySQL迁移到RDS for MySQL的过程。部署架构本示例中，数据库源端为ECS自建MySQL，目的端为RDS实例，同时假设ECS和RDS实例在同一个VPC中。更多关于MySQL数据迁移须知请单击这里了解。一.  创建ECS（MySQL服务器）并安装MySQL社区版购买并登录弹性云服务器，用于安装MySQL社区版。1.   登录华为云控制台。2.   单击管理控制台左上角的，选择区域“华东-上海一”。3.   单击左侧的服务列表图标，选择“计算 > 弹性云服务器 ECS”。4.   单击“购买云服务器”。5.   配置弹性云服务器参数，填选信息后，单击“立即购买”。            选择镜像和磁盘规格。      6.   在创建的ECS上单击“远程登录”。选择“CloudShell登录”。7.   输入root用户密码，完成登录。8.   执行如下命令，创建mysql文件夹。      mkdir /mysql9.   执行如下命令，查看数据盘信息。      fdisk -l10.   执行如下命令，初始化数据盘。      mkfs.ext4 /dev/vdb11.   执行如下命令，挂载磁盘。      mount /dev/vdb /mysql12.   执行如下命令，查看磁盘是否挂在成功。      df -h      当回显出现 /dev/vdb的数据时，表示挂载成功。13.   依次执行如下命令，创建文件夹并切换至install文件夹。      mkdir -p /mysql/install/data      mkdir -p /mysql/install/tmp      mkdir -p /mysql/install/file      mkdir -p /mysql/install/log      cd /mysql/install14.   下载依赖包并上传到/mysql/install/file命令。15.   下载并安装社区版MySQL。二. 创建ECS并安装MySQL客户端1.   创建MySQL客户端的弹性云服务器。确保和MySQL服务器所在ECS配置成相同Region、相同可用区、相同VPC、相同安全组。不用购买数据盘。云服务器名配置为：ecs-client。其他参数同MySQL服务器的ECS配置。2.   下载并安装MySQL客户，请参考安装MySQL客户端。三.  创建RDS实例本章节介绍创建RDS实例，该实例选择和自建MySQL服务器相同的VPC和安全组。1.   登录华为云控制台。2.   单击管理控制台左上角的，选择区域“华东-上海一”。3.   单击左侧的服务列表图标，选择“数据库 > 云数据库 RDS”。4.   填选信息后，单击“购买数据库实例”。            选择实例规格。            选择实例所属的VPC和安全组、配置数据库端口。            配置实例密码。      四. 创建DRS迁移任务介绍自建MySQL服务器上的loadtest数据库迁移到RDS MySQL实例的详细操作过程。1.   登录华为云控制台。2.   单击管理控制台左上角的，选择区域“华东-上海一”。3.   单击左侧的服务列表图标，选择“数据库 > 数据复制服务 DRS”。4.   单击“创建迁移任务”。5.   填写迁移任务参数，直到任务创建完成。      配置迁移任务名称。            填写迁移数据并选择模板库。这里的目标库选择创建的RDS实例。      6.   配置源库信息和目标库数据库密码。      7.   单击“下一步”，直到迁移任务提交成功，数据迁移完成。

1. 什么是数据复制服务数据复制服务（Data Replication Service，简称DRS）是一种易用、稳定、高效、用于数据库实时迁移和数据库实时同步的云服务。数据复制服务围绕云数据库，降低了数据库之间数据流通的复杂性，有效地帮助您减少数据传输的成本。您可通过数据复制服务快速解决多场景下，数据库之间的数据流通问题，以满足数据传输业务需求。 2. 实时迁移实时迁移是指在数据复制服务器能够同时连通源数据库和目标数据库的情况下，只需要配置迁移的源、目标数据库实例及迁移对象即可自动完成整个数据迁移过程。实时迁移支持多种网络迁移方式，如：公网网络、VPC网络、VPN网络和专线网络。特点：通过增量迁移技术，能够最大限度允许迁移过程中业务继续对外提供使用，有效的将业务系统中断时间和业务影响最小化，实现数据库平滑迁移上云，支持全部数据库对象的迁移。图1 实时迁移3. 实时同步实时同步是指在不同的系统之间，将数据通过同步技术从一个数据源拷贝到其他数据库，并保持一致，实现关键业务的数据实时流动。特点：满足多种灵活性的需求，例如多对一、一对多，动态增减同步表，不同表名之间同步数据等。图2 多对一实时同步4. 实时迁移与实时同步有什么不同4.1 适用场景不同实时迁移支持通过多种网络，实现跨云平台数据库迁移、云下数据库迁移上云或云上跨Region的数据库迁移等多种业务场景。实时同步维持不同业务系统之间数据的持续流动，常见的场景是：实时分析、报表系统、数仓环境。4.2 支持的对象不同实时迁移以整体数据库搬迁为目的，支持全部的数据库对象，包括：表、数据、索引、视图、存储过程、函数、数据库账号、数据库参数等。实时同步则聚焦于表和数据，并满足多种灵活性的需求，例如多对一、一对多，动态增减同步表，不同表名之间同步数据等。以MySQL->RDS for MySQL实时迁移和实时同步选择对象为例，如图：图3 实时迁移图4 实时同步具体的任务创建步骤，还可参考华为云官网资料：实时迁移https://support.huaweicloud.com/realtimemig-drs/drs_08_0089.html实时同步https://support.huaweicloud.com/realtimesyn-drs/drs_05_0005.html4.3 功能特性不同对比项实时迁移实时同步支持数据库引擎支持多种数据库之间的数据迁移，不同数据库的支持详情请参考实时迁移。支持多种数据库类型的实时同步，且支持多个源数据库到同一个目标数据库之间的实时同步，详情请参考实时同步。功能特性实时迁移提供修改流速模式、快捷对比、异常诊断、续传、重试、暂停、重置等多种特性，详情请参考任务管理。实时同步除了提供异常诊断、续传、重试、暂停、重置等特性，还支持数据过滤和对象名映射，详情请参考任务管理。使用限制详情请参考各链路使用须知。详情请参考各链路使用须知。 更多具体内容，请移步这里，了解详情。

众所周知，数据复制服务（Data Replication Service，简称DRS）是一种易用、稳定、高效、用于数据库在线迁移和数据库实时同步的云服务。目前，DRS已支持其他云、本地IDC、ECS自建MySQL、SQL Server、MongoDB（数据库种类）、PostgreSQL等多种数据库引擎，支持通过公网网络、华为VPN、华为云VPC网络环境下等多种网络场景的数据实时迁移和实时同步。同时，DRS还提供了丰富的数据辅助功能，今天，我们就来聊聊在您进行数据同步过程中的“小助手”---数据过滤。首先，我们来了解一下数据过滤特性的业务场景----数据同步。 1      数据同步介绍功能介绍数据同步是DRS的重要功能之一。即在不同的系统之间，将数据通过同步技术从一个数据源拷贝到其他数据库，并保持一致，实现关键业务的数据实时流动。常用场景实时分析，报表系统，数仓环境。功能特点数据同步功能聚焦于表和数据，并满足多种灵活性的需求，例如多对一（如下图所示）、一对多，动态增减同步表，不同表名之间同步数据等。对于数据同步有了初步的了解之后，我们可以知道，数据同步不同于迁移，迁移是以整体数据库搬迁为目的，而数据同步是维持不同业务之间的数据持续性流动。那么，在数据的定期同步、拆分汇总数据表等多种应用场景中，我们时常想要实时获取各个表中的某一部分数据来做汇总分析，这个时候，如果能够设定一些同步的规则，来帮助我们更准确、更高效的同步数据，就变得尤为重要。DRS的数据过滤特性，就是解决这种场景的必备“良药”，通过对同步的对象进行加工，为选择的对象添加规则，方便您自己设定想要同步的数据条件。下面，我们就来了解一下今天的主角----数据过滤。2      数据过滤原理基于以数据一致性为首要目标的原则，我们通过一个例子，来看看数据过滤规则添加后，在源库执行更新操作会遇到的几种场景：假设，源库中的id为1、2、3、5、6。我们设置数据过滤条件为id between 1 and 5，那么数据同步后目标库的id为1、2、3、5。如下图所示：首先，我们来看几种常见的更新场景：■  如果在源库中插入id=1.5，此id符合过滤条件（id between 1 and 5），则目标库会执行相同的更新操作。如下图所示：■  如果在源库中删除id=2，此id符合过滤条件（id between 1 and 5），则目标库会执行相同的删除动作。如下图所示：■  如果在源库中将id=3更新为id=3.5，更新后的id仍符合过滤条件（id between 1 and 5），则目标库会执行相同的更新操作。如下图所示：以上，是我们在进行数据同步时，常常遇到的几种场景。当然，有时我们也会遇到如下几种较为特殊的更新场景：■  如果我们执行更新操作，将源库中的id=2更新为id=7，即更新前源库中的id=2符合过滤条件（id between 1 and 5），更新后id=7不符合过滤条件，继续同步时，目标库会执行相同的更新操作，同步后目标库的id为1、3、5、7。如下图所示： ■  如果我们执行更新操作，将源库的id=6更新为id=4，即更新前源库中的id=6不符合过滤条件（id between 1 and 5），更新后id=4符合过滤条件，继续同步时，目标库执行相同的更新操作，但是此时目标库并没有id=6，无法匹配数据。这时，我们会根据当前同步任务选定的冲突处理策略来处理：    ●  冲突处理策略为“覆盖”，则id=4变成新数据在目标数据库插入，源库和目标库的结果仍然一致。如下图所示：    ●  冲突处理策略为“忽略”，则会忽略该更新动作，即源库有id=4，而目标库没有，这种情况目标库数据将少于源库。如下图所示：    ●  冲突处理策略为“报错”，则任务将会失败并立即中止。操作步骤1.  登录管理控制台。2.  单击管理控制台左上角的 ，选择区域和项目。    数据复制服务目前也支持通过使用专属计算集群服务购买的物理机资源，创建所需的实例，实现数据迁移和数据同步。您可以选择自己的专属计算集群。3.  在“所有服务”或“服务列表”中，选择“数据库 > 数据复制服务”，进入数据复制服务信息页面。4.  在“数据同步管理”页面，单击“创建同步任务”。5.  在“场景选择”页面，分别选择“源数据库来源”和“目标数据库来源”后，单击“下一步”进入“同步实例”页面。6.  在“同步实例”页面，填选任务名称、通知收件人信息、描述、同步实例信息，单击“下一步”。7.  同步实例创建成功后，在“源库及目标库”页面，填选源库信息和目标库信息后，单击“源库和目标库”处的“测试连接”，分别测试并确定与源库和目标库连通后，勾选协议，单击“下一步”。            8. 在“设置同步”页面，选择数据冲突策略和同步对象，单击“下一步”。                图1 同步模式                    表1 同步模式和对象参数描述冲突策略数据复制服务提供的数据同步功能使用了主键或唯一键冲突策略，这些策略可以由您自主选择，尽可能保证源数据库中有主键约束或唯一键约束的表同步到目标数据库是符合预期的。冲突策略目前支持如下三种形式：●   忽略当同步数据与目标数据库已有数据冲突时（主键/唯一键存在重复等），将跳过冲突数据，继续进行后续同步。●    报错当同步数据与目标数据库已有数据冲突时（主键/唯一键存在重复等），同步任务将失败并立即中止。●    覆盖当同步数据与目标数据库已有数据冲突时（主键/唯一键存在重复等），将覆盖原来的冲突数据。说明目前仅MySQL->RDS for MySQL的同步场景支持设置“覆盖”冲突策略。当数据发生冲突时，针对如下情况，建议选择“忽略”或者“覆盖”，否则建议选择“报错”：●   目标数据库存在数据●   多对一同步场景●   目标数据库手动更新数据是否过滤DROP   DATABASE数据同步过程中，源数据库端执行的DDL操作在一定程度上会影响数据的同步能力，为了降低同步数据的风险，数据复制服务提供了过滤DDL操作的功能。目前支持默认过滤删除数据库的操作。●    是，表示数据同步过程中不会同步用户在源数据库端执行的删除数据库的操作。    否，则表示数据同步过程中将相关操作同步到目标库。说明目前仅MySQL->MySQL的数据同步场景支持过滤DDL操作。对象同步范围对象同步范围支持索引同步，您可以根据业务需求选择是否进行索引同步。同步对象同步对象支持库级和表级同步，您可以根据业务场景选择对应的数据进行同步。如果有切换源数据库的操作，请在选择同步对象前单击右上角的，以确保待选择的对象为最新源数据库对象。数据同步功能可以支持源数据库和目标数据库中的同步对象（包括数据库、schema、表）的名称不同。如果同步的数据库对象在源数据库和目标数据库中的命名不同，那么可以使用数据复制服务提供的对象名映射功能进行映射。其中包括：库映射、schema映射、表映射。          9.  在“数据加工”页面，“加工类型”选择“数据过滤”            图2 数据加工10.   在“对象选择”区域选择需要加工的表对象。11.   在过滤条件区域，填写过滤条件（只需填写SQL语句的WHERE之后部分，例如id=1）后，单击“校验”。●    每张表仅支持添加一个校验规则。●    Oracle为源库的数据过滤每次最多支持20000张表，MySQL为源库的数据过滤每次最多支持10000张表。●    过滤条件不支持使用某种数据库引擎特有的packege、函数、变量、常量等写法，须使用通用SQL标准。12.   校验通过后，单击“生成加工规则”，即可在加工规则表格中看到该规则。13.   检查无误后，单击“下一步”，进入下一步操作。----结束DRS的数据同步功能除了提供数据过滤的贴心特性之外，还提供了对象名映射、异常诊断、续传、重试、暂停、重置等多种特性，给您的数据同步场景提供保障，解决您的后顾之忧，欲了解详情请戳这里。DRS提供在线迁移、备份迁移、数据同步、数据订阅和多活灾备等多种功能，以各自独有的特点适用不同的数据流通场景，为您提供安心且省心的数据复制体验。欲了解详情请戳这里。

伴随着信息技术的高速发展，数据和信息在现代企业中扮演着越来越重要的角色，信息数据的丢失和损坏将对企业造成难以估量的损失。如何抵御大规模的灾难事件受到人们越来越多的关注，现阶段而言，容灾是较好的解决方案。关键数据的备份与恢复操作已经成为系统日常运行维护的一个重要组成部分。华为云云数据库服务的双AZ高可用实例，可以满足同城级别的灾备。数据复制服务提供的多活灾备功能具有跨区域、跨云灾备的能力，分为单主灾备和双主灾备。单主灾备单主灾备即使用一主一备的架构，当灾难发生时原灾备数据库作为业务数据库保证业务正常运行。DRS的主备倒换功能可以实现主备切换，主备倒换前，业务正常运行在业务数据库，并且将数据实时同步至灾备数据库。此时，灾备数据库不可写入数据。主备倒换后，原灾备数据库为可读写状态，可将业务切换到原灾备数据库运行，原业务数据库不可写 。双主灾备双主灾备多用于灾备双方互为主备，共同承担业务流量的场景。其角色分为主1、主2，使用之前需要首先确立本云（本区）RDS的角色，才可以更好的完成多活灾备的搭建。完整的双主灾备是由正、反两条链路构成的，其创建顺序有着严格的要求。开始时，主1为可读写状态、主2为只读状态，正向灾备将初始化数据全量同步到主2后，方可启动反向灾备。此时，主1、主2均为可读写状态，正/反向灾备分别向主2、主1持续同步增量数据。特点及使用约束·  重要！ 双主灾备是对环境要求比较高的架构，实施部署双主灾备前请务必阅读约束和设计思考。·  双主灾备的搭建过程对步骤是有严格要求的，请按照以下步骤进行部署，以确保双主任务顺利部署。创建正向灾备任务，具体操作步骤请参见创建灾备任务。创建完成后，会生成两个子任务，即正向灾备和反向灾备任务，此时反向灾备任务为配置状态。当正向灾备任务进入“灾备中”状态时（反向任务操作列出现编辑），配置并启动反向任务。       在“多活灾备管理”页面，选择该灾备任务的反向任务，单击操作列的编辑，进入“创建灾备任务”页面，继续完成创建反向任务。建议您在主2进行验证，满足预期后，启动反向任务。更多内容，猛戳>>>