尊敬的华为云客户：华为云于2021/01/28 00:00（北京时间）发布了“华为云数据复制服务DRS于2021年2月1日00:00（北京时间）计费通知”，为了您能更加详细的了解数据复制服务（DRS）收费场景，现针对数据库->kafka这部分链路收费做一个补充说明。公有云计费模式如下：场景引擎关系区域场景大类归属配置费用数据传输费（仅公网）实时同步源：自建Oracle/自建MySQL目标：Kafka中国站自建到自建24元/时1.5元/G实时同步源：自建Oracle/自建MySQL目标：Kafka中国站（香港）自建到自建28元/时2.24元/G实时同步源：自建Oracle/自建MySQL目标：Kafka中国站（亚太-曼谷）自建到自建25元/时1.55元/G实时同步源：自建Oracle/自建MySQL目标：Kafka中国站（亚太-新加坡）自建到自建27元/时1.69元/G实时同步源：RDS for   MySQL目标：Kafka中国站非自建，RDS相关执行价格优惠政策，原价24元/时，优惠后2.4元/时1.5元/G实时同步源：RDS for   MySQL目标：Kafka中国站（香港）非自建，RDS相关执行价格优惠政策，原价24元/时，优惠后2.8元/时2.24元/G实时同步源：RDS for   MySQL目标：Kafka中国站（亚太-曼谷）非自建，RDS相关执行价格优惠政策，原价24元/时，优惠后2.5元/时1.55元/G实时同步源：RDS for   MySQL目标：Kafka中国站（亚太-新加坡）非自建，RDS相关执行价格优惠政策，原价24元/时，优惠后2.7元/时1.69元/G注：专属云（Dec）、金融区、华为云全栈（HCS、HCSO）的DRS报价，请以华为云项目报价为准。华为云在此提醒您，如果您不再需要使用该服务，请及时结束任务，以免产生费用。更多关于华为云数据复制服务（DRS）的产品介绍，请您点击了解。如您有任何问题，可随时通过工单或者服务热线（4000-955-988或950808）与我们联系。感谢您对华为云的支持！

尊敬的华为云客户：华为云于2021/01/28 00:00（北京时间）发布了“华为云数据复制服务DRS于2021年2月1日00:00（北京时间）计费通知”，为了您能更加详细的了解数据复制服务（DRS）收费场景，现针对数据库->kafka这部分链路收费做一个补充说明。公有云计费模式如下：场景引擎关系区域场景大类归属配置费用数据传输费（仅公网）实时同步源：自建Oracle/自建MySQL目标：Kafka中国站自建到自建24元/时1.5元/G实时同步源：自建Oracle/自建MySQL目标：Kafka中国站（香港）自建到自建28元/时2.24元/G实时同步源：自建Oracle/自建MySQL目标：Kafka中国站（亚太-曼谷）自建到自建25元/时1.55元/G实时同步源：自建Oracle/自建MySQL目标：Kafka中国站（亚太-新加坡）自建到自建27元/时1.69元/G实时同步源：RDS for   MySQL目标：Kafka中国站非自建，RDS相关执行价格优惠政策，原价24元/时，优惠后2.4元/时1.5元/G实时同步源：RDS for   MySQL目标：Kafka中国站（香港）非自建，RDS相关执行价格优惠政策，原价24元/时，优惠后2.8元/时2.24元/G实时同步源：RDS for   MySQL目标：Kafka中国站（亚太-曼谷）非自建，RDS相关执行价格优惠政策，原价24元/时，优惠后2.5元/时1.55元/G实时同步源：RDS for   MySQL目标：Kafka中国站（亚太-新加坡）非自建，RDS相关执行价格优惠政策，原价24元/时，优惠后2.7元/时1.69元/G注：专属云（Dec）、金融区、华为云全栈（HCS、HCSO）的DRS报价，请以华为云项目报价为准。华为云在此提醒您，如果您不再需要使用该服务，请及时结束任务，以免产生费用。更多关于华为云数据复制服务（DRS）的产品介绍，请您点击了解。如您有任何问题，可随时通过工单或者服务热线（4000-955-988或950808）与我们联系。感谢您对华为云的支持！

尊敬的华为云客户：华为云计划于2021/02/01 00:00（北京时间）对数据复制服务（DRS）如下场景正式开始计费，此次计费仅对2021/02/01 00:00（北京时间）后启动的DRS任务生效，具体价格详情如下：公有云计费模式如下：场景引擎关系区域入云出云配置费用数据传输费（仅公网）配置费用数据传输费（仅公网）实时迁移源：MySQL目标：GaussDB(for MySQL)中国站1周内免费，超过1周计费2.4元/时入云免费24元/时1.5元/G实时迁移源：MySQL目标：GaussDB(for MySQL)中国站（香港）1周内免费，超过1周计费2.8元/时入云免费28元/时2.24元/G实时迁移源：MySQL目标：GaussDB(for MySQL)中国站（亚太-曼谷）1周内免费，超过1周计费2.5元/时入云免费25元/时1.55元/G实时迁移源：MySQL目标：GaussDB(for MySQL)中国站（亚太-新加坡）1周内免费，超过1周计费2.7元/时入云免费27元/时1.69元/G实时同步源：Oracle/MySQL/RDS MySQL目标：Kafka中国站2.4元/时入云免费24元/时1.5元/G实时同步源：Oracle/MySQL/RDS MySQL目标：Kafka中国站（香港）2.8元/时入云免费28元/时2.24元/G实时同步源：Oracle/MySQL/RDS MySQL目标：Kafka中国站（亚太-曼谷）2.5元/时入云免费25元/时1.55元/G实时同步源：Oracle/MySQL/RDS MySQL目标：Kafka中国站（亚太-新加坡）2.7元/时入云免费27元/时1.69元/G实时灾备源：MySQ目标：MySQL类型：双主灾备中国站2.4元/时入云免费2.4元/时1.5元/G实时灾备源：MySQ目标：MySQL类型：双主灾备中国站（香港）2.8元/时入云免费2.8元/时2.24元/G实时灾备源：MySQ目标：MySQL类型：双主灾备中国站（亚太-曼谷）2.5元/时入云免费2.5元/时1.55元/G实时灾备源：MySQ目标：MySQL类型：双主灾备中国站（亚太-新加坡）2.7元/时入云免费2.7元/时1.69元/G注：专属云（Dec）、金融区、华为云全栈（HCS、HCSO）的DRS报价，请以华为云项目报价为准。华为云在此提醒您，如果您不再需要使用该服务，请及时结束任务，以免产生费用。更多关于华为云数据复制服务（DRS）的产品介绍，请您点击了解。如您有任何问题，可随时通过工单或者服务热线（4000-955-988或950808）与我们联系。感谢您对华为云的支持！

服务名称云图说内容链接云数据库RDS【云图说】第14期 初识华为云关系型数据库【云图说】第117期   小云妹带你快速玩转关系型数据库实例操作 01期【云图说】第132期   小云妹带您快速玩转RDS实例操作（2）——删除与退订云数据库 RDS for MySQL【云图说】第35期 小云妹的数据库之旅 01   万万没想到，RDS for MySQL原来是这样的【云图说】第38期 小云妹的数据库之旅 02   这些购买RDS for MySQL的技能实用到哭，你确定不来看看？【云图说】第41期 小云妹的数据库之旅 03   云数据库 RDS for MySQL一键实现弹性扩展是种什么样的体验？【云图说】第64期 小云妹的数据库之旅 06   数据库的私人医生—云DBA【云图说】第169期   华为云数据库 RDS for MySQL内核小版本升级全攻略【云图说】第201期 读请求太多怎么办？云数据库RDS for MySQL一键开通读写分离，轻松应对业务高峰云数据库 RDS for PostgreSQL【云图说】第48期 小云妹的数据库之旅 04   太给力了！认识云数据库 RDS for PostgreSQL只需要这三步云数据库RDS for SQL Server【云图说】第61期 小云妹的数据库之旅 05   这才是云数据库 RDS for SQL Server最正确的打开方式文档数据库服务DDS【云图说】第29期   华为云文档数据库服务（DDS），多快好省惠【云图说】第128期 小云妹之DDS实例安全基本操作【云图说】第147期 文档数据库可视化运维   高频需求一键式便捷操作【云图说】第198期 将源端MongoDB业务搬迁至华为云DDS的几种方式数据复制服务DRS【云图说】第46期 超便捷的华为云数据复制服务【云图说】第120期   小云妹带您揭秘——数据复制服务四大功能【云图说】第157期 华为云数据复制服务DRS   打造不一样的数据库迁移【云图说】第226期 DRS数据对比——带您随时观测数据一致性数据管理服务DAS【云图说】第75期 初识数据管理服务 DAS【云图说】第141期   DAS表结构对比与同步 实现您多个数据库管理心愿云数据库 GaussDB(for MySQL) 【云图说】第161期   华为云GaussDB(for MySQL)，新一代企业级高扩展海量存储分布式数据库云数据库 GaussDB NoSQL【云图说】第166期 华为云自研云数据库GaussDB NoSQL   兼容多款NoSQL接口的数据库服务云数据库GaussDB(for Cassandra)【云图说】第209期 初识云数据库GaussDB(for Cassandra) ——华为新一代Cassandra宽列云数据库云数据库GaussDB(for Redis)【云图说】第223期 初识云数据库GaussDB(for Redis)云数据库 GaussDB【云图说】第204期  初识华为云数据库GaussDB，新一代企业级分布式数据库分布式缓存服务Redis【云图说】第76期 DBA·王的Redis优化历程分布式数据库中间件DDM【云图说】第197期 初识华为云分布式数据库中间件DDM

众所周知，数据复制服务（Data Replication Service，简称DRS）是一种易用、稳定、高效、用于数据库在线迁移和数据库实时同步的云服务。目前，DRS已支持其他云、本地IDC、ECS自建MySQL、SQL Server、MongoDB（数据库种类）、PostgreSQL等多种数据库引擎，支持通过公网网络、华为VPN、华为云VPC网络环境下等多种网络场景的数据实时迁移和实时同步。同时，DRS还提供了丰富的数据辅助功能，今天，我们就来聊聊在您进行数据同步过程中的“小助手”---数据过滤。首先，我们来了解一下数据过滤特性的业务场景----数据同步。 1      数据同步介绍功能介绍数据同步是DRS的重要功能之一。即在不同的系统之间，将数据通过同步技术从一个数据源拷贝到其他数据库，并保持一致，实现关键业务的数据实时流动。常用场景实时分析，报表系统，数仓环境。功能特点数据同步功能聚焦于表和数据，并满足多种灵活性的需求，例如多对一（如下图所示）、一对多，动态增减同步表，不同表名之间同步数据等。对于数据同步有了初步的了解之后，我们可以知道，数据同步不同于迁移，迁移是以整体数据库搬迁为目的，而数据同步是维持不同业务之间的数据持续性流动。那么，在数据的定期同步、拆分汇总数据表等多种应用场景中，我们时常想要实时获取各个表中的某一部分数据来做汇总分析，这个时候，如果能够设定一些同步的规则，来帮助我们更准确、更高效的同步数据，就变得尤为重要。DRS的数据过滤特性，就是解决这种场景的必备“良药”，通过对同步的对象进行加工，为选择的对象添加规则，方便您自己设定想要同步的数据条件。下面，我们就来了解一下今天的主角----数据过滤。2      数据过滤原理基于以数据一致性为首要目标的原则，我们通过一个例子，来看看数据过滤规则添加后，在源库执行更新操作会遇到的几种场景：假设，源库中的id为1、2、3、5、6。我们设置数据过滤条件为id between 1 and 5，那么数据同步后目标库的id为1、2、3、5。如下图所示：首先，我们来看几种常见的更新场景：■  如果在源库中插入id=1.5，此id符合过滤条件（id between 1 and 5），则目标库会执行相同的更新操作。如下图所示：■  如果在源库中删除id=2，此id符合过滤条件（id between 1 and 5），则目标库会执行相同的删除动作。如下图所示：■  如果在源库中将id=3更新为id=3.5，更新后的id仍符合过滤条件（id between 1 and 5），则目标库会执行相同的更新操作。如下图所示：以上，是我们在进行数据同步时，常常遇到的几种场景。当然，有时我们也会遇到如下几种较为特殊的更新场景：■  如果我们执行更新操作，将源库中的id=2更新为id=7，即更新前源库中的id=2符合过滤条件（id between 1 and 5），更新后id=7不符合过滤条件，继续同步时，目标库会执行相同的更新操作，同步后目标库的id为1、3、5、7。如下图所示： ■  如果我们执行更新操作，将源库的id=6更新为id=4，即更新前源库中的id=6不符合过滤条件（id between 1 and 5），更新后id=4符合过滤条件，继续同步时，目标库执行相同的更新操作，但是此时目标库并没有id=6，无法匹配数据。这时，我们会根据当前同步任务选定的冲突处理策略来处理：    ●  冲突处理策略为“覆盖”，则id=4变成新数据在目标数据库插入，源库和目标库的结果仍然一致。如下图所示：    ●  冲突处理策略为“忽略”，则会忽略该更新动作，即源库有id=4，而目标库没有，这种情况目标库数据将少于源库。如下图所示：    ●  冲突处理策略为“报错”，则任务将会失败并立即中止。操作步骤1.  登录管理控制台。2.  单击管理控制台左上角的 ，选择区域和项目。    数据复制服务目前也支持通过使用专属计算集群服务购买的物理机资源，创建所需的实例，实现数据迁移和数据同步。您可以选择自己的专属计算集群。3.  在“所有服务”或“服务列表”中，选择“数据库 > 数据复制服务”，进入数据复制服务信息页面。4.  在“数据同步管理”页面，单击“创建同步任务”。5.  在“场景选择”页面，分别选择“源数据库来源”和“目标数据库来源”后，单击“下一步”进入“同步实例”页面。6.  在“同步实例”页面，填选任务名称、通知收件人信息、描述、同步实例信息，单击“下一步”。7.  同步实例创建成功后，在“源库及目标库”页面，填选源库信息和目标库信息后，单击“源库和目标库”处的“测试连接”，分别测试并确定与源库和目标库连通后，勾选协议，单击“下一步”。            8. 在“设置同步”页面，选择数据冲突策略和同步对象，单击“下一步”。                图1 同步模式                    表1 同步模式和对象参数描述冲突策略说明Oracle->RDS for MySQL同步不支持冲突策略。数据复制服务提供的数据同步功能使用了主键或唯一键冲突策略，这些策略可以由您自主选择，尽可能保证源数据库中有主键约束或唯一键约束的表同步到目标数据库是符合预期的。冲突策略目前支持如下三种形式：●   忽略当同步数据与目标数据库已有数据冲突时（主键/唯一键存在重复等），将跳过冲突数据，继续进行后续同步。●    报错当同步数据与目标数据库已有数据冲突时（主键/唯一键存在重复等），同步任务将失败并立即中止。●    覆盖当同步数据与目标数据库已有数据冲突时（主键/唯一键存在重复等），将覆盖原来的冲突数据。说明目前仅MySQL->RDS for MySQL的同步场景支持设置“覆盖”冲突策略。当数据发生冲突时，针对如下情况，建议选择“忽略”或者“覆盖”，否则建议选择“报错”：●   目标数据库存在数据●   多对一同步场景●   目标数据库手动更新数据是否过滤DROP   DATABASE说明Oracle->RDS for MySQL同步不支持该功能。数据同步过程中，源数据库端执行的DDL操作在一定程度上会影响数据的同步能力，为了降低同步数据的风险，数据复制服务提供了过滤DDL操作的功能。目前支持默认过滤删除数据库的操作。●    是，表示数据同步过程中不会同步用户在源数据库端执行的删除数据库的操作。    否，则表示数据同步过程中将相关操作同步到目标库。说明目前仅MySQL->MySQL的数据同步场景支持过滤DDL操作。对象同步范围对象同步范围支持索引同步，您可以根据业务需求选择是否进行索引同步。同步对象同步对象支持库级和表级同步，您可以根据业务场景选择对应的数据进行同步。如果有切换源数据库的操作，请在选择同步对象前单击右上角的，以确保待选择的对象为最新源数据库对象。数据同步功能可以支持源数据库和目标数据库中的同步对象（包括数据库、schema、表）的名称不同。如果同步的数据库对象在源数据库和目标数据库中的命名不同，那么可以使用数据复制服务提供的对象名映射功能进行映射。其中包括：库映射、schema映射、表映射。          9.  在“数据加工”页面，“加工类型”选择“数据过滤”            图2 数据加工10.   在“对象选择”区域选择需要加工的表对象。11.   在过滤条件区域，填写过滤条件（只需填写SQL语句的WHERE之后部分，例如id=1）后，单击“校验”。●    每张表仅支持添加一个校验规则。●    Oracle为源库的数据过滤每次最多支持20000张表，MySQL为源库的数据过滤每次最多支持10000张表。●    过滤条件不支持使用某种数据库引擎特有的packege、函数、变量、常量等写法，须使用通用SQL标准。12.   校验通过后，单击“生成加工规则”，即可在加工规则表格中看到该规则。13.   检查无误后，单击“下一步”，进入下一步操作。----结束DRS的数据同步功能除了提供数据过滤的贴心特性之外，还提供了对象名映射、异常诊断、续传、重试、暂停、重置等多种特性，给您的数据同步场景提供保障，解决您的后顾之忧，欲了解详情请戳这里。DRS提供在线迁移、备份迁移、数据同步、数据订阅和多活灾备等多种功能，以各自独有的特点适用不同的数据流通场景，为您提供安心且省心的数据复制体验。欲了解详情请戳这里。

【问题影响】UNS服务不可用，TC/SC用户无法登录用户计算机。【可能原因】IP发生变化，该IP产生的告警需要手工清除。UNS服务器没有正常运行。与UNS服务器对接的ITA服务器的北向接口帐号被锁定。配置的ITA通讯帐号密码不正确。网络问题。【处理步骤】1、检查与UNS服务器对接的ITA服务器的北向接口帐号是否被锁定。是，解锁该北向接口帐号。否，执行步骤 2。2、使用gandalf帐号登录ITA服务器，查看与UNS服务器的网络是否正常。输入ping -c 3 UNS服务器的IP，查看通信是否正常。检查UNS对接的FusionAccess中，配置的WI名称是否正确。与UNS对接的FusionAccess中，对应的WI集群名称。该名称必须与该套FusionAccess中ITA上配置的WI集群名称保持一致。如果对接的ITA版本为V100R02C01，则该处填写DESKTOPID。是，执行步骤 3。否，执行步骤 4。返回信息类似如下所示，则通信正常。PING 192.168.190.2 (192.168.190.2) 56(84) bytes of data. 64 bytes from 192.168.190.2: icmp_seq=1 ttl=64 time=0.047 ms 64 bytes from 192.168.190.2: icmp_seq=2 ttl=64 time=0.057 ms 64 bytes from 192.168.190.2: icmp_seq=3 ttl=64 time=0.058 ms （注：以上IP仅为举例，应以实际IP为准）     3、如果对接的ITA版本为V100R005C30或ProductVersion-XXXX，请确认配置的ITA通讯帐号密码是否正确？是，执行步骤 6。否，可以在“FusionAccess”上重新配置UNS中的ITA通讯密码以确保正确，然后执行步骤 5。4、根据现场具体情况定位和排除网络故障。5、在“FusionAccess > 监控 > 告警”上查看告警是否还存在？是，执行步骤 6。否，处理完毕。6、查看UNS服务的状态是否正常。打开CloudClient，地址栏输入https://UNS服务器的业务平面IP地址/services/monitor/monitorStatus，查看UNS服务是否正常。是，执行步骤 10。否，执行步骤 7。浏览器显示结果如果包含下面的数据（有些浏览器会提示下载文件，则下载文件的内容包含如下数据），则UNS服务正常。{"resultCode":0,"WIState":"ok","clientIP":"IP地址"}7、使用管理员帐号登录UNS服务器，调用shell命令service WIService restart重启UNS服务。8、按照步骤 6再次检测UNS服务是否正常。是，执行步骤 9。否，联系技术支持处理。9、在“FusionAccess > 监控 > 告警”上查看告警是否还存在？是，执行步骤 10。否，处理完毕。10、调用shell命令netstat -an | grep 4477查看4477端口是否是监听状态是，执行步骤 11。否，联系技术支持处理。11、ITA服务器的系统防火墙默认是关闭的，系统防火墙可能会拦截从UNS返回的消息，请检查ITA服务器的系统防火墙是否关闭。是，联系技术支持处理。否，关闭ITA服务器的系统防火墙。12、在“FusionAccess > 监控 > 告警”上查看告警是否还存在？是，执行步骤 13。否，处理完毕。13、检查UNS服务器与其对接的所有ITA服务器的北向接口证书和密码是否一致，请参考配置UNS。是，联系技术支持处理。否，根据资料进行证书配置。14、重新同步UNS数据，然后在“FusionAccess > 监控 > 告警”上查看告警是否还存在？是，联系技术支持处理。否，处理完毕。

【业务场景及诉求】希望将不同区域“华北-北京四”的rds与“亚太-新加坡”的rds进行迁移和数据同步，网络配置使用云连接CC。【配置方法】：1.资源准备：华北-北京四rds：rds-bj4内网地址 172.16.111.204虚拟私有云 vpc-bj4子网 subnet-bj4 (172.16.111.0/24)亚太-新加坡rds：rds-xjp内网地址 192.168.1.84虚拟私有云 vpc-xjp子网 subnet-xjp (192.168.1.0/24)2.创建云连接实例。a.登录华为云控制台b.打开服务列表，单击“网络 > 云连接”。c.进入云连接服务信息页面，单击“创建云连接”，开始创建云连接实例。3.为cc实例添加网络实例a.在云连接列表中，单击目标云连接实例名称，进入云连接详情页面。b.在云连接实例详情页面中，默认显示“网络实例”页签。c.在加载网络实例页签中，单击“加载网络实例”。d.在“加载网络实例”页面中，加载同账号网络实例。e.将两个rds所在的vpc依次添加进来。f.特别注意：已在其他cc实例中添加过的vpc，将搜索不到。4.购买带宽包，配置域间带宽a.为了实现相同大区不同区域或不同大区之间的互通，用户需要先购买带宽包，并绑定到对应的云连接实例中。b.分为两个不同的大区：中国大陆、亚太。c.购买带宽包时，按需要选择对应的互通类型和大区。d.购买带宽包后，进入云连接实例详情页面，在域间带宽页签中，单击“配置域间带宽”，配置完域间带宽后，配置了带宽的区域间就可以进行正常通信。5.云连接默认跨区域互通带宽为10kbps，仅用于测试连通性，需配置域间带宽以保证业务正常使用。因此，虽然cc实例没有配置域间带宽，但是已经可以创建drs灾备任务进行测试了。  （这篇案例中只做了测试使用，没有配置域间带宽，特别注意：正常情况下，需要为云连接实例配置域间带宽以保证业务正常使用！！！ 参考链接：https://support.huaweicloud.com/qs-cc/cc_02_0201.html）6.在北京四创建灾备任务。a.登录drs控制台，选择多活灾备管理，点击右上角的创建灾备任务。b.使用云连接，网络类型要选择vpn、专线网络7.测试源库和目标库的联通性*如果创建drs任务的时候本云为备，要注意将源库的安全组对drs实例的ip地址放通数据库端口，否则测试连接将会失败。*如果本云为主，要注意将目标库的安全组对drs实例的ip地址放通数据库端口，否则测试连接将会失败。8.下一步，进行预检查*目标库要为空库，若不是空库，将会报错。9.下一步启动任务，查看情况10.点击灾备任务名称，进入详情页，可以看到基本信息、灾备进度、灾备监控、灾备对比、灾备数据、灾备日志和标签等功能。点击对应功能，查看灾备任务详情，可以清晰的掌握迁移进度。相关干货文档推荐：DRS上手手册

       说起保险，大家都不会陌生。生病可以买医疗保险，开车可以买车险，坐飞机、高铁可以买延误险，可以说保险真正走入了我们的日常生活。得益于互联网技术的应用，挑选、购买保险都变得更加简单，我们在电脑、手机端随便动动手指就可以完成购买保险的一系列流程，快速高效而又便捷省心。       云+5G+AI时代的到来更加速了保险行业的数字化、智能化升级转型之路。众惠财产相互保险社（以下简称众惠相互）自创立以来一直非常重视互联网技术的应用升级，面对新时代的技术浪潮，众惠相互顺势而变，希望借助云的力量，把原先部署在其它云数据库上的数据迁移到华为专属计算集群，建设一套高可用、高安全的云上应用级双活数据中心灾难备份体系，用更先进的技术为客户提供更加优质的服务体验。知易行难，巧破“拦路虎”       灾备建设之路并非坦途，作为中国特色相互保险实践的先行者和探索者，众惠相互除了满足银保监会监管要求，还需要面对IT系统建设的高要求和业务创新提出的双重挑战，尤其是数据库全业务迁移这种大工程，客户需要充分考虑数据安全，业务连续性，数据的完整性和一致性，迁移过程风险，迁移实施成本等问题，要在不影响业务的情况下，将源数据库原封不动的平滑迁移到新目标库，这是众惠相互云上转型必须要解决的“拦路虎”。       在层层考量评估下，众惠相互将目光投向了华为云，一场在保险行业的全业务系统云上应用级双活数据中心建设也由此拉开了序幕。华为云数据复制服务DRS也在这场建设中表现出了非凡的能力。业务不停歇，百套数据轻松迁       众惠相互迁移的数据涉及到生产环境和非生产环境两个系统的数据，数据量多达上百套，而依托华为云DRS的卓越迁移能力，众惠相互历时4个月完成了全库业务数据库迁移，实现了业务快速上线和运行稳定，成功打造了国内首个相互保险行业“全数据中心”迁移标杆项目。       华为云DRS服务支持华为云数据库与云下数据库、它云数据库、云内跨区的数据迁移，而且基于“做最懂客户迁移难题的产品”的理念，华为云DRS操作简单，容易上手，大大降低了迁移的难度，是企业“搬家”的小能手，零基础的新人也可以轻松胜任云上数据库高效迁移。       众惠相互在华为云DRS能力加持下，自主完成了包括开发、集成测试、外部测试等非生产环境系统的全量数据迁移，整个过程业务无须停机，最大化减轻了对业务发展的影响，节省了大量的迁移和人员成本。全程无感迁移，数据安全有保证       生产环境系统数据是企业核心数据资产，承担着企业未来发展的重任，容不得一丝错误。华为云DRS致力于实现“让生产数据库迁移比想象中简单，比预期要快和顺”，所以在上线前，华为云数据库团队对该系统进行层层部署和反复演练，排除所有安全隐患，并在业务正常运行情况下，1个月内将生产系统数据平滑搬迁到了新架构数据中，实现了各系统充分紧密关联，业务持续稳定，整个过程快而稳，而且实现了最大程度的无感迁移。     “经过夜晚的切换动作，第二天全部的外部业务，如平日使用一样，完全想不到这是一场全机房的搬迁。” 对接众惠相互的业务数据平台的某第三方软件商说道。众惠相互云上应用级双活数据中心架构图       众惠相互凭借华为云DRS优秀的迁移能力，并基于华为云提供的弹性负载均衡、云数据库、专属网络等云服务，对业务系统完成重构，最终实现业务连续性RPO为0、RTO分钟级 、资源闲置率为0%、资源投入节省25%，成功实现相互保险全业务系统云上应用级双活数据中心建设。       此次上云改造，众惠相互的IT系统达到了架构上和可靠性上的新高度，极大增强了企业核心竞争力。华为云未来也会在数据库水平垂直拆分和异地灾备建设方面，持续助力众惠相互在保险业务上的进一步创新，提升保险服务能力，为用户提供更广泛、更贴心、更专业的服务。更多详情了解。

前言最近写了很多数据库相关的文章，大家基本上对数据库也有了很多的了解，数据库本身有所了解了，我们是不是应该回归业务本身呢？大家去了解过自己企业数据库的部署方式么？是怎么部署的，又是部署在哪里的？部署过程中可能会出现的问题有哪些？是主从？还是双主？有没有分库？大的表做了分表没？等等...部署方式大概率也都是分库的，表数量级超千万基本上都开始分表了，考虑周全的企业，肯定也有数据库的冷备，热备，灾备，以及异地容灾等等。我还记得我大学做项目，学校就是买了很多物理机，我们的项目和数据库都是部署在自己内部的服务器上的，那家伙一到夏天风我嗡嗡嗡的吹，烦死了，机房还很热。但是我敢打赌，大家现在所在的企业，大概率都是使用了各种云服务厂商的服务部署方式，那就引入了今天的第一个思考。为什么数据库要上云呢？我们公司的大多数服务以及数据库都是在对应的云服务厂商的，那问题就来了，为啥都要上云呢？在思考这个问题的时候，我第一时间想到了反证法，不上云的坏处是啥？成本相较于传统服务器需要购买、租用的方式，云服务器采用即用即收费的方式，减少购买成本，灵活扩展的容量可以按自己需求来定，不用前期估量需要用多少。我之前所在的电商活动团队，每次到了大促我们就去租赁云服务厂商的流量机，等活动结束就还回去，真的就是成本最大化了，而且还是根据你的使用流量计费。如果大家还是使用自己购买的服务器，那这个时候难道去临时采购么？虽然我知道百度就是在某年春节活动的时候采购了N多物理机，但是性质不一样，他们是能最大化利用这些服务器的，他们甚至可以开发云服务自己做云服务厂商，实际上他们确实也这么做了。性能云服务器实现了硬件上的隔离以及宽带上的独享，不受到地域、流量等的限制，可以持续的进行业务交流，不会因中断影响效果。如果大家还是使用物理机，那去运营商迁专线的带宽成本，还有物理机性能的问题也不一定能更上。由于现在成本问题，你们公司买了很多低配的服务器，但是突然你们业务体量几何增长，怎么办？继续买高配的？显然不是很合适。这谁顶得住啊？管理云服务器可以实现远程同步管理，共享，各种业务的备份。传统服务器需要在某一网络区域内，有可能受到网络影响导致资料缺失。上面我提到的冷备，热备，灾备其实我们购买的服务器都能做的，但是放着一个不知道什么时候才能用到的服务器在那，真的很浪费。而且也有他做不到的，比如灾备，如果你公司在震区，要是还用物理服务器，基本上等于自杀，发送自然灾害的时候全球的用户都无法访问你，交给服务厂商就不一样了，他们选址很有讲究的，并且在各个地方都建立自己的数据中心，保证了高可用。安全为了保证云平台的可靠性，云服务平台公司肯定会投入大量的功夫，有一套可靠的安全保障系统，平台使用者不必担心平台稳定性、安全性问题。物理机一旦高权限的所有者使坏，基本上都是不可恢复的灾难，虽然云服务也一样，但是合理使用，和适当的权限收敛，完全可以做到更高级别的安全的。微盟事件大家也知道，如果提前做好各种全量，增量备份其实就没什么大问题的，再者就是权限收敛问题，我司在对应的数据库服务器上是禁用了rm -rf 、fdisk以及drop这样的极端操作的。所有数据库的查询更是自己的组件查询，连update都无法操作（只能靠代码）。如果还是使用物理机，就需要自己去维护，升级打补丁，很难保证不被黑客入侵，之前我就遇到过服务器补丁打迟了，导致被黑客攻击，劫持拿去挖矿了，而云服务厂商的安全系统都是实时更新的。小结：没有特殊情况，能用云产品就直接用云产品，因为云产品提供的不仅仅是产品能力，最关键的是关键时刻的容灾、应急和服务能力，这些能力，并不是所有公司都能完整建设一套，甚至是很多公司想都想不到的。到目前为止，虽然各大云厂商包括他们的产品，都还有这样那样的问题，但是从体系上，云仍然是最完善，最规范的，直接一点讲，比99%的公司做的都要好。上云需要考虑的问题这里很有意思，我在写这个文章的时候，我司正在做部分业务上云，以及云迁移这样的业务，这让我联想到了很多有意思的事情。我们现在是从某云迁移到华为云，我想大家也会与这样的场景，但是这样迁移会带来一些什么样的问题呢？不知道大家思考过没？其实从本地到云，或者从云到云，要思考的点估计是差多的，那我先抛出一些问题，看下这些问题华为云服务厂商是怎么解决的。迁移失败：数据迁移失败怎么办数据丢失：怎么判断迁移后数据是否完整业务中断：迁移到一半遇到不可抗力怎么办数据、传输加密：数据传输过程中怎么加密，防止被不法之徒中途获取数据热切换：怎么做到不停服切换，以及数据源切换过程中的数据一致性这些问题是我们不得不考虑的，大家是不是以为迁移多简单，那我想问一下，假如是订单库呢？大一点的电商每一秒，甚至是每一毫秒都是有订单的，哪怕是凌晨，别问我为什么知道咳咳。那你肯定不能停服去迁移数据库，你需要一边迁移一边接受新的数据，这个时候就需要一些技巧了，不知道redis字典的rehash大家知道么？rehash在需要扩容的时候，redis会新建一个hash字典，这个时候老的停止接收数据，新数据放到新的字典，同时慢慢把老数据拿过来，其实这个思想，在数据库迁移也是可以用的，但是数据库的操作，往往都是基于数据的，并不是都是增量。那简单，做点取巧的操作也可以，那云厂商的已经把我上面提到的所有问题都肯定考虑过了，我接触的是华为云，华为云使用了DRS（Data Replication Service 数据复制服务）做数据库迁移的事情，他怎么做的呢？DRS：数据复制服务(Data Replication Service，简称为 DRS)是一种易用、稳定、高效，用于数据库在线迁移和数据库实时同步的云服务。 DRS 围绕云数据库，降低了数据库之间数据流通的复杂性，有效地帮助您减少数据传输的成本。大家可能会好奇，为啥不自己去实现数据迁移，要用别人的组件呢？其实车轮子这个，如果你没更好的思路你还是用别人写好的就好了，你能比得过专业团队的研发结果嘛？不过技术背后的实现，解决的问题还是需要我们去关心的，不然DRS什么都帮我们做了，我们动动鼠标就解决了，你怎么得到收获呢？这才是今天探讨的重点。我说一下用车轮的好处吧：降低成本，降低技术门槛、降低风险人力成本时间成本，都是很昂贵的，如果一个现成的东西都帮我们做了，我们还去开发干嘛？再者，我相信大部分公司还是没专门的DBA的，但是车轮子在了，我们开发也能去做迁移这样的事情了，不是嘛？我们传统技术迁库耗时耗力不说了，失败率是真的高，还有数据对比等等，很头疼，我之前东家数据库迁移都是半夜，搞一晚上，天亮都不一定搞好了，要是没好，用户上线了，还的暂停。不过即使是使用了工具，一个数据库完整的迁移流程却还是应该很严谨的，大家可能会疑惑再严谨能有多严谨？给你看个图你就知道了：华为云的DRS的在线迁移怎么做的呢？可以看到，迁移图中是使用到了VPN，这个的作用主要就是保住一个高速稳定的传输，以及传输数据的加密，万一你同步的过程被其他对手公司抓到，那？在文章后面，你可以看到华为云DRS是怎么做的网络安全，我做了一次完整的迁移实战，并且做了总结。迁移实战他迁移很简单，都有教程，我用过一遍，大致步骤如下：迁移作为一个特殊时期，业务配合、人为配合是最关键的，部分操作一定要规避，比如说常见的：不能将源数据库日志强制清理掉不能将用于连接源数据库的用户密码修改掉、或者删除掉不能将表长时间锁定，导致外部都无法查询该表他在迁移之前可以做一个迁移预检查，从官方文档来看，都是对过往迁移案例总结出来的检查步骤，可以让迁移成功有更好的保障，这点挺好可以在迁移前夕找出问题所在，我也失败过，是因为环境问题，都给了很明确的指示。大家不知道思考过没，就是数据迁移了，但是如果数据库的设置没迁移那也是很麻烦的，如果一个迁移工具能够做到把DBA设置的好的User权限迁移了，以及我们设置的各种触发器，数据库字符集设置都迁移了，那才是我理想的一个迁移工具，是的华为云DRS做了，这就是比较优秀的点了，真的省了很多功夫。特别是对于数据库各种设置并没那么了解的开发来说，这功能确实是很福利了，而且还有性能参数，类似各种buffer大小，cache大小等等他都能迁移，甚至可以做到流控，还可以随时改变流控就更优秀了：迁移模式多样化，这是我准备开始迁移的第一感受，我上面提到过，如果不能增量迁移将毫无意义，DRS还是想到了，这让我觉得好像有点暖，说着说着我的眼角又湿润了...因为大部分的场景我们都是线上业务的不停服迁移，在迁移过程中，还是不断的有增量数据在涌入的，敖丙之前所经历过的数据库迁移基本上也都是全量+增量的迁移模式，全量的场景只存在内部系统，或者离线数据等。其实这里的技术核心就在于怎么去保证增量的数据也能保证不丢失正确的迁移，我猜是通过binlog同步的，我看了下他的文档，日志，果然被我猜对了。DRS是通过全量迁移过程完成历史数据迁移至目标数据库后，增量迁移阶段通过捕抓日志，应用日志等技术，将源端和目标端数据库保持数据一致，这里的保持一致后面也会提到，他提供了完整的数据对比功能。迁移过程很简单，进度完全可以看到，数据的延迟也可以很直观的看到：迁移结束之后，DRS提供了数据对比，其实数据对比以前我做迁移的时候，我们都是通过对比数据库行数去做的，因为没这样的迁移工具，我发现了很暖心的一点就是内容对比，这一点让我很惊喜，因为行数的对比还是不够严谨，修改的日志如果缺失行数的对比也是没用的。imgimg等待对比完成，点击“查看对比报表”，可以了解对比详情，详情页面如图所示：上面提到的网络安全问题，我也在DRS找到了答案，他们会使用特定的加密协议进行数据传输，还可以用特定的VPN挂载网络传输：DRS还做了迁移监控，可以看到实时进度，让整个迁移进度比较可视化，中间的异常也一目了然，说实话工具真的就是香，以前想都不敢想，我们熬夜就生怕一个环节出错，而且经常还是后知后觉的，可视化的流程会你对迁移有一种掌控感。迁移完成：从我开始迁移到结束，整个流程其实不到2小时，这个放在以前是不敢想的，这波体验我是很满意的，让我一个开发就做到了以前DBA才能做的事情，说着说了旁边的DBA的眼角也湿润了....小结整个体验我觉得是很不错的，我总结几个我觉得DRS独特的设计和使用场景：迁移限速，根据限定时间段设置迁移速度上限应用场景:有些流量型app，比如游戏厂商等客户，      迁移时源数据库的公网、VPN不能打满（打满将影响其对外业务，或者影响共用VPN 带宽）有些业务负载较重，或着客户无法接受 业务时间应用程序因为迁移带来额外负载用户迁移(权限、密码、 definer)，完整继承源权限体系应用场景:市面上的迁移产品均不支持用户的迁移， 也就是说如果用户没有注意，或者不懂用户迁移，那么迁移后业务必然报错， DRS提供了全套的用户权限继承设计， 可以将权限、密码、definer保留迁移至目标数据库，确保迁移后权限安全、业务稳定，可以让不熟悉数据库的客户迁移时，仍然可以完成一场精细的、高质量的数据库迁移。参数对比，迁移后业务稳定应用场景:市面上的迁移产品均不支持参数的迁移，而数据库参数不一样，这将直接导致业务程序      运行报错(举个简单例子session数迁移后变小了)，DRS选定了业务和性能强相关关键的参数，避免了这些参数后续因为没有继承源环境设置，而导致业务报错或性能下降，      可以让不熟悉数据库的客户迁移时，仍然可以完成一场精细的、高质量的数据库迁移。数据校对平台，割接好帮手应用场景:市面上的迁移产品均不支持数据的对比，校对工作留给用户测，DRS提供了丰富的对比功能:对象对比数据级对比对比可定时，可取消利用对比定时任务，可以选择凌晨等业务低峰期 进行数据一致性对比，第二天可以查看数据对比结果，对于迁移情况做到完全掌握。 可以让不熟悉数据库的客户迁移时，仍然可以完成一场精细的、高质量的数据库迁移。触发器、事件的迁移应用场景:市面上的迁移产品均不支持触发器、事件的迁移，精通迁移的用户关注这些细节，因      为触发器和事件也是数据库的一部分，触发器和事件存在关键的业务逻辑，这些对象 不支持迁移，业务必然报错，甚至造成不可挽回的损失。可以让不熟悉数据库的客户迁移时，仍然可以完成一场精细的、高质量的数据库迁移。注：【部分图片来源网络 侵删】总结其实给大家介绍这样DRS的一个背景和技术，主要是希望跟大家跟我一起做一次完整数据迁移，一起去探讨技术背后的场景，以及场景背后我们应该有技术思考。不过这次体验真的，让我不得不感慨技术的便捷性，以前数据库迁移都是团队开发以及测试一个团队熬夜守着数据库迁移，最后验证测试才能走的，所有人拖着疲惫的身躯看着升起的太阳，眼角都湿了...现在我自己看看教程动动手指就完成了一场大规模的数据库迁移演练，在享受技术给我带来方便的同时，也让我对技术背后的具体实现和人生的意义陷入了深深的思考。或许这就是技术的价值吧，或许这就是这么多工程师日日夜夜辛苦的意义吧，或许...我是敖丙，你知道的越多，你不知道的越多，我们下期见！ 

前言最近写了很多数据库相关的文章，大家基本上对数据库也有了很多的了解，数据库本身有所了解了，我们是不是应该回归业务本身呢？大家去了解过自己企业数据库的部署方式么？是怎么部署的，又是部署在哪里的？部署过程中可能会出现的问题有哪些？是主从？还是双主？有没有分库？大的表做了分表没？等等...部署方式大概率也都是分库的，表数量级超千万基本上都开始分表了，考虑周全的企业，肯定也有数据库的冷备，热备，灾备，以及异地容灾等等。我还记得我大学做项目，学校就是买了很多物理机，我们的项目和数据库都是部署在自己内部的服务器上的，那家伙一到夏天风我嗡嗡嗡的吹，烦死了，机房还很热。但是我敢打赌，大家现在所在的企业，大概率都是使用了各种云服务厂商的服务部署方式，那就引入了今天的第一个思考。为什么数据库要上云呢？我们公司的大多数服务以及数据库都是在对应的云服务厂商的，那问题就来了，为啥都要上云呢？在思考这个问题的时候，我第一时间想到了反证法，不上云的坏处是啥？成本相较于传统服务器需要购买、租用的方式，云服务器采用即用即收费的方式，减少购买成本，灵活扩展的容量可以按自己需求来定，不用前期估量需要用多少。我之前所在的电商活动团队，每次到了大促我们就去租赁云服务厂商的流量机，等活动结束就还回去，真的就是成本最大化了，而且还是根据你的使用流量计费。如果大家还是使用自己购买的服务器，那这个时候难道去临时采购么？虽然我知道百度就是在某年春节活动的时候采购了N多物理机，但是性质不一样，他们是能最大化利用这些服务器的，他们甚至可以开发云服务自己做云服务厂商，实际上他们确实也这么做了。性能云服务器实现了硬件上的隔离以及宽带上的独享，不受到地域、流量等的限制，可以持续的进行业务交流，不会因中断影响效果。如果大家还是使用物理机，那去运营商迁专线的带宽成本，还有物理机性能的问题也不一定能更上。由于现在成本问题，你们公司买了很多低配的服务器，但是突然你们业务体量几何增长，怎么办？继续买高配的？显然不是很合适。这谁顶得住啊？管理云服务器可以实现远程同步管理，共享，各种业务的备份。传统服务器需要在某一网络区域内，有可能受到网络影响导致资料缺失。上面我提到的冷备，热备，灾备其实我们购买的服务器都能做的，但是放着一个不知道什么时候才能用到的服务器在那，真的很浪费。而且也有他做不到的，比如灾备，如果你公司在震区，要是还用物理服务器，基本上等于自杀，发送自然灾害的时候全球的用户都无法访问你，交给服务厂商就不一样了，他们选址很有讲究的，并且在各个地方都建立自己的数据中心，保证了高可用。安全为了保证云平台的可靠性，云服务平台公司肯定会投入大量的功夫，有一套可靠的安全保障系统，平台使用者不必担心平台稳定性、安全性问题。物理机一旦高权限的所有者使坏，基本上都是不可恢复的灾难，虽然云服务也一样，但是合理使用，和适当的权限收敛，完全可以做到更高级别的安全的。微盟事件大家也知道，如果提前做好各种全量，增量备份其实就没什么大问题的，再者就是权限收敛问题，我司在对应的数据库服务器上是禁用了rm -rf 、fdisk以及drop这样的极端操作的。所有数据库的查询更是自己的组件查询，连update都无法操作（只能靠代码）。如果还是使用物理机，就需要自己去维护，升级打补丁，很难保证不被黑客入侵，之前我就遇到过服务器补丁打迟了，导致被黑客攻击，劫持拿去挖矿了，而云服务厂商的安全系统都是实时更新的。小结：没有特殊情况，能用云产品就直接用云产品，因为云产品提供的不仅仅是产品能力，最关键的是关键时刻的容灾、应急和服务能力，这些能力，并不是所有公司都能完整建设一套，甚至是很多公司想都想不到的。到目前为止，虽然各大云厂商包括他们的产品，都还有这样那样的问题，但是从体系上，云仍然是最完善，最规范的，直接一点讲，比99%的公司做的都要好。上云需要考虑的问题这里很有意思，我在写这个文章的时候，我司正在做部分业务上云，以及云迁移这样的业务，这让我联想到了很多有意思的事情。我们现在是从某云迁移到华为云，我想大家也会与这样的场景，但是这样迁移会带来一些什么样的问题呢？不知道大家思考过没？其实从本地到云，或者从云到云，要思考的点估计是差多的，那我先抛出一些问题，看下这些问题华为云服务厂商是怎么解决的。迁移失败：数据迁移失败怎么办数据丢失：怎么判断迁移后数据是否完整业务中断：迁移到一半遇到不可抗力怎么办数据、传输加密：数据传输过程中怎么加密，防止被不法之徒中途获取数据热切换：怎么做到不停服切换，以及数据源切换过程中的数据一致性这些问题是我们不得不考虑的，大家是不是以为迁移多简单，那我想问一下，假如是订单库呢？大一点的电商每一秒，甚至是每一毫秒都是有订单的，哪怕是凌晨，别问我为什么知道咳咳。那你肯定不能停服去迁移数据库，你需要一边迁移一边接受新的数据，这个时候就需要一些技巧了，不知道redis字典的rehash大家知道么？rehash在需要扩容的时候，redis会新建一个hash字典，这个时候老的停止接收数据，新数据放到新的字典，同时慢慢把老数据拿过来，其实这个思想，在数据库迁移也是可以用的，但是数据库的操作，往往都是基于数据的，并不是都是增量。那简单，做点取巧的操作也可以，那云厂商的已经把我上面提到的所有问题都肯定考虑过了，我接触的是华为云，华为云使用了DRS（Data Replication Service 数据复制服务）做数据库迁移的事情，他怎么做的呢？DRS：数据复制服务(Data Replication Service，简称为 DRS)是一种易用、稳定、高效，用于数据库在线迁移和数据库实时同步的云服务。 DRS 围绕云数据库，降低了数据库之间数据流通的复杂性，有效地帮助您减少数据传输的成本。大家可能会好奇，为啥不自己去实现数据迁移，要用别人的组件呢？其实车轮子这个，如果你没更好的思路你还是用别人写好的就好了，你能比得过专业团队的研发结果嘛？不过技术背后的实现，解决的问题还是需要我们去关心的，不然DRS什么都帮我们做了，我们动动鼠标就解决了，你怎么得到收获呢？这才是今天探讨的重点。我说一下用车轮的好处吧：降低成本，降低技术门槛、降低风险人力成本时间成本，都是很昂贵的，如果一个现成的东西都帮我们做了，我们还去开发干嘛？再者，我相信大部分公司还是没专门的DBA的，但是车轮子在了，我们开发也能去做迁移这样的事情了，不是嘛？我们传统技术迁库耗时耗力不说了，失败率是真的高，还有数据对比等等，很头疼，我之前东家数据库迁移都是半夜，搞一晚上，天亮都不一定搞好了，要是没好，用户上线了，还的暂停。不过即使是使用了工具，一个数据库完整的迁移流程却还是应该很严谨的，大家可能会疑惑再严谨能有多严谨？给你看个图你就知道了：华为云的DRS的在线迁移怎么做的呢？可以看到，迁移图中是使用到了VPN，这个的作用主要就是保住一个高速稳定的传输，以及传输数据的加密，万一你同步的过程被其他对手公司抓到，那？在文章后面，你可以看到华为云DRS是怎么做的网络安全，我做了一次完整的迁移实战，并且做了总结。迁移实战他迁移很简单，都有教程，我用过一遍，大致步骤如下：迁移作为一个特殊时期，业务配合、人为配合是最关键的，部分操作一定要规避，比如说常见的：不能将源数据库日志强制清理掉不能将用于连接源数据库的用户密码修改掉、或者删除掉不能将表长时间锁定，导致外部都无法查询该表他在迁移之前可以做一个迁移预检查，从官方文档来看，都是对过往迁移案例总结出来的检查步骤，可以让迁移成功有更好的保障，这点挺好可以在迁移前夕找出问题所在，我也失败过，是因为环境问题，都给了很明确的指示。大家不知道思考过没，就是数据迁移了，但是如果数据库的设置没迁移那也是很麻烦的，如果一个迁移工具能够做到把DBA设置的好的User权限迁移了，以及我们设置的各种触发器，数据库字符集设置都迁移了，那才是我理想的一个迁移工具，是的华为云DRS做了，这就是比较优秀的点了，真的省了很多功夫。特别是对于数据库各种设置并没那么了解的开发来说，这功能确实是很福利了，而且还有性能参数，类似各种buffer大小，cache大小等等他都能迁移，甚至可以做到流控，还可以随时改变流控就更优秀了：迁移模式多样化，这是我准备开始迁移的第一感受，我上面提到过，如果不能增量迁移将毫无意义，DRS还是想到了，这让我觉得好像有点暖，说着说着我的眼角又湿润了...因为大部分的场景我们都是线上业务的不停服迁移，在迁移过程中，还是不断的有增量数据在涌入的，敖丙之前所经历过的数据库迁移基本上也都是全量+增量的迁移模式，全量的场景只存在内部系统，或者离线数据等。其实这里的技术核心就在于怎么去保证增量的数据也能保证不丢失正确的迁移，我猜是通过binlog同步的，我看了下他的文档，日志，果然被我猜对了。DRS是通过全量迁移过程完成历史数据迁移至目标数据库后，增量迁移阶段通过捕抓日志，应用日志等技术，将源端和目标端数据库保持数据一致，这里的保持一致后面也会提到，他提供了完整的数据对比功能。迁移过程很简单，进度完全可以看到，数据的延迟也可以很直观的看到：迁移结束之后，DRS提供了数据对比，其实数据对比以前我做迁移的时候，我们都是通过对比数据库行数去做的，因为没这样的迁移工具，我发现了很暖心的一点就是内容对比，这一点让我很惊喜，因为行数的对比还是不够严谨，修改的日志如果缺失行数的对比也是没用的。imgimg等待对比完成，点击“查看对比报表”，可以了解对比详情，详情页面如图所示：上面提到的网络安全问题，我也在DRS找到了答案，他们会使用特定的加密协议进行数据传输，还可以用特定的VPN挂载网络传输：DRS还做了迁移监控，可以看到实时进度，让整个迁移进度比较可视化，中间的异常也一目了然，说实话工具真的就是香，以前想都不敢想，我们熬夜就生怕一个环节出错，而且经常还是后知后觉的，可视化的流程会你对迁移有一种掌控感。迁移完成：从我开始迁移到结束，整个流程其实不到2小时，这个放在以前是不敢想的，这波体验我是很满意的，让我一个开发就做到了以前DBA才能做的事情，说着说了旁边的DBA的眼角也湿润了....小结整个体验我觉得是很不错的，我总结几个我觉得DRS独特的设计和使用场景：迁移限速，根据限定时间段设置迁移速度上限应用场景:有些流量型app，比如游戏厂商等客户，      迁移时源数据库的公网、VPN不能打满（打满将影响其对外业务，或者影响共用VPN 带宽）有些业务负载较重，或着客户无法接受 业务时间应用程序因为迁移带来额外负载用户迁移(权限、密码、 definer)，完整继承源权限体系应用场景:市面上的迁移产品均不支持用户的迁移， 也就是说如果用户没有注意，或者不懂用户迁移，那么迁移后业务必然报错， DRS提供了全套的用户权限继承设计， 可以将权限、密码、definer保留迁移至目标数据库，确保迁移后权限安全、业务稳定，可以让不熟悉数据库的客户迁移时，仍然可以完成一场精细的、高质量的数据库迁移。参数对比，迁移后业务稳定应用场景:市面上的迁移产品均不支持参数的迁移，而数据库参数不一样，这将直接导致业务程序      运行报错(举个简单例子session数迁移后变小了)，DRS选定了业务和性能强相关关键的参数，避免了这些参数后续因为没有继承源环境设置，而导致业务报错或性能下降，      可以让不熟悉数据库的客户迁移时，仍然可以完成一场精细的、高质量的数据库迁移。数据校对平台，割接好帮手应用场景:市面上的迁移产品均不支持数据的对比，校对工作留给用户测，DRS提供了丰富的对比功能:对象对比数据级对比对比可定时，可取消利用对比定时任务，可以选择凌晨等业务低峰期 进行数据一致性对比，第二天可以查看数据对比结果，对于迁移情况做到完全掌握。 可以让不熟悉数据库的客户迁移时，仍然可以完成一场精细的、高质量的数据库迁移。触发器、事件的迁移应用场景:市面上的迁移产品均不支持触发器、事件的迁移，精通迁移的用户关注这些细节，因      为触发器和事件也是数据库的一部分，触发器和事件存在关键的业务逻辑，这些对象 不支持迁移，业务必然报错，甚至造成不可挽回的损失。可以让不熟悉数据库的客户迁移时，仍然可以完成一场精细的、高质量的数据库迁移。注：【部分图片来源网络 侵删】总结其实给大家介绍这样DRS的一个背景和技术，主要是希望跟大家跟我一起做一次完整数据迁移，一起去探讨技术背后的场景，以及场景背后我们应该有技术思考。不过这次体验真的，让我不得不感慨技术的便捷性，以前数据库迁移都是团队开发以及测试一个团队熬夜守着数据库迁移，最后验证测试才能走的，所有人拖着疲惫的身躯看着升起的太阳，眼角都湿了...现在我自己看看教程动动手指就完成了一场大规模的数据库迁移演练，在享受技术给我带来方便的同时，也让我对技术背后的具体实现和人生的意义陷入了深深的思考。或许这就是技术的价值吧，或许这就是这么多工程师日日夜夜辛苦的意义吧，或许...我是敖丙，你知道的越多，你不知道的越多，我们下期见！ 

数据复制服务（Data Replication Service，简称为DRS）是一种易用、稳定、高效，用于数据库在线迁移和数据库实时同步的云服务。在设置数据迁移或者同步的过程中，需要用户选择需要迁移或者同步的对象，这些对象包括数据库、表、视图、触发器、函数、schema等。在早期数据量较少时，界面可以流畅操作，但是随着用户业务需求不断扩大，在大数据量条件（1万以上）下会出现界面操作卡顿、卡死等较差用户体验，导致创建任务流程阻塞。为了解决这个问题，DRS服务通过持续优化，目前已很好支撑大数据量条件下的对象选择功能，本文主要介绍此功能优化演进的过程。直接一次性展示早期数据量不大时，对象数据是从后端一次性获取，前端按照数据库名分组展示，用户点击树组件数据库名前的‘+’，展开该数据库下的所有对象。在数据量不大的情况下这种方式没什么问题，但是在这个任务下有很多数据库，而且库里面有大量数据对象的情况下，一次展示所有对象就会变得卡顿，有时甚至页面直接卡死，需要进行优化。异步加载对象针对一次性加载对象的弊端，优化的第一步考虑使用异步方式加载对象。具体方法是页面初始化的时候只展示数据库，点击‘+’再异步请求接口获取该库下面的所有对象进行展示操作。这种方式一定程度缓解了页面卡顿问题，但是在一个数据库下有大量对象的时候（2万以上）界面依然卡顿严重。对象搜索在对象选择功能模块，大部分用户的使用场景是两种：l  只选择数据库下的部分对象做迁移l  整个数据库除了特定的对象不迁移，其余的全部迁移在这种业务诉求上，我们考虑使用搜索功能。在界面上用户可以点击左边的搜索功能按钮，然后选择数据库，再输入该库下需要迁移对象名的关键字进行搜索，搜索出的结果作为用户想要迁移的对象。在右边的搜索功能按钮也可进行同样的操作，不过搜索结果是作为用户反选的不迁移的对象。这样是可以解决大数据量条件下业务阻塞的问题，但是这种方式只适用于特定场景，在用户需要选择特别多对象的时候就需要很多次搜索操作，用户体验较差。引入第三方组件zTreezTree 是一个依靠 jQuery 实现的多功能“树插件”，具有优异的性能、灵活的配置、多种功能的组合，采用延迟加载技术，上万节点轻松加载，同时浏览器兼容性很好。zTree解决了之前树组件在节点很多时展开、全选操作卡顿的问题，目前已支持最大节点数是5万条仍然未见明显卡顿，已基本满足常规业务需求。数据导入通过以上一系列功能优化，对象选择功能已基本可以满足业务需求，但是一些特定的大客户仍然有超大数据量（5万+）需要选择的诉求。因此数据导入功能是一个很好的补充，用户可以在界面上先下载一个导入数据的excel模板，按照模板的格式填写需要迁移的对象。将填写好的文件上传后作为需要迁移的对象，从而实现无需界面展示大数据量对象的前提下完成迁移对象的选择。总结数据复制服务的对象选择功能随着业务需求越来越复杂，经历异步加载、对象搜索、引入第三方zTree组件和支持对象导入等阶段不断演化。在面对大数据量对象需要选择时，提升了用户体验，避免流程阻塞，目前已很好支撑数据迁移和同步业务快速发展。

如题，不然默认数据已经在同步，手动点击“同步数据源”按钮时，会报“同步数据源任务已存在”，如下图所示

SMS ：主机迁移服务，一种 P2V/V2V 迁移服务，可以帮您把 X86 物理服务器，或者私有云、公有云平台上的虚拟机迁移到华为云弹性云服务器（ ECS ），从而帮助您轻松地把服务器上的应用和数据迁移到华为云。OMS ：对象存储迁移服务，线上数据迁移服务，帮助用户把对象存储数据从其他云服务商的公有云轻松、平滑地迁移到华为云。CDM ：云数据迁移，提供同构 异构数据源之间批量数据迁移服务，帮助客户实现数据自由流动。支持客户自建和公有云上的文件系统，关系数据库，数据仓库， NoSQL ，大数据云服务，对象存储等数据源。（数据库建议使用DRS）DRS ：数据复制服务，于数据库在线迁移和数据库实时同步的云服务。数据复制服务提供了在线迁移、备份迁移、数据同步、数据订阅等 多 种 功 能

在DT时代，数据作为企业重要的生产资料，极大的影响着企业的发展命脉。而数据灾备的重要性，将随着数据应用的深度和广度而不断加深，能为企业提供异地多活灾备能力的云灾备方案成为行业的主流！为保护数据库，华为云RDS很早便推出了双AZ高可用灾备方案，即“同城两中心”，也就是在同城建立两个数据库，当其中一个数据库突发异常或被破坏时，可以从另一个数据库获取数据，以保证系统的持续稳定。但为了更好地提供灾备保护，华为云数据库在“同城两中心”的基础上提出了异地保护的方案，华为云数据复制服务DRS推出了异地多活灾备，即“两地四中心”。该灾备方案支持搭建主备高可用架构，当主实例所在区域突发自然灾害等状况，主备节点均无法连接时，可将异地灾备实例切换为主实例，即可快速恢复应用的业务访问，而且可以实现主实例和跨区域的灾备实例之间的实时同步。“企业上云，灾备先行”云灾备技术进步的一小步,数据库安全、持续可靠的一大步。有了华为云DRS提供的“单主灾备”和“双主灾备”模式的加持,相信企业数据的最后一道防线被牢牢守住。如果你想体验华为云数据库，不妨来参加“华为云数据库挑战赛”。华为云数据库挑战赛火热报名中，百万奖金权益、丰厚拉新奖品、优质offer推荐，福利多多，等你来战！戳它报名。

在做这个实验：https://bbs.huaweicloud.com/forum/thread-51110-1-1.html遇到错误，如下图。密码试了多次应该没问题。（DAS都可以用该密码登录）那么如何在防火墙加IP？我没有看到iptables和firewalld