随着云计算的飞速发展，各类基础软件开始了云化转型之路，即使是相对传统的数据库行业也在云化大潮中不断发展创新，甚至涌现出一些颠覆性的技术实践，如原本复杂的数据库迁移如今在云上变得轻松简单，极大便利了客户和一线运维人员对数据库的管理。“我们准备了12小时的迁移时间，但实际上到了真正迁移的那天是非常轻松的，只用了1小时就完成了全部迁移。”——锦江都城酒店迁移案例华为云数据库秉承为客户服务的原则，帮助过众多行业的客户平滑无感上云，凭借过硬的技术沉淀和专业云服务赢取了客户的信任，让客户用得省心又安心；同时积累了大量丰富的迁移经验，成为最懂客户迁移难题的产品，并将所有的数据库迁移经验融入到一款云服务：数据复制服务（DRS）。最近DRS新推出了一个非常实用的小功能——迁移进度可视化，让客户清晰可见迁移时全量阶段的进展，一目了然任务的迁移进度，使迁移过程透明化、可视化，有效提升了用户体验。目前云数据库新年狂欢火热进行中，新用户仅需10元即可畅享爆款云数据库，首购专享1年低至3折，新年新购1年75折，3年45折，包年购买数据库产品即免费赠送数据库安全服务DBSS一个月使用时长，快来寻找属于你的云数据库专“鼠”优惠吧！购买请前往华为云官网——最新活动——云数据库新年狂欢页面。https://activity.huaweicloud.com/2020dbs_Promotion/index.html

数据复制服务（Data Replication Service，简称DRS）是一种易用、稳定、高效、用于数据库在线迁移和数据库实时同步的云服务。数据复制服务提供了在线迁移、备份迁移、数据同步、数据订阅和多活灾备等多种功能。数据复制服务支持哪些对象名映射数据复制服务的数据同步功能支持源数据库和目标数据库中同步对象的名称不同，即源库中的对象A同步到目标库，成为目标库中的对象B。可以使用对象名映射功能实现该目的，支持库映射、表映射和schema映射。持对象映射的同步场景映射类型支持同步场景库映射MySQL->MySQL同步MySQL->PostgreSQL同步表映射MySQL->PostgreSQL同步Schema映射MySQL->PostgreSQL同步操作步骤库映射1.     在“设定同步”页面，同步对象右侧已选对象框中，选择需要进行映射的数据库，单击“编辑”按钮。图1 库映射2.     修改库名。在“编辑库名”的弹出框中，填写新的数据库名，修改后的名称即为保存在目标数据库中的库名。图2 修改库名3.     查看修改结果。库名修改成功后，您会看到修改前的库名和修改后的新数据库名，至此，表示完成库映射的配置。图3 查看库名修改结果schema映射schema指数据库对象的集合，这个集合包含了各种对象如：表、视图、存储过程、索引等。1.     在“设定同步”页面，同步对象右侧已选对象框中，选择需要进行映射的schema，单击“编辑”按钮。图4 schema映射2.     修改schema名。在“编辑schema名”的弹出框中，填写新的schema名，修改后的名称即为保存在目标数据库中的schema名。图5 修改schema名3.     查看修改结果。schema名修改成功后，您会看到修改前的schema名和修改后的新schema名，至此，表示完成schema映射的配置。图6 查看schema修改结果表映射1.     在“设定同步”页面，同步对象右侧已选对象框中，选择需要进行映射的表，单击“编辑”按钮。图7 表映射2.     修改表名。在“编辑表名”的弹出框中，填写新的表名，修改后的名称即为保存在目标数据库中的表名。图8 修改表名3.     查看修改结果。表名修改成功后，您会看到修改前的表名和修改后的新表名，至此，表示完成表映射的配置。图9 查看表名修改结果 了解更多，请戳我...

尊敬的华为云客户：华为云计划于2019/11/27 00:00（北京时间），对数据复制服务（DRS）如下场景正式开始计费，此次计费仅对2019/11/27 00:00（北京时间）后启动的DRS任务生效，具体价格详情如下：公有云计费模式如下：场景引擎关系区域入云出云配置费用数据传输费（仅公网）配置费用数据传输费（仅公网）在线迁移MySQL-MySQL大陆站（全区）1周内免费，超过1周计费2.4元/时入云免费2.4元/时1.5元/G数据同步MySQL-MySQL大陆站（全区）2.4元/时入云免费2.4元/时1.5元/G在线迁移MySQL-MySQL国际站（香港）1周内免费，超过1周计费0.4 美元/时入云免费0.4 美元/时0.32 美元/G数据同步MySQL-MySQL国际站（香港）0.4 美元/时入云免费0.4 美元/时0.32 美元/G在线迁移MySQL-MySQL国际站（亚太-曼谷）1周内免费，超过1周计费0.36 美元/时入云免费0.36美元/时0.22美元/G数据同步MySQL-MySQL国际站（亚太-曼谷）0.36美元/时入云免费0.36美元/时0.22美元/G在线迁移MySQL-MySQL国际站（亚太-新加坡）1周内免费，超过1周计费0.38美元/时入云免费0.38美元/时0.24美元/G数据同步MySQL-MySQL国际站（亚太-新加坡）0.38美元/时入云免费0.38美元/时0.24美元/G在线迁移MySQL-MySQL国际站（非洲-约翰内斯堡）1周内免费，超过1周计费0.44美元/时入云免费0.44美元/时0.48美元/G数据同步MySQL-MySQL国际站（非洲-约翰内斯堡）0.44美元/时入云免费0.44美元/时0.48美元/G在线迁移MySQL-MySQL国际站（拉美-圣地亚哥）1周内免费，超过1周计费0.32美元/时入云免费0.32美元/时0.18美元/G数据同步MySQL-MySQL国际站（拉美-圣地亚哥）0.32美元/时入云免费0.32美元/时0.18美元/G注：专属云（Dec）、金融区、华为云全栈（HCS、HCSO）的DRS报价，请以华为云项目报价为准。华为云在此提醒您，如果您不需要使用该服务时，请及时结束任务，以免产生费用。更多关于华为云数据复制服务（DRS）的产品介绍，请您点击了解。如您有任何问题，可随时通过工单或者服务热线（4000-955-988或950808）与我们联系。       感谢您对华为云的支持！

身为DBA的你是否经常遇到这种问题：同时迁移几套数据库，但是上面的账号有几十个，密码都在十几个人手里自己维护，而且要求迁移后密码不变，这时通常采取的做法是找持有密码的那十几个人收集，但这样一来沟通成本过大，时间效率上大打折扣。那有没有其它方法既能安全迁移原始密码又不耽误工作呢？当然有！华为云数据复制服务DRS新推出了一款功能——密码在线迁移，一键式克隆迁移源数据库密码，包括用户和权限都能一键迁移过去，且操作简便灵活，极大减轻了DBA繁重的运维工作。作为业界首家新推出的华为云DRS密码在线迁移功能，其优势特性有哪些呢？1.不碰用户密码，原封不动迁移华为云DRS默认用户源数据库的密码，不分析也不删改，原封不动地把密码迁移到新数据库上，并凭借专业的技术实力保证整个迁移过程中数据不丢失、不改动，承诺不碰用户密码。2.按需设置，省心省力华为云DRS密码设置自由，用户可根据业务需求，选择是否需要重新设置数据库密码，如若重新设置，需通过设置一个新的密码迁移到目标库。数据库迁移，要的就是省心！华为云DRS密码迁移，给DBA省心又省力。而且是业界首家研发，兼容强大，可兼容主流云厂商，特性实在，魅力值爆满，DBA的福音，每个企业都值得拥有！目前，华为云数据库年度最大的特惠专场火热进行中，新用户仅需10元即可享受专业云服务，且全场包年低至五折，更有2000元优惠券等你来拿，更多详情了解请前往华为云官网：https://activity.huaweicloud.com/CloudDBS-SpecialSession.html?utm_source=wechat&utm_medium=officialaccount&utm_campaign=performance_contest_0811&utm_content=sjk_dbs_0811

近日， DRS支持 MySQL 迁移时限速功能重磅上线，该功能让用户轻松把控迁移对源带宽、数据库IO的影响。使用DRS限速功能，可以让迁移对源业务高峰期性能影响最小化；搭配全量+增量迁移，可以让数据库迁移时，源业务不停机，有效的降低业务中断时间，让用户更专注业务发展。数据复制服务（Data Replication Service，简称为 DRS）是一种易用、稳定、高效，用于数据库在线迁移和数据库实时同步的云服务。下面介绍一下DRS的限速功能：流速模式支持两大选项：限速和不限速不限速模式：不限速对迁移速度不进行限制，通常会最大化使用源数据库的出口带宽。【用户疑问】那么不限速模式的实际迁移速度会是多少呢？对源又会造成怎么样的性能影响呢？ 【专家答复】：该流速模式会对源数据库造成读消耗，消耗取决于源数据库的出口带宽，比如源数据库的出口带宽为100Mb/s，假设高速模式使用了80%带宽，则迁移对源数据库将造成80Mb/s的读操作IO消耗。限速模式：限速可以自定义的最大迁移速度，迁移过程中的迁移速度将不会超过该速度。用户疑问】：限速功能可以很好的确保在业务高峰期，用户迁移对源数据库造成业务较大的性能影响，具体如何使用的呢？ 【专家答复】： 流速设置通常包括限速时间段和流速大小的设置。默认的限速时间段为全天，用户也可以根据业务需求自定义定时限速。自定义的定时限速支持最多设置3个定时任务，每个定时任务之间不能存在交叉的时间段，未设定在限速时间段的时间默认为不限速。【案例展示】：某业务系统数据库MySQL数据量达到1.5TB，基于成本原因迁移使用公网方式，希望迁移时业务不中断，其业务时间为早上9:00到晚上23:00为业务期，不希望迁移影响业务性能。【解决方案】：客户希望迁移不中断，使用DRS全量+增量模式可以在业务进行中实现数据库的搬迁。受带宽限制根据测算1.5TB迁移，将会超过24小时，不可避免跨越业务期和非业务期，为了确保业务期性能不受迁移较大影响，我们设定早上9:00到晚上23:00迁移速度限定在40Mb/s，其他时间段以最大迁移，这样完美的满足了客户的迁移诉求。当前，国内云计算市场正处于爆发增长期，华为云数据复制服务 DRS 新功能——DRS支持 MySQL 迁移时限速功能的上线，该功能对广大想要扩展云业务的用户而言非常实用，将助力用户的迁移体验更流畅。 

企业上云成为近年来的热门话题，很多企业甚至把企业上云看成是企业数字化转型的必经之路。然而企业上云从何处入手? 如何在业务不中断或者计划的时间窗口内成功迁云?如何降低数据迁移过程中的复杂性?究其根本企业上云最大的难题之一是数据库的数据迁移。为客户解决的这个难题，是华为云数据库服务团队持续不断地在数据迁移领域进行技术研究和创新的重要驱动力。数据复制服务DRS 的定位我们都知道，华为在云数据库领域的产品已形成了系列，包括SQL、NoSQL的等等。但是很多人不知道的是，华为云还有一款重量级的产品：华为云数据复制服务DRS(Data Replication Service，简称为 DRS)。什么是DRS?从概念来看，数据复制服务DRS是一种易用、稳定、高效，用于数据库在线迁移和数据库实时同步的云服务。DRS围绕云数据库，降低了数据库之间数据流通的复杂性，有效地帮助用户减少数据传输成本。简单理解，DRS是企业数据上云的“绿色管道”，能确保企业的关键数据一键迁云。具体而言，DRS有两个重要使命。第一，帮助企业DBA或者是CTO，以快速、简单的方式把数据库安全地迁移到云上。企业上云的第一个门槛就是数据迁移，在传统云下做数据库迁移会面临很多风险与挑战，例如业务中断、数据丢失、迁移失败等。虽然传统意义上来看数据库迁移通常很难，在云上有了很大的变化，借助华为云DRS，用户可有效避免云迁移带来的各种复杂问题，为客户成功迁云建立信心。用户只需要轻松几步，分钟级就可以创建好迁移任务;第二个使命，DRS可以解决数据孤岛、数据流、灾备保护等问题，让数据库之间的关键数据按照用户业务的需要驱动，实时流动起来，也就是服务于数据库的同步、灾备等场景下客户的各类需求，是云数据库整体方案成功落地的得力助手。 五大技术亮点降低数据流通的复杂性对于金融行业、政府机构以及自然灾害频发的沿海地区来说，对于异地灾备需求非常强烈。用户要进行两地三中心的容灾部署，最关心的问题就是会不会丢数据、异地传输多长时间能达到百里之外。围绕这些问题，DRS通过以下五个核心能力来更好地满足用户期望。智能压缩：长距离的异地传输或者备份时网络带宽不稳定是主要的问题，DRS采用智能压缩的思路，在传输数据量大小决定压缩与否，面对带宽不足时，有效保障数据可送达异地。批量发送：高频率的数据库操作，在局域网内性能可能不是问题。但远距离传输需要“多层握手”，网络延时从毫秒级变成几十毫秒级，这种时延差异在高频率操作的放大下，延时可能会由原来的几秒变成了几十秒，导致数据传输到异地实时性大幅下降，DRS可以通过批量发送功能减少反复握手的问题，有效提升异地数据传输的实时性。日志回放：DRS收到数据库的日志是有序串行的，按照原顺序回放将会形成瓶颈，使得异地数据远远落后于源数据，并行回放这些日志是提升数据传输实时性的关键技术。当然随意地并行会出现数据错乱问题。DRS采用并行判断模块，可以高效梳理哪些行级数据能并行执行，较大程度上提升了数据实时性。并行抓取：DRS并行地抓取变化的数据，最大程度保护数据在灾难发生时的损失。热点合并：在短时间之内频繁的对同一数据进行反复操作，DRS可以合并这些操作，这个过程可以简化为最终一致数据发送至异地数据，使得满足该类场景下的数据传输性得到提升。通过上述技术组合创新，华为云DRS给用户带来了综合的服务体验提升。 预检查功能确保企业迁云成功华为云DRS有许多具体的技术措施，其中关键的一个技术是预检查，华为云把所有成功项目的经验和要点积累固化到程序的检查项中，成熟完善的预检查系统，DRS可以明确提示客户哪一项环境设置会影响迁移，应该如何调整。成功通过一系列的精准检查后，可以确定迁云成功。值得一提的是，华为云DRS采用统一自动的逻辑，从整体上使得每个用户使用DRS迁移效果一致。例如：大量数据传输时，由网络异常造成的频繁地传输中断，DRS能为用户自动重连，快速定位识别到具体的断点，使得数据能够准确地续传。为了避免人为导致的误操作，华为云DRS在选择目标端的时候，会建议目标数据库只能读、不可写，这样能有效避免人为因素导致的数据不一致性、数据错乱、数据丢失等问题。为了使用户放心切换业务至云数据库，用户希望校验数据是否丢失，直观的方式是做对比，华为云DRS可以做对象级别的对比，包括有多少个表、多少个索引等，所有的对象都一致性一目了然。同时DRS还有两种数据对比能力：行级别和内容对比，行对比将对行总数进行两边一致性的校对，可以帮助用户清楚的看到数据行数是否一致; 内容对比是完整地将表与表全部的值校对一遍。 华为DRS将会持续的优化算法提升对比的效率。正是华为云DRS这一系列的措施，确保了企业成功迁云。企业上云，或者说在选择云平台的时候，可以从云平台三方面考量入手：数据库的技术与安全性、云平台的中立性和稳定性以及云平台的企业级业务成熟度。● 数据库技术和安全方面：华为在数据库领域有多年技术的沉淀，并一脉传承到云平台，国际化和企业级的安全合规设计上已践行多年，在专业的数据安全领域，华为云提供的数据库安全云服务，为云上数据库保驾护航。● 云平台的中立性和稳定性：华为云恪守“黑土地”思维，服务企业的基因驱动着云平台的长期发展。● 云平台的企业级业务成熟度：华为具有丰富的企业级服务经验积累。当然，对于广大CTO/DA/DBA等用户来说，成功走向云端有很多路径，无论通过非核心的外围业务系统来做一些尝试，还是先从没有历史负担的新业务开始，在这个过程中，DRS都能帮助用户更安心，更放心走向云端。

使用Maxwell同步工具，基于binlog将MySQL中的数据同步到MRS kafka中1.1.1 Maxwell概述Maxwell是一个开源项目（http://maxwells-daemon.io），通过读取MySQL的binlog日志，将增删改等操作转为JSON格式发送到输出端(如控制台/文件/Kafka等)Maxwell运行在Linux服务器上，常见的有EulerOS、Ubuntu、Debian、CentOS、OpenSUSE等，且需要Java 1.8+支持。Maxwell可部署在MySQL机器上，也可独立部署在其他与MySQL网络可通的机器上。 1.1.2 配置MySQL                                步骤 1      开启binlog    打开my.cnf文件，在[mysqld] 区块检查是否配置server_id，log-bin与binlog_format                $ vi my.cnf                 [mysqld]                server_id=1                log-bin=master                binlog_format=row    若没有配置请添加配置项，并重启mysql                  步骤2    创建同步用户                Maxwell需要连接MySQL，并创建一个名称为maxwell的数据库存储元数据，且需要能访问需要同步的数据库，故建议新创建一个MySQL用户专门用来给Maxwell使用。    使用root登录MySQL之后，执行如下命令创建maxwell用户(其中XXXXXX是密码，请修改为实际值)    若Maxwell程序部署在非MySQL机器上，则创建的maxwell用户需要有远程登录数据库的权限，此时创建命令为                mysql> GRANT ALL on maxwell.* to 'maxwell'@'%' identified by 'XXXXXX';                mysql> GRANT SELECT, REPLICATION CLIENT, REPLICATION SLAVE on *.* to 'maxwell'@'%';    若Maxwell部署在MySQL机器上，则创建的maxwell用户可以设置为只能在本机登录数据库，此时创建命令为                mysql> GRANT SELECT, REPLICATION CLIENT, REPLICATION SLAVE on *.* to 'maxwell'@'localhost' identified by 'XXXXXX';                mysql> GRANT ALL on maxwell.* to 'maxwell'@'localhost';1.1.3 安装Maxwell                                步骤 1      从如下地址下载安装包https://github.com/zendesk/maxwell/releases    选择名为maxwell-XXX.tar.gz的二进制文件下载，其中XXX为版本号。                                步骤 2      使用WinSCP等传输工具将tar.gz包上传到任意目录下(本示例路径为master节点的/opt)                                步骤 3      使用PuTTY等工具登录部署Maxwell的服务器，并进入zip所在目录                            cd /opt                                步骤 4      解压“maxwell-XXX.tar.gz”压缩包，并进入“maxwell-XXX”文件夹                            tar -zxvf maxwell-XXX.tar.gz                            cd maxwell-XXX1.1.4 配置Maxwell    在Maxwell的conf目录下有一个config.properties文件，配置项说明请参见下表。若没有conf目录，则是在maxwell的文件夹下将config.properties.example修改成config.properties。配置项必填说明默认值user是连接MySQL的用户名，即1.1.2 步骤 2   中新创建的用户-password是连接MySQL的密码-host否MySQL地址localhostport否MySQL端口3306log_level否日志打印级别，可选值为l    debugl    infol    warnl    errorinfooutput_ddl 否是否发送DDL(数据库与数据表的定义修改)事件l    true：发送DDL事件l    false：不发送DDL事件falseproducer是生产者类型，配置为kafkal    stdout：将生成的事件打印在日志中  l    kafka：将生成的事件发送到kafkastdoutproducer_partition_by否分区策略，用来确保相同一类的数据写入到kafka同一分区l    database：使用数据库名称做分区，保证同一个数据库的事件写入到kafka同一个分区中l    table：使用表名称做分区，保证同一个表的事件写入到kafka同一个分区中databaseignore_producer_error否是否忽略生产者发送数据失败的错误l    true：在日志打印错误信息并跳过错误的数据，程序继续运行l    false：在日志打印错误信息并终止程序truemetrics_slf4j_interval否在日志中输出上传kafka成功与失败的数量统计的时间间隔，单位秒60kafka.bootstrap.servers是kafka代理节点地址，配置形式为HOST:PORT[,HOST:PORT]kafka_topic否写入kafka的topic名maxwelldead_letter_topic否当发送某条记录出错时，记录该条出错记录主键的kafka topic。kafka_version否Maxwell使用的kafka   producer版本号，不能在config.properties中配置，需要在启动命令时用-- kafka_version xxx参数传入kafka_partition_hash否划分kafka   topic partition的算法，支持default或murmur3defaultkafka_key_format否Kafka record的key生成方式，支持array或hashHashddl_kafka_topic否当output_ddl配置为true时，DDL操作写入的topic{kafka_topic}filter否用于过滤数据库或表。l    如只想采集mydatabase的库，可以配置为 exclude:   *.*,include: mydatabase.*l    如只想采集mydatabase.mytable的表，可以配置为 exclude:   *.*,include: mydatabase.mytablel    如只想采集mydatabase库下的mytable，mydate_123, mydate_456表，可以配置为exclude: *.*,include: mydatabase.mytable,   include: mydatabase./mydate_\\d*/ 1.1.5 启动Maxwell                                步骤 1      使用PuTTY工具登录Maxwell所在的服务器。                                步骤 2      进入Maxwell安装目录。                    cd /opt/ maxwell-1.21.0/注意：如果是初次使用Maxwell，建议将conf/config.properties中的log_level改为debug(调试级别)，以便观察启动之后是否能正常从MySQL获取数据并发送到kafka，当整个流程调试通过之后，再把log_level修改为info，然后先停止再启动Maxwell生效# log level [debug | info | warn | error]log_level=debug                                步骤 3      启动Maxwell。                    source /opt/client/bigdata_env                    bin/Maxwell      也可以在启动命令中添加参数，例如：                    bin/maxwell --user='maxwell' --password='XXXXXX' --host='127.0.0.1' \                   --producer=kafka --kafka.bootstrap.servers=kafkahost:9092 --kafka_topic=Maxwell      其中kafkahost为流式集群的core节点的IP地址。    显示类似如下信息，表示Maxwell启动成功。                Success to start Maxwell [78092].    ----结束1.1.6 验证Maxwell                                步骤 1      使用PuTTY工具登录Maxwell所在的服务器。                                步骤 2      查看日志。                    l   如果日志里面没有ERROR日志，且有打印如下日志，表示与MySQL连接正常                            BinlogConnectorLifecycleListener - Binlog connected.                                步骤 3      登录MySQL数据库，对测试数据进行更新/**/删除等操作。操作语句可以参考如下范例-- 创建库create database test;-- 创建表create table test.e (  id int(10) not null primary key auto_increment,  m double,  c timestamp(6),  comment varchar(255) charset 'latin1');-- 增加记录insert into test.e set m = 4.2341, c = now(3), comment = 'I am a creature of light.';-- 更新记录update test.e set m = 5.444, c = now(3) where id = 1;-- 删除记录delete from test.e where id = 1;-- 修改表alter table test.e add column torvalds bigint unsigned after m;-- 删除表drop table test.e;-- 删除库drop database test;                                步骤 4      观察maxwell的日志输出，如果没有WARN/ERROR打印，则表示没有异常。若要确定数据是否成功上传，可通过如下方式l                       如果config.properties中的log_level是debug，则数据上传成功时会立刻打印日志                    {"database":"test","table":"e","type":"insert","ts":1541150929,"xid":60556,"commit":true,"data":{"id":1,"m":4.2341,"c":"2018-11-02 09:28:49.297000","comment":"I am a creature of light."}}                    ……    为发送的JSON格式数据    注意        当整个流程调试通过之后，可以把log_level修改为info，减少日志打印量，并重启Maxwell                # log level [debug | info | warn | error]                log_level=info----结束1.1.7 停止Maxwell                                步骤 1      使用PuTTY工具登录Maxwell所在的服务器。                                步骤 2      执行ps -ef | grep Maxwell | grep -v grep命令，获取Maxwell的进程标识（PID）。输出的第二个字段即为PID。                                步骤 3      执行kill -9 PID命令，强制停止Maxwell进程。----结束1.1.8 数据格式Maxwell生成的数据格式为JSON，常见字段含义如下l   type：操作类型，包含database-create，database-drop，table-create，table-drop，table-alter，insert，update，deletel   databse：操作的数据库名称l   ts：操作时间，13位时间戳l   table：操作的表名l   data：数据增加/删除/修改之后的内容l   old：数据修改前的内容或者表修改前的结构定义l   sql：DDL操作的SQL语句l   def：表创建与表修改的结构定义l   xid：事物唯一IDl   commit：数据增加/删除/修改操作是否已提交

日前，华为云数据复制服务 DRS 正式商用，支持更大数据量（TB级别）、更长时间（超过一周以上）等多种复杂迁移场景；支持数据库上云和云上业务数据实时回传至云外的混合云架构，数据可灵活流动。此外，DRS 升级预检查、迁移监控及对比两大迁移助手，首家提供任务耗时评估、时间维度的迁移进度实时查看，迁移实时同步性能提升 5 倍以上，将迁移时业务不中断和高性能需求的冲突降到最低。 我们知道，在传统数据库迁移场景下，用户需要解决包括数据迁移前准备、数据迁移实施、数据迁移后校验的一系列准备。而且在整个过程中，每一个环节都要周全考虑、谨慎对待，否则稍有不甚，就会出现线上故障，影响公司业务及应用正常运行，不但要承担经济损失的风险，甚至还会面临法律问题。 因此，数据库迁移一直以来都是企业上云、灾备的一大难题，面临的挑战也五花八门。例如： 迁移准备是否充分不可知，迁移失败风险大；迁移进度不可查，特殊情况下不能及时应对，影响公司运行；数据正确性全靠人肉验证，效率和可靠性没保障，存在数据丢失风险。 此次华为云 DRS 升级的预检查和迁移监控及对比功能，正是为了解决以上问题。 事前预检查，智能分析数据库，迁移成功有保障 用户创建迁移任务后，需要在任务开始前启动预检查功能。该功能可以提前自动识别迁移是否满足成功条件，并对可能影响迁移任务成功的因素及条件进行检查。 目前，华为云 DRS 提供的预检查高达 60 余项。包括源数据库、目标数据库的网络、版本、内存、日志、端口、兼容性、参数、安全性等一系列指数。 针对可能造成迁移失败的指标项，DRS 将提供专业预检查分析报告，对失败原因、失败详情、处理建议等详细介绍，用户可以根据失败信息和处理建议的指导，调整环境，以确保迁移成功。  事中监控，实时刷新迁移进度，增量同步近实时 值得一提的是，本次华为云 DRS 首家提供了任务耗时评估、时间维度的迁移进度实时查看。耗时评估可以帮助用户做好布置规划，避开业务高峰期；迁移进度的剩余时间实时查看，则可让用户随时掌握任务情况，面临突发状况时也能做到心中有数、心中有底。 DRS 的迁移监控功能，还提供了同步时延监控，方便用户宏观把握数据同步的实时性。当时延为 0 ，表示源数据库和目标数据库的数据处于实时同步，可为用户数据交割提供参考。  事后对比，确保数据零丢失 华为云 DRS 本次升级的迁移对比功能，为用户提供多维度、多层次的数据对比，清晰反馈出源数据库和目标数据库的数据是否存在差异，确保迁移后的数据零丢失。 DRS 的迁移对比，包括对象级对比，宏观对比数据对象是否缺失，例如数据库、表、视图、存储过程、触发器等；数据级对比，详细校对不同细度数据，例如行数对比、内容对比等。  需要强调的是，传统数据库迁移对企业而言，业务连续性和数据准确性，往往是是鱼与熊掌的问题。因为传统迁移场景的手工数据校对效率低、出错率高，而且数据校对往往需要高强度运算，从而占用大量资源、影响数据库性能。要保障性能，则需停下业务进行校对。 DRS 也很好的解决了这个问题，通过引导式校对流程，让用户秒变迁移专家。DRS 提供数据库对象检查、全局检查、割接复查等满足不同阶段需求的数据校对，并通过对比和报表分析，对用户进行由浅入深的分层引导。因此不但在效率和准确性上取得很大突破，而且性能也得到大幅提升。当前，DRS 已正式商用，但秉承生态开放的理念，用户依然可以免费使用 DRS；且配套的数据库引擎：MySQL、SQL Server、PostgreSQL、DDS，也可免费试用。免费试用配套数据库引擎链接：https://activity.huaweicloud.com/free_test/index.html

企业要发展，离不开上云；上云要保障，离不开灾备。无论上云还是灾备，数据迁移都是必经之路。但作为企业云化的一大拦路虎，数据迁移不知难倒了多少英雄好汉。没有专家，迁移任务太难；有了专家，迁移成本太高。二者都不惧，又得掂量业务中断或者数据丢失的风险。业务是命，数据是钱，但发展才是硬道理，怎么办？ 近期，华为云数据复制服务 DRS 推出新功能，在支持 MySQL 、SQL Server 的基础上，新支持 DDS、Postgresql 两款主流数据库，帮助用户低成本、低风险的进行数据迁移。                        华为云数据复制服务 DRS支持引擎华为云数据复制服务（Data Replication Service，简称为 DRS），是一种易用、稳定、高效，用于数据库在线迁移和数据库实时同步的云服务。DRS 围绕云数据库，降低了数据库之间数据流通的复杂性，有效帮助用户减少数据传输的成本。 传统数据库迁移场景下，企业往往面临诸多难题：迁移步骤复杂，操作人员需要专业技术背景，门槛高。人工部署耗时多，往往需要数周甚至上月，周期长。企业需承担DBA 专家人力成本，迁移硬件成本，成本高。迁移可能面临任务失败、业务中断、数据丢失，风险大。 因此，一款安全易用的专业数据迁移工具，对用户而言相当重要。 了解到用户的这一痛点后，华为云数据库于今年3月的华为生态大会上发布了 DRS，提供多场景、多网络、多类型引擎支持的数据迁移服务，并配套迁移监控、数据一致性对比等多种迁移辅助工具，上线便得到广大用户一致好评。 在云迁移、云灾备等应用场景下，用户均可使用 DRS 进行异地灾备、跨云灾备、近实时灾备，为核心业务提供容灾保护，帮助用户轻松完成迁移任务，让客户数据在数据库间自由流动。 DRS 操作简单便捷，迁移任务仅 10分钟就准备就绪，而且使用了增量迁移技术，最大限度允许迁移过程中业务继续对外提供使用，有效将业务系统中断时间和业务影响最小化，保障业务零中断和数据零丢失，使数据库平滑迁移上云得以实现。 DRS的推出，帮助用户实现了跨云、跨网、跨线上线下的数据迁移。无论是在本地机房、其他云、还是华为云自建的数据库，都可不受限制的进行数据库迁移。 此外，DRS 还支持多种网络方式下的迁移，包括：公网网络华为 VPN 网络专线网络华为VPC 网络环境 DRS 与各云服务关系示意图 值得一提的是，新支持的 DDS 引擎，华为云刚推出的社区增强版，提升 3倍读写性能、100倍弹性伸缩、10倍故障重构、10倍备份恢复，几个关键服务能力在业界都处于领先地位。 当前，DRS 配套的四款数据库华为云均推出了免费试用套餐，体验可移步官网。了解 DRS 更多详情：https://www.huaweicloud.com/product/drs.html HUAWEI CONNECT 2018作为华为自办的面向ICT产业的全球性年度旗舰大会，将于2018年10月10日-12日在上海隆重举行。本届大会以“+智能，见未来”为主题，旨在搭建一个开放、合作、共享的平台，与客户伙伴一起共同探讨如何把握新机遇创造智能未来。欲了解更多详情，请参阅：https://www.huawei.com/cn/press-events/events/huaweiconnect2018

华为云数据库数据复制服务 DRS 向各位体验师征集产品反馈意见任何您在使用产品过程中遇到的问题都可以砸过来，您的反馈一经采纳，就会获得我们送出的奖励！只要您在该帖下方回复建议，都有机会获得精品奖励：智能触摸音乐小夜灯悄悄告诉你：没用过没关系，现在去看再来吐槽也来得及。传送门>>>【中奖规则】凡是有效意见（被采纳），将在本帖公示并送出奖励！【参与方式】在该帖下方，直接回复您发现的问题。举个栗子：                    1、产品功能上有缺陷XXX2、技术上有bug，位置是XXX3、界面用起来不方便，我希望是XXX4、我对数据复制服务DRS需求是XXX5、DRS资料<<迁移最佳实践>> 描述有问题XXX【活动时间及发奖时间】活动长期有效！每月都会抽取2人在30号公示中奖名单！PS：中奖名单在本帖公示后，中奖的小伙伴记得将邮寄地址私信给小编哦，奖品将在7个工作日内寄出~精美礼品展示：7月获奖名单昵称奖品蓝书签智能触摸音乐台灯四年三班扛把子智能触摸音乐台灯shd智能触摸音乐台灯建赟智能触摸音乐台灯PS：由于各位小伙伴的答案都特别优质，所以7月我们特地多给了两个获奖名额哟~活动长期有效各位小伙伴机会多多哟~8月获奖名单昵称奖品xiao智能触摸音乐台灯

本帖最后由 小路~ 于 2018-5-17 15:55 编辑问题描述回复1、华为数据复制服务DRS对应的的阿里和亚马逊的哪个服务？华为DRS对标的是AWS的数据迁移服务DMS, 阿里的数据传输服务DTS2、华为DRS定位是什么？能解决客户什么问题？为什么叫数据复制服务？华为DRS定位是解决数据在线迁移和数据实时同步的产品服务，主要解决：1.用户在极短的时间窗口内完成数据库迁移平滑上云，显著的场景特征是用户数据量大，业务不可接受中断等； 2.同时也能作为本地IDC或者其他云的的云上容灾方案（华为云数据库为目标端）； 3.未来将会继续发展数据实时同步能力，帮助数据在各平台间自由的实时同步； 综合来看，数据复制服务命名更为符合产品定位，数据复制技术是该服务的核心，而数据库迁移服务不能完全覆盖该服务的价值和场景，且对于国外用户来讲，Replication也是十分的直观一个表述。3、华为DRS和CDM的区别是什么，为什么CDM也说是迁移服务？DRS是做平滑迁移的，数据量大，但业务中断时间短，CDM对标的是数据集成服务，一般是做数据导入数据仓库的场景，也可以用于一小部分的迁移场景，CDM用于迁移场景最大的前提是： CDM需要业务中断较长时间的迁移，特别是数据量比较大的情况下，如果客户对业务中断时间不敏感，且数据库种类不相同的异构迁移场景，比如Oracle->RDS MySQL，CDM可以实现数据的迁移，需要停止业务后完成数据迁移，再讲业务切换至云数据库。4、华为DRS能支持哪些在线的迁移路径？DRS是做业务不中断的平滑迁移的，数据量大，但业务中断时间短, 在这个场景下华为DRS在支持MySQL->RDS MySQL, SQLServer->RDS SQL Server（跨云迁移、云下至云上、ECS自建至RDS），并计划2018Q2-Q3内实现Pg-> RDS Pg, MogoDB ->DDS的在线迁移。5、华为DRS会支持Oracle->MySQL的异构数据库在线迁移吗？目前华为DRS的支持同构迁移优先级高于异构迁移，DRS会根据市场价值，推出几条异构在线迁移的场景，比如Oracle->MySQL的在线迁移，可以解决表和数据的在线迁移，从而最小化中断业务时间，解决了该场景下一大痛点，但由于异构迁移不单只是数据的迁移，还涉及到系统的改造，SQL语句的改造，目前没有哪个云能通过云服务来决绝这个场景问题。6、华为DRS支持哪些网络接入？对应的场景是什么？华为DRS支持各种网络情况下的数据库在线迁移，支持客户从公网、VPN、云内（同一VPC内）迁移至RDS，所以客户本地IDC的数据库、在其他云（当前以阿里云为主）上具有公网IP的数据、ECS自建数据库均可以迁入华为云数据库，甚至在某些场景下用户连公网IP都不用暴露，也能完成迁移。7、华为DRS有什么差异化的能力？华为DRS可以支持VPN（阿里不支持），非常适合于中型企业，混合云场景，同时华为DRS在迁移进度、迁移监控、迁移对比方面都是为迁移场景量身打造的特色功能，让整个迁移过程体验更加轻松，更加易用。8、华为DRS是否支持非在线迁移的场景？什么情况下推荐非在线迁移？华为DRS的非在线迁移目前有2种： 一种是全量迁移（在线迁移管理任务中的一种子功能），这种迁移类似于数据的导入与导出，特点是：迁移要求的权限小，迁移的约束多一些（不支持的数据库对象类别请参考1.6.3SQLServer全量迁移不支持的数据库对象列表） 一种就是离线迁移（目前只支持SQLServer），这种迁移方式类似于备份文件上传+恢复，特点是：迁移的约束少一些（支持种类更多的数据库对象迁移）。同时可实现云外数据库不开通公网ip/vpn的情况下，完成迁移，也可以用于VPC内的数据库迁往RDS。 用户需要根据自己的场景选择最适合自己的非在线迁移功能。 总的来讲，非在线迁移适合于业务中断时间充足，且数据量不太大（超过200GB）的场景。9、华为DRS是怎样收费的？当前华为云的发展阶段，我们DRS倾向于不向客户设置门槛，很长一段时间内DRS是不会收费的，但会有配额控制，一个租用最多同时拥有5个迁移任务。正式收费后，主要是按需/按小时计费的模式，也就说使用迁移任务的时间越长，收费约多，主要收费因子有： 1.迁移实例的规格。（费用主要部分） 2.数据库迁移的路径不同也会收费不同，例如SQLServer因为成本问题，会贵一些。 3.全量迁移阶段会涉及到一部分磁盘收费。（低费用部分） 4.公网迁移场景中，迁移实例也会涉及到一定的EIP的收费。（低费用部分）10、华为DRS对数据库用户具体的权限要求怎么样的？不同的场景权限要求不一样，不同的数据库迁移权限要求也不一样，DRS尽量减少不必要的权限要求，保留必须的权限要求，详情请查看1.6.3 使用限制中关于在线&离线迁移下权限要求。11、华为DRS迁移效率如何？迁移的速率受诸多因素的影响，比如公网环境下，无法模拟出各种情况，友商目前也仅是提供网络可控情况下（阿里region->region间的迁移）的TPS和QPS能力。https://help.aliyun.com/document ... 186623.6.548.SwwgFU 华为DRS大概预测速度不慢，因为有并行技术在；且通过公网的情况下，迁移服务器在支撑公网场景下，设置带宽是很大的，这是迁移速度只会受限于用户上传的速度；请引导客户，在线迁移上，速度可能不是最重要的（不中断业务），这一点与离线迁移不一样。 我们后续将会公布VPC内迁移至RDS的一些性能基线（100MB带宽的情况下，目前是1小时10GB-30GB，仅供参考）。12、华为DRS在网络中断的后，支持断点续传么？支持，但不承诺。中断时间太长，日志被覆盖掉，目前没有任何技术和办法修复。 “重试功能”提供出类似的效果，在全量迁移中，会重置全量迁移整个过程，增量迁移中，尝试断点续传，但不承诺SLA13、各种数据库已经自带迁移解决方案，为什么不让发布一些手工的迁移指导方案，而要使用华为DRS？由于RDS是个半封闭的服务，由于定制化+安全加固，有很多在本地数据库的操作无法在RDS上使用，也就导致了大部分方案无法通过手工完成，这也是各大云商需要提供这么一个服务的原因。另外云服务的特点就是易用，大量手工工作与云服务的理念相悖。14、DRS最佳实践，视频在哪里查看？视频：https://support.huaweicloud.com/drs_video/index.html 最佳实践：https://support.huaweicloud.com/ ... s/drs_overview.html15、DRS数据同步是否可以实现？DRS目前主打场景是在线迁移，很多细节是朝迁移场景做的，DRS目前Mysql5.6,5.7、SQLServer的迁移场景均支持表级别在线迁移，所以也解决数据同步的有无问题，所以DRS可以根据客户需求来判断是否支持其数据同步场景，并不承诺我们完全支持数据同步，因为数据同步的需求非常多样化，而我们未来才会推出数据同步的单独特性。16、使用DRS数据迁移业务会不会中断？DRS在线迁移场景就是针对业务不中断的场景来设计的，通过做到源库与目标库的实时同步，从而做到迁移过程中业务无需中断，但考虑到数据是动态的，为了确保数据无遗漏，一般在最后的割接阶段，可以考虑中断个几分钟，确保数据完全同步好，并做好数据校验后结束迁移，开放业务，这个过程通常建议控制在10分钟内17、使用DRS做数据库迁移是否需要数据库改造？实现在线迁移，业界均有一些环境要求，我们DRS也不例外，这些会在预检查环节识别出来，并需要客户调整好，满足迁移条件才能顺利进行在线迁移，这些调整通常涉及到数据库参数、权限的调整，并没有重大的改造。18、使用DRS是否会数据丢失？DRS目前没有出现过数据丢失的案例，数据丢失与场景无关（不论是友商、云下、还是自建数据库）通常与问题17提到的割接操作相关，即客户在没有确保双方数据完全同步，且稳定保持一段时间的前提下，结束了迁移，这样可能出现数据迁移不干净的情况，所以业界标准的割接流程都是建议可以考虑中断个几分钟，确保数据完全同步好，并做好数据校验（通过DRS迁移对比功能可以清晰的看到两边的数据量对比情况）后结束迁移，开放业务19、哪里可以查看更多场常见问题？DRS帮助中心

本帖最后由 小路~ 于 2018-6-19 16:58 编辑华为云数据库重磅回馈数据复制服务 DRS 免费试用，数据库1元试用30天，体验反馈有机会获奖！ 活动期间华为云数据复制服务 DRS 免费试用（点击查看活动详情），支持四款数据库引擎：MySQL、SQL Server、PostgreSQL、MongoDB 副本集等， 1 元使用30天！（立即参与试用）不但有让你试用到手软的数据库，还有一波体验反馈大奖等着你~ 尊敬的华为云数据库用户： 或许您已经在使用华为云数据库，而且有自己的部署想法和意见；或许您刚刚接触华为云数据库，想很多想要了解的地方；So，快来这里大声的说出来吧！ 我们真诚的邀请您回帖分享数据库使用心得，或者鼓励身边使用过的朋友进行回帖！回帖即有机会赢取机械键盘哟，还有华为移动电源、太阳伞等您来拿~ [color=rgb(51,51,51)]1. 活动形式： 2018年5月8日-2018年6月8日 用户在本帖回复分享试用心得 发放奖励：一等奖1名，二等奖5名，三等奖10名 [color=rgb(51,51,51)]2. 活动规则： 使用过数据复制服务 DRS 后，在本帖吐槽，说说你在数据库迁移过程中遇到的问题、对DRS 的期待、改进点，参考以下形式即可。字数不限，体验即有机会赢取奖励~ 体验反馈贴参考形式：华为云账号：XXX试用产品：数据复制服务 DRS与 MySQL/SQL Server/PostgreSQL/MongoDB 副本集等试用形式：个人/企业试用场景：建站、测试、开发APP等使用情况及问题：XXX对数据库产品的建议：（可从页面布局、使用教程、操作步骤等方面提出建议）XXX [color=rgb(51,51,51)]3．奖品展示：15372[color=rgb(51,51,51)] [color=rgb(51,51,51)]活动说明：[color=rgb(51,51,51)] 1）我们在5月30号将在华为云社区数据库板块公示中奖名单，同时我们将以回帖形式联系获奖者，在公示后一周内统一发放奖品，请随时关注社区活动动态。[color=rgb(51,51,51)] 2）为保证活动公平公正，华为云有权对恶意刷活动资源(“恶意”是指为获取资源而异常注册账号等破坏活动公平性的行为)，利用资源从事违法违规行为的用户收回活动参与资格；另，同一ID只能获奖一次，以最高奖项为准。[color=rgb(51,51,51)] 3）所有参加本活动的用户，均视为认可并同意遵守《华为云用户协议》《华为云社区运营机制》《华为云社区活动规则》。本活动由华为云数据库服务社区主办，有任何活动问题，可反馈至邮箱：lubianbian@huawei.com 期待您的到来！

本帖最后由 小路~ 于 2018-4-18 16:37 编辑随着云计算市场和技术进一步成熟，企业上云成为趋势。数据库作为业务重中之重，迁移上云却面临高门槛、长周期、高成本、高风险等一系列挑战。华为云全新推出的数据复制服务 DRS，如何解决这些问题，助力企业数据轻松迁移，实现业务“零中断”？请见下图解密。点击了解、或免费申请试用华为云数据复制服务DRS：https://www.huaweicloud.com/product/drs.html 14085

本帖最后由 云飞杨 于 2018-4-3 14:15 编辑分布式系统异步通信在单体应用中，业务流程耦合导致系统对用户请求响应慢，可以通过将拆分子系统，并用消息队列作为子系统间的异步通信通道进行系统解耦，提升整个系统的响应速度。9949 加快系统响应：系统分布式解耦，并行处理，加快系统对用户请求的响应速度。 降低系统耦合：子系统间通过消息队列通信，避免相互耦合和影响。 数据缓存：消息队列提供亿级消息堆积能力，帮助系统在峰值情况下从容应对。 物联网 物联网设备通过接入网关连接云端，DMS消息队列可以提供高速的数据传输通道，连接后端的数据分析系统。 9950 高并发：单队列最高至10万TPS，并可通过队列数扩展提升整系统并发能力 灵活扩展：队列处理能力按需自动扩展，轻松应对接入设备的增强 数据同步 在大中型分布式系统中，DMS可以帮助各个子系统的数据及时同步到后台模块，并提供数据通道帮助触发其他的业务流程，如函数处理、消息通知等 9951 高并发：单队列最高至10万TPS，并可通过队列数扩展提升整系统并发能力 丰富消息类型：广播消息、延时消息、消息重投等使得应用可灵活控制数据同步时间 低时延：消息投递时间可至毫秒级，保证消息及时性 高扩展性应用针对存在扩展性要求的应用，DMS可以提供统一的接入通道，后续对接系统的增加减少都不会影响核心业务系统9952 集成方便：支持普通队列、FIFO队列、Kafka队列类型以及Http，TCP接入，轻松完成与其他系统的集成 按需扩展：队列处理能力按需自动扩展，及时方便完成系统扩展 异步通信：异步通信，海量堆积等能力有效隔离各业务系统增加系统健壮性

主备副本数据不一致的时候会触发同步，这个数据同步是增量同步还是全量同步，能不能介绍一下同步的流程？