类别服务名云小课链接数据库DAS【第1课】数据管理服务DAS来啦！帮您轻松解决数据管理各种难题【第14课】企业级数据管理利器来袭，华为云DAS让您轻松管理不发愁【第16课】不小心删除了数据库，除了跑路还能咋办？【第25课】如何通过SQL模板检查并进行表优化DDS【第2课】文档数据库服务DDS如何实现跨可用区容灾部署【第6课】灵活备份及恢复数据，保证数据可靠性！【第21课】DDS实例连接失败？跟着我七步搞定！【第32课】创建DDS只读节点，轻松应对业务高峰【第44课】文档数据库服务DDS小版本升级攻略DRS【第3课】数据复制服务，如何实现对象名映射【第11课】什么是单主灾备？什么是双主灾备？【第15课】聊一聊DRS的数据过滤特性【第20课】实时迁移or实时同步？这是个问题！【第40课】如何通过DRS实现RDS for MySQL到Kafka的数据同步【第41课】如何通过DRS实现他云MySQL到GaussDB(for MySQL)的数据迁移【第49课】本地Microsoft SQL Server备份迁移至华为云RDS for SQL Server实例—上篇【第50课】本地Microsoft SQL Server备份迁移至华为云RDS for SQL Server实例—下篇【第51课】通过DRS实现RDS for SQL Server全量备份迁移【第58课】如何通过DRS实现Oracle到DDM的数据同步UGO【第43课】5分钟带您了解顶流预备役-UGORDS【第4课】一键开通云数据库 MySQL读写分离功能，轻松应对业务高峰期【第5课】一键开启慢SQL审计功能 轻松优化SQL Server 数据库【第8课】MySQL数据库频繁出现OOM问题该如何化解【第10课】RDS for SQL Server透明数据加密功能，防止机密数据泄露【第17课】RDS实例连接又失败？看我祭出杀手锏！【第23课】MySQL数据库如何实现跨区域备份【第27课】MySQL数据库如何实现存储空间自动扩容【第34课】如何将自建MySQL迁移到RDS for MySQL【第35课】其他云MySQL迁移到RDS for MySQL实例【第36课】如何在DRS上搭建MySQL异地单主灾备【第42课】RDS for PostgreSQL插件介绍【第53课】RDS for MySQL绑定多安全组【第56课】RDS for MySQL参数模板一键导入导出，参数配置轻松搞定【第57课】RDS for MySQL停止和开启实例GaussDB【第22课】云数据库GaussDB惊艳来袭 —— 第一弹：数据实例的连接【第24课】云数据库GaussDB惊艳来袭 —— 第二弹：数据实例的连接【第26课】云数据库GaussDB惊艳来袭 —— 第三弹：数据实例的连接【第28课】云数据库GaussDB语法入门【第31课】如何初步定位GaussDB慢SQL【第37课】Oracle同步至GaussDB的最佳实践方案【第38课】GaussDB如何进行SQL调优【第39课】GaussDB如何进行性能调优【第46课】GaussDB_gsql入门【第47课】GaussDB如何创建和管理视图【第48课】GaussDB如何创建和管理定时任务【第52课】GaussDB元命令使用指导GaussDB(for Cassandra)【第7课】GaussDB(for Cassandra)数据库简介【第13课】初识GaussDB(for Cassandra)基础架构DDM【第9课】手把手教您创建DDM逻辑库【第33课】合理定制DDM分片策略【第45课】DDM分片变更的原理和使用场景【第54课】DDM如何实现读写分离GaussDB(for MySQL)【第12课】如何通过客户端连接GaussDB(for MySQL)实例【第18课】GaussDB(for MySQL)读请求场景多，只读节点有话说！【第30课】云数据库 GaussDB(for MySQL)如何查看和优化慢SQL【第55课】GaussDB(for MySQL)小版本升级全攻略GaussDB(for Redis)【第19课】华为云GaussDB(for Redis)与自建开源Redis的成本对比【第29课】不容错过！华为云新一代缓存“大咖”——云数据库 GaussDB(for Redis)

平台版本：CentOS Linux release 7.4.1708 (Core) Linux bpm-db.novalocal 3.10.0-693.11.1.el7.x86_64 #1 SMP Mon Dec 4 23:52:40 UTC 2017 x86_64 x86_64 x86_64 GNU/Linux数据库版本：GaussDB_100_1.0.1-CLUSTER-CENTOS7.5-64bit.tar.gz同步软件版本：GAUSSDB100-V300R001C00-DATASYNC.tar.gz源库：Oracle，MySQL     ------>目标库：Gaussdb 100同步日志：Start checking config.............................[failed][Msg]: cfg.ini:export_db.db driver load fail:please check the param从上可以看出在做同步之前的配置检查，发现驱动报错，注意检查原因：查看发现DS默认是不包含oracle与mysql数据库的驱动包解决方案：下载驱动包放置到 ../dependency-jars 目录下★特别注意：不是下载个驱动包放进去就完事了，通过多次测试验证，驱动包的命名规则与版本有要求（但该版的DS文档并没有给出具体说明）                   目前测试的V300R001C00版本的驱动要求是：ojdbc8-12.2.0.1.jar，mysql-connector-java-5.1.44.jar                   注意下载下来相应的版本驱动后还要修改成对应的如上命名规则，否则不会生效

   前几日线上运维告知线上客户进行数据同步的时候，备机老是会同步失败，经过查询备机上错误日志发现是出现了duplicate key错误，及试图在备机上INSERT具有相同唯一键值的两条记录；   由于备机是试图INSERT两条相同唯一键值的记录而违法唯一性约束，那么也就意味着在主机上存在着至少两条具有相同唯一键值的记录。因为，只有备机上才会出现上述的现象；   故而，我们使用索引扫描，查询主机中的数据，发现主机上只有一条记录；但是当我们使用全表扫描时候，却发现存在着两条唯一键相同的数据；这也就解释了为什么会在备机上使用binlog进行数据同步的时候，备机上会发生违反唯一键约束的错误-duplicate key error;相应错误信息如下：  2019-12-05T12:04:14.435930+08:00 1293519 [ERROR] Slave SQL for channel '': Worker 1 failed executing transaction 'cae9a444-b853-11e9-b0ea-fa163edfac4d:851196058' at master log mysql-bin.212398, end_log_pos 219996953; Could not execute Write_rows_v1 event on table db_name.table_name; Duplicate entry 'xxx.yyy.zzz' for key 'package_lang', Error_code: 1062; handler error HA_ERR_FOUND_DUPP_KEY; the event's master log FIRST, end_log_pos 219996953, Error_code: 1062  表结构如下：mysql> show create table db_name.table_name \G*************************** 1. row ***************************       Table: googleplay_globalCreate Table: CREATE TABLE `table_name` (  `id` bigint(20) unsigned NOT NULL AUTO_INCREMENT COMMENT '主键',  `colX` varchar(128) NOT NULL COMMENT 'package name',   …   `colY` varchar(16) NOT NULL DEFAULT '' COMMENT '语言',  UNIQUE KEY `package_lang` (`colX`,`colY`),<pre style="margin->  KEY `title` (`title`)<pre style=">) ENGINE=InnoDB AUTO_INCREMENT=960763562 DEFAULT CHARSET=utf8 COMMENT='…'<pre style="margin->1 row in set (0.00 sec)   从现象上看看，备机之所以会存在着唯一键约束失败的错误，主要原因是由于在主机上存在着两条唯一键相同的记录，（为方便讨论这里我们用rowX和rowY分别代表这两条记录）。当rowX INSERT入到主机时，由于无论在主机和备机上都不存在着该记录，此时rowX顺利INSERT入并同步到备机；当rowY INSERT到主机时候，此时rowY也被顺利INSERT并开始同步到备机；此时，备机上也已经存在着记录rowX，此时在备机上在继续INSERT具有相同唯一键值的记录rowY时候，此时备机检测到其违反唯一键约束，故而备机同步出错；  为什么会出现这个现象呢？我们直观的反应：是否是用户将唯一性检查关闭了，从而导致该情况的发生；我们知道，MySQL中涉及到unique key的变量为unique_checks，虽然其名曰唯一性约束检查，但实际上在MySQL中会始终进行唯一性约束检查。但InnoDB却存在着一种特殊情形下，InnoDB却不在对所操作的数据进行唯一性约束进行检查；   我们知道，通常在对一个大的表进行import操作的时候，DBA一般会将unique_checks参数设置为off, 其目的就是为了加速数据import速度，因为在该二级索引上对其进行临时关闭；因为在import的过程中，Innodb可以使用change buffer来对该二级索引进行批量的INSERT，从而可以减少大量的IO；此时，需要由用户来保证数据的唯一性；官方也给出了给出相关说明：If you have UNIQUE constraints on secondary keys, you can speed up table imports by temporarily turning off the uniqueness checks during the import session:SET unique_checks=0;... SQL import statements ...SET unique_checks=1;For big tables, this saves a lot of disk I/O because InnoDB can use its change buffer to write secondary index records in a batch. Be certain that the data contains no duplicate keys.其中，我们需要特别注意最后一句话，be certain that data contains NO duplicate keys.  用户是否也是因为设置了unique_checks=off，而导致在备机上出现duplicate key error这样的错误呢？   经过查询binlog，可以看到用户在进行数据import操作之前，进行了set unique_checks=off的操作，然后又执行了disable keys操作；SET TIMESTAMP=1576519219/*!*/;SET @@session.foreign_key_checks=0, @@session.unique_checks=0/*!*/;SET @@session.sql_mode=524288/*!*/;/*!40000 ALTER TABLE `tablesName_global` DISABLE KEYS */   select count(1) from googleplay_global force (package_lang); //使用唯一索引，表中得数据量为：2990029；select count(1) from tableName –走全表扫描得，表中得数据为：2990029select count(distinct colX,colY) from googleplay_global force index(package_lang) –走唯一索引且去重后，我们得到得表得数据量为：2647195；可以看出：走唯一索引且去重后我们得到2647195条记录，而通过全表是2990029，两者之间差了近30w条记录，而这些就是重复的数据(违反唯一索引特性)；  从用户的参数配置和官方给出的解释，我们知道：当unique_checks关闭的时候并且在INSERT数据的时候使用了change buffer，如果此时我们INSERT的数据中再存在着唯一键重复的记录时，InnoDB是则会INSERT该具有相同唯一键值的记录；   innodb有个change buffer，可以缓存二级索引的修改，比如一个INSERT/DELETE等，定位到二级索引的叶页面的时候，这个页面不在缓存，那么就把这个INSERT/DELETE缓存到change buffer，之后当真正要修改的页面被读入缓存的时候，再合并这个修改。 按照代码设计和逻辑，如果unique checks=0，并且可以被缓存到change buffer，这个INSERT是不需要进行唯一性检查。   简而言之，上述可以归结为三点：（1）unique_checks=off；（2）使用change buffer；（3）INSERT的数据中存在着唯一键相同的记录；如果同时满足了上述三点后，则唯一性约束将会被破坏；对于change buffer的作用这里简单提下：当我们对二级索引进行操作的时候，InnoDB为了减少对于二级索引的IO操作；当我们对二级索引进行操作的时候，如果该页面不在缓冲池（buffer pool）的时候，首先会将该二级索引INSERT到change buffer中，当该页面由于其他操作被加载到缓冲池(buffer pool)的时候，将change buffer中的页面和缓冲池中的页面进行合并；这样就可以不必每次对于二级索引的操作都进行一次IO操作了，可以减少IO操作； ·         当用户设置了unique_checks为off的时候；InnoDB会将相应的状态更新到当前事务的check_unique_secondary字段中：  trx->check_unique_secondary =      !thd_test_options(thd, OPTION_RELAXED_UNIQUE_CHECKS); ·         在二级索引页面定位的过程中会依据是否对二级索引上的唯一性进行检查设置相应的操作类型：void btr_cur_search_to_nth_level(dict_index_t *index,…)  { …    case BTR_INSERT:      btr_op = (latch_mode & BTR_IGNORE_SEC_UNIQUE)                   ? BTR_INSERT_IGNORE_UNIQUE_OP                   : BTR_INSERT_OP;   …    switch (btr_op) {      case BTR_INSERT_OP:      case BTR_INSERT_IGNORE_UNIQUE_OP:        ut_ad(fetch == Page_fetch::IF_IN_POOL);        ut_ad(!dict_index_is_spatial(index));        if (ibuf_insert(IBUF_OP_INSERT, tuple, index, page_id, page_size,                        cursor->thr)) {//INSERT到change buffer中，并未进行唯一性检查。           cursor->flag = BTR_CUR_INSERT_TO_IBUF;           goto func_exit;        }        break; ·         在二级索引页面INSERT的过程中检查是否对唯一性索引约束进行判断：dberr_t row_ins_sec_index_entry_low (ulint flags, ulint mode, …) {  …  /* Note that we use PAGE_CUR_LE as the search mode, because then  the function will return in both low_match and up_match of the  cursor sensible values */   if (!thr_get_trx(thr)->check_unique_secondary) {    search_mode |= BTR_IGNORE_SEC_UNIQUE;  } …if (dict_index_is_spatial(index)) {…} else {if (index->table->is_intrinsic()) {  …} else {  btr_cur_search_to_nth_level(index, 0, entry, PAGE_CUR_LE, search_mode,                                  &cursor, 0, __FILE__, __LINE__, &mtr);}…//当我们需要INSERT的页面不在buffer pool的时候，会将该二级索引的页面INSERT到change buffer//中，而这也是导致我们唯一性约束失败的必要条件；if (cursor.flag == BTR_CUR_INSERT_TO_IBUF) { //INSERT到change buffer中，在完成change buffer的INSERT后，其并未在二级索引上进行INSERT操作，直接退出了；若此时在二级索引上进行INSERT操作的话，则会依据row_ins_scan_sec_index_for_duplicate函数的返回值来进行判定本次二级索引INSERT是否成功；    ut_ad(!dict_index_is_spatial(index));    /* The insert was buffered during the search: we are done */    goto func_exit;  }  …  if (dict_index_is_unique(index) &&      (cursor.low_match >= n_unique || cursor.up_match >= n_unique)) {    mtr_commit(&mtr);     DEBUG_SYNC_C("row_ins_sec_index_unique");     if (row_ins_sec_mtr_start_and_check_if_aborted(&mtr, index, check,                                                   search_mode)) {      goto func_exit;    }    err = row_ins_scan_sec_index_for_duplicate(flags, index, entry, thr, check,                                               &mtr, offsets_heap);    mtr_commit(&mtr);   switch (err) {     case DB_SUCCESS:         break;     case DB_DUPLICATE_KEY:         if (!index->is_committed()) {         …   }   …  func_exit:  if (dict_index_is_spatial(index)) {    rtr_clean_rtr_info(&rtr_info, true);  }  mtr_commit(&mtr);  DBUG_RETURN(err);}   至此，我们给出违反唯一性约束的原因和出现违反该唯一性约束条件；那么我们可以在本地按如下的方式进行重现：1： session 1，在存在唯一约束test_uniqe的表testtable INSERT 5000条不重复记录，修改unique checks=0，并不断的重复去更新testtable里的test_uniqe约束的字段colume1,此时主机会报错（唯一键约束），备机正常；2：打开session 2,不断的往testtable1-testtable10 共10张表里不断的INSERT数据，目的是把testtable这张表数据挤出buffer_pool，放入change_buffer中（此时unique checks=0）3：此时再回到session1上对testtable进行更新操作（此时unique checks=0）,此时testtable所有的数据不再buffer_pool中，都转到change_buffer中，这时innodb就会绕过唯一性检查进行数据写入，产生现象为唯一性约束被破坏4：此时备机在回放的时候就会出现违反唯一性约束的报错 下面大家可以使用附件中的SQL进行相关场景的复现：为了杜绝上述问题的发生，我们可以通过如下操作来消除违反唯一性约束的三个条件：（1）对操作表中的重复数据进行去重操作；（2）进行操作的时候不要关闭unique checks；（3）set global innodb_change_buffering=none；（4）对唯一性检查选项进行权限控制，如果用户一定要进行关闭唯一性检查选择，则通知用户需明确知道其所作对于数据一致性所带来的影响；             

背景：物理看板可以起到信息发射源的作用，可以透明项目的进度和资源，成为项目对外展示的一个窗口；物理看板使用起来直观，同时具有仪式感；但是看板上的数据不便于保留和跟踪。电子看板便于数据的统计和追踪。从团队实施敏捷的角度，既想有仪式感，还需要进行数据的统计，所以团队两种看板同时使用，这就需要信息同步。团队用过下面三种方式：1，每个人负责自己的两个看板同步：晚上大家更新电子看板梳理下自己的任务，第二天早会一起更新物理看板，有变动后会再更新电子看板。2，专人负责电子看板：早会大家更新完物理看板后，Scrum Master负责将物理看板上的数据记录下来同步到电子看板中。3，团队成员轮流负责：早会大家更新完物理看板后，团队成员负责将物理看板上的数据记录下来同步到电子看板中。开始我们使用第一种情况，经常会发生电子看板更新不及时，影响后期数据统计，团队成员中有抱怨声音，然后就变成了第二种，由Scrum Master去做，很顺畅，后来Scrum Master由专变成了兼职，任务过于饱和，就变成了第三种，团队轮流来更新电子看板，偶尔出现忘记更新的情况，再安排一个负责人check又额外增加了工作量，很是头疼。问题：团队使用的是项目管理工具，电子看板要更新，物理看板直观，仪式感好也不想放弃，关于两种同时用时的数据同步各位专家有什么好的建议？

随着云计算的飞速发展，各类基础软件开始了云化转型之路，即使是相对传统的数据库行业也在云化大潮中不断发展创新，甚至涌现出一些颠覆性的技术实践，如原本复杂的数据库迁移如今在云上变得轻松简单，极大便利了客户和一线运维人员对数据库的管理。“我们准备了12小时的迁移时间，但实际上到了真正迁移的那天是非常轻松的，只用了1小时就完成了全部迁移。”——锦江都城酒店迁移案例华为云数据库秉承为客户服务的原则，帮助过众多行业的客户平滑无感上云，凭借过硬的技术沉淀和专业云服务赢取了客户的信任，让客户用得省心又安心；同时积累了大量丰富的迁移经验，成为最懂客户迁移难题的产品，并将所有的数据库迁移经验融入到一款云服务：数据复制服务（DRS）。最近DRS新推出了一个非常实用的小功能——迁移进度可视化，让客户清晰可见迁移时全量阶段的进展，一目了然任务的迁移进度，使迁移过程透明化、可视化，有效提升了用户体验。目前云数据库新年狂欢火热进行中，新用户仅需10元即可畅享爆款云数据库，首购专享1年低至3折，新年新购1年75折，3年45折，包年购买数据库产品即免费赠送数据库安全服务DBSS一个月使用时长，快来寻找属于你的云数据库专“鼠”优惠吧！购买请前往华为云官网——最新活动——云数据库新年狂欢页面。https://activity.huaweicloud.com/2020dbs_Promotion/index.html

数据复制服务（Data Replication Service，简称DRS）是一种易用、稳定、高效、用于数据库在线迁移和数据库实时同步的云服务。数据复制服务提供了在线迁移、备份迁移、数据同步、数据订阅和多活灾备等多种功能。数据复制服务支持哪些对象名映射数据复制服务的数据同步功能支持源数据库和目标数据库中同步对象的名称不同，即源库中的对象A同步到目标库，成为目标库中的对象B。可以使用对象名映射功能实现该目的，支持库映射、表映射和schema映射。持对象映射的同步场景映射类型支持同步场景库映射MySQL->MySQL同步MySQL->PostgreSQL同步表映射MySQL->PostgreSQL同步Schema映射MySQL->PostgreSQL同步操作步骤库映射1.     在“设定同步”页面，同步对象右侧已选对象框中，选择需要进行映射的数据库，单击“编辑”按钮。图1 库映射2.     修改库名。在“编辑库名”的弹出框中，填写新的数据库名，修改后的名称即为保存在目标数据库中的库名。图2 修改库名3.     查看修改结果。库名修改成功后，您会看到修改前的库名和修改后的新数据库名，至此，表示完成库映射的配置。图3 查看库名修改结果schema映射schema指数据库对象的集合，这个集合包含了各种对象如：表、视图、存储过程、索引等。1.     在“设定同步”页面，同步对象右侧已选对象框中，选择需要进行映射的schema，单击“编辑”按钮。图4 schema映射2.     修改schema名。在“编辑schema名”的弹出框中，填写新的schema名，修改后的名称即为保存在目标数据库中的schema名。图5 修改schema名3.     查看修改结果。schema名修改成功后，您会看到修改前的schema名和修改后的新schema名，至此，表示完成schema映射的配置。图6 查看schema修改结果表映射1.     在“设定同步”页面，同步对象右侧已选对象框中，选择需要进行映射的表，单击“编辑”按钮。图7 表映射2.     修改表名。在“编辑表名”的弹出框中，填写新的表名，修改后的名称即为保存在目标数据库中的表名。图8 修改表名3.     查看修改结果。表名修改成功后，您会看到修改前的表名和修改后的新表名，至此，表示完成表映射的配置。图9 查看表名修改结果 了解更多，请戳我...

尊敬的华为云客户：华为云计划于2019/11/27 00:00（北京时间），对数据复制服务（DRS）如下场景正式开始计费，此次计费仅对2019/11/27 00:00（北京时间）后启动的DRS任务生效，具体价格详情如下：公有云计费模式如下：场景引擎关系区域入云出云配置费用数据传输费（仅公网）配置费用数据传输费（仅公网）在线迁移MySQL-MySQL大陆站（全区）1周内免费，超过1周计费2.4元/时入云免费2.4元/时1.5元/G数据同步MySQL-MySQL大陆站（全区）2.4元/时入云免费2.4元/时1.5元/G在线迁移MySQL-MySQL国际站（香港）1周内免费，超过1周计费0.4 美元/时入云免费0.4 美元/时0.32 美元/G数据同步MySQL-MySQL国际站（香港）0.4 美元/时入云免费0.4 美元/时0.32 美元/G在线迁移MySQL-MySQL国际站（亚太-曼谷）1周内免费，超过1周计费0.36 美元/时入云免费0.36美元/时0.22美元/G数据同步MySQL-MySQL国际站（亚太-曼谷）0.36美元/时入云免费0.36美元/时0.22美元/G在线迁移MySQL-MySQL国际站（亚太-新加坡）1周内免费，超过1周计费0.38美元/时入云免费0.38美元/时0.24美元/G数据同步MySQL-MySQL国际站（亚太-新加坡）0.38美元/时入云免费0.38美元/时0.24美元/G在线迁移MySQL-MySQL国际站（非洲-约翰内斯堡）1周内免费，超过1周计费0.44美元/时入云免费0.44美元/时0.48美元/G数据同步MySQL-MySQL国际站（非洲-约翰内斯堡）0.44美元/时入云免费0.44美元/时0.48美元/G在线迁移MySQL-MySQL国际站（拉美-圣地亚哥）1周内免费，超过1周计费0.32美元/时入云免费0.32美元/时0.18美元/G数据同步MySQL-MySQL国际站（拉美-圣地亚哥）0.32美元/时入云免费0.32美元/时0.18美元/G注：专属云（Dec）、金融区、华为云全栈（HCS、HCSO）的DRS报价，请以华为云项目报价为准。华为云在此提醒您，如果您不需要使用该服务时，请及时结束任务，以免产生费用。更多关于华为云数据复制服务（DRS）的产品介绍，请您点击了解。如您有任何问题，可随时通过工单或者服务热线（4000-955-988或950808）与我们联系。       感谢您对华为云的支持！

身为DBA的你是否经常遇到这种问题：同时迁移几套数据库，但是上面的账号有几十个，密码都在十几个人手里自己维护，而且要求迁移后密码不变，这时通常采取的做法是找持有密码的那十几个人收集，但这样一来沟通成本过大，时间效率上大打折扣。那有没有其它方法既能安全迁移原始密码又不耽误工作呢？当然有！华为云数据复制服务DRS新推出了一款功能——密码在线迁移，一键式克隆迁移源数据库密码，包括用户和权限都能一键迁移过去，且操作简便灵活，极大减轻了DBA繁重的运维工作。作为业界首家新推出的华为云DRS密码在线迁移功能，其优势特性有哪些呢？1.不碰用户密码，原封不动迁移华为云DRS默认用户源数据库的密码，不分析也不删改，原封不动地把密码迁移到新数据库上，并凭借专业的技术实力保证整个迁移过程中数据不丢失、不改动，承诺不碰用户密码。2.按需设置，省心省力华为云DRS密码设置自由，用户可根据业务需求，选择是否需要重新设置数据库密码，如若重新设置，需通过设置一个新的密码迁移到目标库。数据库迁移，要的就是省心！华为云DRS密码迁移，给DBA省心又省力。而且是业界首家研发，兼容强大，可兼容主流云厂商，特性实在，魅力值爆满，DBA的福音，每个企业都值得拥有！目前，华为云数据库年度最大的特惠专场火热进行中，新用户仅需10元即可享受专业云服务，且全场包年低至五折，更有2000元优惠券等你来拿，更多详情了解请前往华为云官网：https://activity.huaweicloud.com/CloudDBS-SpecialSession.html?utm_source=wechat&utm_medium=officialaccount&utm_campaign=performance_contest_0811&utm_content=sjk_dbs_0811

近日， DRS支持 MySQL 迁移时限速功能重磅上线，该功能让用户轻松把控迁移对源带宽、数据库IO的影响。使用DRS限速功能，可以让迁移对源业务高峰期性能影响最小化；搭配全量+增量迁移，可以让数据库迁移时，源业务不停机，有效的降低业务中断时间，让用户更专注业务发展。数据复制服务（Data Replication Service，简称为 DRS）是一种易用、稳定、高效，用于数据库在线迁移和数据库实时同步的云服务。下面介绍一下DRS的限速功能：流速模式支持两大选项：限速和不限速不限速模式：不限速对迁移速度不进行限制，通常会最大化使用源数据库的出口带宽。【用户疑问】那么不限速模式的实际迁移速度会是多少呢？对源又会造成怎么样的性能影响呢？ 【专家答复】：该流速模式会对源数据库造成读消耗，消耗取决于源数据库的出口带宽，比如源数据库的出口带宽为100Mb/s，假设高速模式使用了80%带宽，则迁移对源数据库将造成80Mb/s的读操作IO消耗。限速模式：限速可以自定义的最大迁移速度，迁移过程中的迁移速度将不会超过该速度。用户疑问】：限速功能可以很好的确保在业务高峰期，用户迁移对源数据库造成业务较大的性能影响，具体如何使用的呢？ 【专家答复】： 流速设置通常包括限速时间段和流速大小的设置。默认的限速时间段为全天，用户也可以根据业务需求自定义定时限速。自定义的定时限速支持最多设置3个定时任务，每个定时任务之间不能存在交叉的时间段，未设定在限速时间段的时间默认为不限速。【案例展示】：某业务系统数据库MySQL数据量达到1.5TB，基于成本原因迁移使用公网方式，希望迁移时业务不中断，其业务时间为早上9:00到晚上23:00为业务期，不希望迁移影响业务性能。【解决方案】：客户希望迁移不中断，使用DRS全量+增量模式可以在业务进行中实现数据库的搬迁。受带宽限制根据测算1.5TB迁移，将会超过24小时，不可避免跨越业务期和非业务期，为了确保业务期性能不受迁移较大影响，我们设定早上9:00到晚上23:00迁移速度限定在40Mb/s，其他时间段以最大迁移，这样完美的满足了客户的迁移诉求。当前，国内云计算市场正处于爆发增长期，华为云数据复制服务 DRS 新功能——DRS支持 MySQL 迁移时限速功能的上线，该功能对广大想要扩展云业务的用户而言非常实用，将助力用户的迁移体验更流畅。 

企业上云成为近年来的热门话题，很多企业甚至把企业上云看成是企业数字化转型的必经之路。然而企业上云从何处入手? 如何在业务不中断或者计划的时间窗口内成功迁云?如何降低数据迁移过程中的复杂性?究其根本企业上云最大的难题之一是数据库的数据迁移。为客户解决的这个难题，是华为云数据库服务团队持续不断地在数据迁移领域进行技术研究和创新的重要驱动力。数据复制服务DRS 的定位我们都知道，华为在云数据库领域的产品已形成了系列，包括SQL、NoSQL的等等。但是很多人不知道的是，华为云还有一款重量级的产品：华为云数据复制服务DRS(Data Replication Service，简称为 DRS)。什么是DRS?从概念来看，数据复制服务DRS是一种易用、稳定、高效，用于数据库在线迁移和数据库实时同步的云服务。DRS围绕云数据库，降低了数据库之间数据流通的复杂性，有效地帮助用户减少数据传输成本。简单理解，DRS是企业数据上云的“绿色管道”，能确保企业的关键数据一键迁云。具体而言，DRS有两个重要使命。第一，帮助企业DBA或者是CTO，以快速、简单的方式把数据库安全地迁移到云上。企业上云的第一个门槛就是数据迁移，在传统云下做数据库迁移会面临很多风险与挑战，例如业务中断、数据丢失、迁移失败等。虽然传统意义上来看数据库迁移通常很难，在云上有了很大的变化，借助华为云DRS，用户可有效避免云迁移带来的各种复杂问题，为客户成功迁云建立信心。用户只需要轻松几步，分钟级就可以创建好迁移任务;第二个使命，DRS可以解决数据孤岛、数据流、灾备保护等问题，让数据库之间的关键数据按照用户业务的需要驱动，实时流动起来，也就是服务于数据库的同步、灾备等场景下客户的各类需求，是云数据库整体方案成功落地的得力助手。 五大技术亮点降低数据流通的复杂性对于金融行业、政府机构以及自然灾害频发的沿海地区来说，对于异地灾备需求非常强烈。用户要进行两地三中心的容灾部署，最关心的问题就是会不会丢数据、异地传输多长时间能达到百里之外。围绕这些问题，DRS通过以下五个核心能力来更好地满足用户期望。智能压缩：长距离的异地传输或者备份时网络带宽不稳定是主要的问题，DRS采用智能压缩的思路，在传输数据量大小决定压缩与否，面对带宽不足时，有效保障数据可送达异地。批量发送：高频率的数据库操作，在局域网内性能可能不是问题。但远距离传输需要“多层握手”，网络延时从毫秒级变成几十毫秒级，这种时延差异在高频率操作的放大下，延时可能会由原来的几秒变成了几十秒，导致数据传输到异地实时性大幅下降，DRS可以通过批量发送功能减少反复握手的问题，有效提升异地数据传输的实时性。日志回放：DRS收到数据库的日志是有序串行的，按照原顺序回放将会形成瓶颈，使得异地数据远远落后于源数据，并行回放这些日志是提升数据传输实时性的关键技术。当然随意地并行会出现数据错乱问题。DRS采用并行判断模块，可以高效梳理哪些行级数据能并行执行，较大程度上提升了数据实时性。并行抓取：DRS并行地抓取变化的数据，最大程度保护数据在灾难发生时的损失。热点合并：在短时间之内频繁的对同一数据进行反复操作，DRS可以合并这些操作，这个过程可以简化为最终一致数据发送至异地数据，使得满足该类场景下的数据传输性得到提升。通过上述技术组合创新，华为云DRS给用户带来了综合的服务体验提升。 预检查功能确保企业迁云成功华为云DRS有许多具体的技术措施，其中关键的一个技术是预检查，华为云把所有成功项目的经验和要点积累固化到程序的检查项中，成熟完善的预检查系统，DRS可以明确提示客户哪一项环境设置会影响迁移，应该如何调整。成功通过一系列的精准检查后，可以确定迁云成功。值得一提的是，华为云DRS采用统一自动的逻辑，从整体上使得每个用户使用DRS迁移效果一致。例如：大量数据传输时，由网络异常造成的频繁地传输中断，DRS能为用户自动重连，快速定位识别到具体的断点，使得数据能够准确地续传。为了避免人为导致的误操作，华为云DRS在选择目标端的时候，会建议目标数据库只能读、不可写，这样能有效避免人为因素导致的数据不一致性、数据错乱、数据丢失等问题。为了使用户放心切换业务至云数据库，用户希望校验数据是否丢失，直观的方式是做对比，华为云DRS可以做对象级别的对比，包括有多少个表、多少个索引等，所有的对象都一致性一目了然。同时DRS还有两种数据对比能力：行级别和内容对比，行对比将对行总数进行两边一致性的校对，可以帮助用户清楚的看到数据行数是否一致; 内容对比是完整地将表与表全部的值校对一遍。 华为DRS将会持续的优化算法提升对比的效率。正是华为云DRS这一系列的措施，确保了企业成功迁云。企业上云，或者说在选择云平台的时候，可以从云平台三方面考量入手：数据库的技术与安全性、云平台的中立性和稳定性以及云平台的企业级业务成熟度。● 数据库技术和安全方面：华为在数据库领域有多年技术的沉淀，并一脉传承到云平台，国际化和企业级的安全合规设计上已践行多年，在专业的数据安全领域，华为云提供的数据库安全云服务，为云上数据库保驾护航。● 云平台的中立性和稳定性：华为云恪守“黑土地”思维，服务企业的基因驱动着云平台的长期发展。● 云平台的企业级业务成熟度：华为具有丰富的企业级服务经验积累。当然，对于广大CTO/DA/DBA等用户来说，成功走向云端有很多路径，无论通过非核心的外围业务系统来做一些尝试，还是先从没有历史负担的新业务开始，在这个过程中，DRS都能帮助用户更安心，更放心走向云端。

操作指导视频分享，视分成两个压缩包，附件视频内容为“使用数据复制服务DRS完成MySQL数据库迁移”第一部分

操作指导视频分享，视分成两个压缩包，附件视频内容为“使用数据复制服务DRS完成MySQL数据库迁移”第一部分

使用Maxwell同步工具，基于binlog将MySQL中的数据同步到MRS kafka中1.1.1 Maxwell概述Maxwell是一个开源项目（http://maxwells-daemon.io），通过读取MySQL的binlog日志，将增删改等操作转为JSON格式发送到输出端(如控制台/文件/Kafka等)Maxwell运行在Linux服务器上，常见的有EulerOS、Ubuntu、Debian、CentOS、OpenSUSE等，且需要Java 1.8+支持。Maxwell可部署在MySQL机器上，也可独立部署在其他与MySQL网络可通的机器上。 1.1.2 配置MySQL                                步骤 1      开启binlog    打开my.cnf文件，在[mysqld] 区块检查是否配置server_id，log-bin与binlog_format                $ vi my.cnf                 [mysqld]                server_id=1                log-bin=master                binlog_format=row    若没有配置请添加配置项，并重启mysql                  步骤2    创建同步用户                Maxwell需要连接MySQL，并创建一个名称为maxwell的数据库存储元数据，且需要能访问需要同步的数据库，故建议新创建一个MySQL用户专门用来给Maxwell使用。    使用root登录MySQL之后，执行如下命令创建maxwell用户(其中XXXXXX是密码，请修改为实际值)    若Maxwell程序部署在非MySQL机器上，则创建的maxwell用户需要有远程登录数据库的权限，此时创建命令为                mysql> GRANT ALL on maxwell.* to 'maxwell'@'%' identified by 'XXXXXX';                mysql> GRANT SELECT, REPLICATION CLIENT, REPLICATION SLAVE on *.* to 'maxwell'@'%';    若Maxwell部署在MySQL机器上，则创建的maxwell用户可以设置为只能在本机登录数据库，此时创建命令为                mysql> GRANT SELECT, REPLICATION CLIENT, REPLICATION SLAVE on *.* to 'maxwell'@'localhost' identified by 'XXXXXX';                mysql> GRANT ALL on maxwell.* to 'maxwell'@'localhost';1.1.3 安装Maxwell                                步骤 1      从如下地址下载安装包https://github.com/zendesk/maxwell/releases    选择名为maxwell-XXX.tar.gz的二进制文件下载，其中XXX为版本号。                                步骤 2      使用WinSCP等传输工具将tar.gz包上传到任意目录下(本示例路径为master节点的/opt)                                步骤 3      使用PuTTY等工具登录部署Maxwell的服务器，并进入zip所在目录                            cd /opt                                步骤 4      解压“maxwell-XXX.tar.gz”压缩包，并进入“maxwell-XXX”文件夹                            tar -zxvf maxwell-XXX.tar.gz                            cd maxwell-XXX1.1.4 配置Maxwell    在Maxwell的conf目录下有一个config.properties文件，配置项说明请参见下表。若没有conf目录，则是在maxwell的文件夹下将config.properties.example修改成config.properties。配置项必填说明默认值user是连接MySQL的用户名，即1.1.2 步骤 2   中新创建的用户-password是连接MySQL的密码-host否MySQL地址localhostport否MySQL端口3306log_level否日志打印级别，可选值为l    debugl    infol    warnl    errorinfooutput_ddl 否是否发送DDL(数据库与数据表的定义修改)事件l    true：发送DDL事件l    false：不发送DDL事件falseproducer是生产者类型，配置为kafkal    stdout：将生成的事件打印在日志中  l    kafka：将生成的事件发送到kafkastdoutproducer_partition_by否分区策略，用来确保相同一类的数据写入到kafka同一分区l    database：使用数据库名称做分区，保证同一个数据库的事件写入到kafka同一个分区中l    table：使用表名称做分区，保证同一个表的事件写入到kafka同一个分区中databaseignore_producer_error否是否忽略生产者发送数据失败的错误l    true：在日志打印错误信息并跳过错误的数据，程序继续运行l    false：在日志打印错误信息并终止程序truemetrics_slf4j_interval否在日志中输出上传kafka成功与失败的数量统计的时间间隔，单位秒60kafka.bootstrap.servers是kafka代理节点地址，配置形式为HOST:PORT[,HOST:PORT]kafka_topic否写入kafka的topic名maxwelldead_letter_topic否当发送某条记录出错时，记录该条出错记录主键的kafka topic。kafka_version否Maxwell使用的kafka   producer版本号，不能在config.properties中配置，需要在启动命令时用-- kafka_version xxx参数传入kafka_partition_hash否划分kafka   topic partition的算法，支持default或murmur3defaultkafka_key_format否Kafka record的key生成方式，支持array或hashHashddl_kafka_topic否当output_ddl配置为true时，DDL操作写入的topic{kafka_topic}filter否用于过滤数据库或表。l    如只想采集mydatabase的库，可以配置为 exclude:   *.*,include: mydatabase.*l    如只想采集mydatabase.mytable的表，可以配置为 exclude:   *.*,include: mydatabase.mytablel    如只想采集mydatabase库下的mytable，mydate_123, mydate_456表，可以配置为exclude: *.*,include: mydatabase.mytable,   include: mydatabase./mydate_\\d*/ 1.1.5 启动Maxwell                                步骤 1      使用PuTTY工具登录Maxwell所在的服务器。                                步骤 2      进入Maxwell安装目录。                    cd /opt/ maxwell-1.21.0/注意：如果是初次使用Maxwell，建议将conf/config.properties中的log_level改为debug(调试级别)，以便观察启动之后是否能正常从MySQL获取数据并发送到kafka，当整个流程调试通过之后，再把log_level修改为info，然后先停止再启动Maxwell生效# log level [debug | info | warn | error]log_level=debug                                步骤 3      启动Maxwell。                    source /opt/client/bigdata_env                    bin/Maxwell      也可以在启动命令中添加参数，例如：                    bin/maxwell --user='maxwell' --password='XXXXXX' --host='127.0.0.1' \                   --producer=kafka --kafka.bootstrap.servers=kafkahost:9092 --kafka_topic=Maxwell      其中kafkahost为流式集群的core节点的IP地址。    显示类似如下信息，表示Maxwell启动成功。                Success to start Maxwell [78092].    ----结束1.1.6 验证Maxwell                                步骤 1      使用PuTTY工具登录Maxwell所在的服务器。                                步骤 2      查看日志。                    l   如果日志里面没有ERROR日志，且有打印如下日志，表示与MySQL连接正常                            BinlogConnectorLifecycleListener - Binlog connected.                                步骤 3      登录MySQL数据库，对测试数据进行更新/**/删除等操作。操作语句可以参考如下范例-- 创建库create database test;-- 创建表create table test.e (  id int(10) not null primary key auto_increment,  m double,  c timestamp(6),  comment varchar(255) charset 'latin1');-- 增加记录insert into test.e set m = 4.2341, c = now(3), comment = 'I am a creature of light.';-- 更新记录update test.e set m = 5.444, c = now(3) where id = 1;-- 删除记录delete from test.e where id = 1;-- 修改表alter table test.e add column torvalds bigint unsigned after m;-- 删除表drop table test.e;-- 删除库drop database test;                                步骤 4      观察maxwell的日志输出，如果没有WARN/ERROR打印，则表示没有异常。若要确定数据是否成功上传，可通过如下方式l                       如果config.properties中的log_level是debug，则数据上传成功时会立刻打印日志                    {"database":"test","table":"e","type":"insert","ts":1541150929,"xid":60556,"commit":true,"data":{"id":1,"m":4.2341,"c":"2018-11-02 09:28:49.297000","comment":"I am a creature of light."}}                    ……    为发送的JSON格式数据    注意        当整个流程调试通过之后，可以把log_level修改为info，减少日志打印量，并重启Maxwell                # log level [debug | info | warn | error]                log_level=info----结束1.1.7 停止Maxwell                                步骤 1      使用PuTTY工具登录Maxwell所在的服务器。                                步骤 2      执行ps -ef | grep Maxwell | grep -v grep命令，获取Maxwell的进程标识（PID）。输出的第二个字段即为PID。                                步骤 3      执行kill -9 PID命令，强制停止Maxwell进程。----结束1.1.8 数据格式Maxwell生成的数据格式为JSON，常见字段含义如下l   type：操作类型，包含database-create，database-drop，table-create，table-drop，table-alter，insert，update，deletel   databse：操作的数据库名称l   ts：操作时间，13位时间戳l   table：操作的表名l   data：数据增加/删除/修改之后的内容l   old：数据修改前的内容或者表修改前的结构定义l   sql：DDL操作的SQL语句l   def：表创建与表修改的结构定义l   xid：事物唯一IDl   commit：数据增加/删除/修改操作是否已提交

日前，华为云数据复制服务 DRS 正式商用，支持更大数据量（TB级别）、更长时间（超过一周以上）等多种复杂迁移场景；支持数据库上云和云上业务数据实时回传至云外的混合云架构，数据可灵活流动。此外，DRS 升级预检查、迁移监控及对比两大迁移助手，首家提供任务耗时评估、时间维度的迁移进度实时查看，迁移实时同步性能提升 5 倍以上，将迁移时业务不中断和高性能需求的冲突降到最低。 我们知道，在传统数据库迁移场景下，用户需要解决包括数据迁移前准备、数据迁移实施、数据迁移后校验的一系列准备。而且在整个过程中，每一个环节都要周全考虑、谨慎对待，否则稍有不甚，就会出现线上故障，影响公司业务及应用正常运行，不但要承担经济损失的风险，甚至还会面临法律问题。 因此，数据库迁移一直以来都是企业上云、灾备的一大难题，面临的挑战也五花八门。例如： 迁移准备是否充分不可知，迁移失败风险大；迁移进度不可查，特殊情况下不能及时应对，影响公司运行；数据正确性全靠人肉验证，效率和可靠性没保障，存在数据丢失风险。 此次华为云 DRS 升级的预检查和迁移监控及对比功能，正是为了解决以上问题。 事前预检查，智能分析数据库，迁移成功有保障 用户创建迁移任务后，需要在任务开始前启动预检查功能。该功能可以提前自动识别迁移是否满足成功条件，并对可能影响迁移任务成功的因素及条件进行检查。 目前，华为云 DRS 提供的预检查高达 60 余项。包括源数据库、目标数据库的网络、版本、内存、日志、端口、兼容性、参数、安全性等一系列指数。 针对可能造成迁移失败的指标项，DRS 将提供专业预检查分析报告，对失败原因、失败详情、处理建议等详细介绍，用户可以根据失败信息和处理建议的指导，调整环境，以确保迁移成功。  事中监控，实时刷新迁移进度，增量同步近实时 值得一提的是，本次华为云 DRS 首家提供了任务耗时评估、时间维度的迁移进度实时查看。耗时评估可以帮助用户做好布置规划，避开业务高峰期；迁移进度的剩余时间实时查看，则可让用户随时掌握任务情况，面临突发状况时也能做到心中有数、心中有底。 DRS 的迁移监控功能，还提供了同步时延监控，方便用户宏观把握数据同步的实时性。当时延为 0 ，表示源数据库和目标数据库的数据处于实时同步，可为用户数据交割提供参考。  事后对比，确保数据零丢失 华为云 DRS 本次升级的迁移对比功能，为用户提供多维度、多层次的数据对比，清晰反馈出源数据库和目标数据库的数据是否存在差异，确保迁移后的数据零丢失。 DRS 的迁移对比，包括对象级对比，宏观对比数据对象是否缺失，例如数据库、表、视图、存储过程、触发器等；数据级对比，详细校对不同细度数据，例如行数对比、内容对比等。  需要强调的是，传统数据库迁移对企业而言，业务连续性和数据准确性，往往是是鱼与熊掌的问题。因为传统迁移场景的手工数据校对效率低、出错率高，而且数据校对往往需要高强度运算，从而占用大量资源、影响数据库性能。要保障性能，则需停下业务进行校对。 DRS 也很好的解决了这个问题，通过引导式校对流程，让用户秒变迁移专家。DRS 提供数据库对象检查、全局检查、割接复查等满足不同阶段需求的数据校对，并通过对比和报表分析，对用户进行由浅入深的分层引导。因此不但在效率和准确性上取得很大突破，而且性能也得到大幅提升。当前，DRS 已正式商用，但秉承生态开放的理念，用户依然可以免费使用 DRS；且配套的数据库引擎：MySQL、SQL Server、PostgreSQL、DDS，也可免费试用。免费试用配套数据库引擎链接：https://activity.huaweicloud.com/free_test/index.html

企业要发展，离不开上云；上云要保障，离不开灾备。无论上云还是灾备，数据迁移都是必经之路。但作为企业云化的一大拦路虎，数据迁移不知难倒了多少英雄好汉。没有专家，迁移任务太难；有了专家，迁移成本太高。二者都不惧，又得掂量业务中断或者数据丢失的风险。业务是命，数据是钱，但发展才是硬道理，怎么办？ 近期，华为云数据复制服务 DRS 推出新功能，在支持 MySQL 、SQL Server 的基础上，新支持 DDS、Postgresql 两款主流数据库，帮助用户低成本、低风险的进行数据迁移。                        华为云数据复制服务 DRS支持引擎华为云数据复制服务（Data Replication Service，简称为 DRS），是一种易用、稳定、高效，用于数据库在线迁移和数据库实时同步的云服务。DRS 围绕云数据库，降低了数据库之间数据流通的复杂性，有效帮助用户减少数据传输的成本。 传统数据库迁移场景下，企业往往面临诸多难题：迁移步骤复杂，操作人员需要专业技术背景，门槛高。人工部署耗时多，往往需要数周甚至上月，周期长。企业需承担DBA 专家人力成本，迁移硬件成本，成本高。迁移可能面临任务失败、业务中断、数据丢失，风险大。 因此，一款安全易用的专业数据迁移工具，对用户而言相当重要。 了解到用户的这一痛点后，华为云数据库于今年3月的华为生态大会上发布了 DRS，提供多场景、多网络、多类型引擎支持的数据迁移服务，并配套迁移监控、数据一致性对比等多种迁移辅助工具，上线便得到广大用户一致好评。 在云迁移、云灾备等应用场景下，用户均可使用 DRS 进行异地灾备、跨云灾备、近实时灾备，为核心业务提供容灾保护，帮助用户轻松完成迁移任务，让客户数据在数据库间自由流动。 DRS 操作简单便捷，迁移任务仅 10分钟就准备就绪，而且使用了增量迁移技术，最大限度允许迁移过程中业务继续对外提供使用，有效将业务系统中断时间和业务影响最小化，保障业务零中断和数据零丢失，使数据库平滑迁移上云得以实现。 DRS的推出，帮助用户实现了跨云、跨网、跨线上线下的数据迁移。无论是在本地机房、其他云、还是华为云自建的数据库，都可不受限制的进行数据库迁移。 此外，DRS 还支持多种网络方式下的迁移，包括：公网网络华为 VPN 网络专线网络华为VPC 网络环境 DRS 与各云服务关系示意图 值得一提的是，新支持的 DDS 引擎，华为云刚推出的社区增强版，提升 3倍读写性能、100倍弹性伸缩、10倍故障重构、10倍备份恢复，几个关键服务能力在业界都处于领先地位。 当前，DRS 配套的四款数据库华为云均推出了免费试用套餐，体验可移步官网。了解 DRS 更多详情：https://www.huaweicloud.com/product/drs.html HUAWEI CONNECT 2018作为华为自办的面向ICT产业的全球性年度旗舰大会，将于2018年10月10日-12日在上海隆重举行。本届大会以“+智能，见未来”为主题，旨在搭建一个开放、合作、共享的平台，与客户伙伴一起共同探讨如何把握新机遇创造智能未来。欲了解更多详情，请参阅：https://www.huawei.com/cn/press-events/events/huaweiconnect2018