• [教程] 采用CDM进行HDFS到OBS的数据迁移
    1      背景介绍传统的Hadoop和Spark大数据生态,主要是以本地硬盘或云硬盘承载HDFS文件系统进行数据存储,但是存在成本高,扩容难等问题。当前华为云对象存储服务OBS可以与Hadoop和Spark大数据生态进行对接,为用户提供计算存储分离的大数据解决方案。为了实现用户数据平滑上云,可以采用华为云CDM服务进行HDFS到OBS的数据迁移。2      迁移背景和目标已存在集群一采用EVS存储HDFS格式数据,新建集群二采用OBS存储数据,需要将数据从集群一的HDFS迁移至集群二的OBS。3      迁移方法1、已搭建集群一(北京一)和集群二(华东),集群一采用EVS存储数据,集群二采用OBS存储数据2、在集群一构造Spark或者Hive的数据,例如,构造Hive表数据如下(1)创建DATABASECREATE DATABASE top_ods;(2)创建TABLECREATE TABLE `top_ods.claim_6yue_pt`(  `user_id` varchar(300),  `ese_id` int,   `task_id` varchar(100))partitioned by (tagdate int)ROW FORMAT DELIMITED FIELDS TERMINATED BY "|"STORED AS parquetfileTBLPROPERTIES ("orc.compression"="Snappy");insert into table top_ods.claim_6yue_pt partition(tagdate=1) values( '10' ,10,'10');insert into table top_ods.claim_6yue_pt partition(tagdate=1) values( '11' ,11,'11');insert into table top_ods.claim_6yue_pt partition(tagdate=1) values( '12' ,12,'12');insert into table top_ods.claim_6yue_pt partition(tagdate=1) values( '13' ,13,'13');insert into table top_ods.claim_6yue_pt partition(tagdate=1) values( '14' ,14,'14');insert into table top_ods.claim_6yue_pt partition(tagdate=1) values( '15' ,15,'15');insert into table top_ods.claim_6yue_pt partition(tagdate=2) values( '20' ,20,'20');insert into table top_ods.claim_6yue_pt partition(tagdate=2) values( '21' ,21,'21');insert into table top_ods.claim_6yue_pt partition(tagdate=2) values( '22' ,22,'22');insert into table top_ods.claim_6yue_pt partition(tagdate=2) values( '23' ,23,'23');insert into table top_ods.claim_6yue_pt partition(tagdate=2) values( '24' ,24,'24');insert into table top_ods.claim_6yue_pt partition(tagdate=2) values( '25' ,25,'25');select * from top_ods.claim_6yue_pt;3、在集群二创建Spark或者Hive的新表,新表格式与源表的存储格式等属性要一致(1)创建DATABASECREATE DATABASE top_odstest location 'obs://obs-bigdata-hd-003/user/hive/warehouse/top_ods.db';(2)创建TABLE,新表格式与源表的存储格式等属性要一致CREATE TABLE `top_odstest.claim_6yue_pt`(  `user_id` varchar(300),  `ese_id` int,   `task_id` varchar(100))partitioned by (tagdate int)ROW FORMAT DELIMITED FIELDS TERMINATED BY "|"STORED AS parquetfileTBLPROPERTIES ("orc.compression"="Snappy");4、创建CDM任务,将集群一的HDFS数据迁移至集群二的OBS(1)创建CDM集群(华东),跨Region需要绑定公网弹性IP(2)配置连接管理,一个连接使用Apache HDFS,另一个连接使用对象存储服务(OBS)备注:集群一的所有节点需配置公网弹性IP,并且Apache HDFS连接中的IP与主机名映射要填写所有集群一的主机XX.XX.XX.XX ecs-bigdata-hdtest-0000.novalocalXX.XX.XX.XX ecs-bigdata-hdtest-0001.novalocalXX.XX.XX.XX ecs-bigdata-hdtest-0002.novalocalXX.XX.XX.XX ecs-bigdata-hdtest-0003.novalocal(3)配置作业管理,源连接使用HDFS连接,目标连接使用OBS连接,文件格式使用二进制格式(4)配置完成后,运行作业进行数据迁移5、迁移完成后,在集群二恢复Hive表数据,即可查询数据成功。恢复Hive表数据:MSCK REPAIR TABLE top_odstest.claim_6yue_pt;查询Hive表数据:select * from top_odstest.claim_6yue_pt;
  • [分享] 使用数据复制服务DRS完成MySQL数据库迁移-2
    操作指导视频分享,视分成两个压缩包,附件视频内容为“使用数据复制服务DRS完成MySQL数据库迁移”第一部分
  • [分享] 使用数据复制服务DRS完成MySQL数据库迁移
    操作指导视频分享,视分成两个压缩包,附件视频内容为“使用数据复制服务DRS完成MySQL数据库迁移”第一部分
  • [技术干货] 【DBA系列】数据库迁移防坑指南
            想了解更多精彩内容,请扫码关注【HW云数据库】
  • [技术干货] 【迁移案例】mysql数据库迁移上云后,发现数据写入性能降低了
    问题:客户mysql数据库迁移上云后,发现数据写入性能降低了问题原因:经过分析发现客户原始数据表的存储引擎为myisam,迁移上云后转换成了innodb。MyISAM引擎表数据修改速度比InnoDB类型更快,但是不提供事务支持。mysql数据库中有个disabled_storage_engines参数:表示禁止创建指定存储引擎类型的表,官方默认值为空。华为云mysql数据库disabled_storage_engines参数默认值为"myisam,memory"。所以,在客户将mysql数据库迁移上云后,数据表对应的存储引擎类型从myisam自动转换成了innodb。解决方案:建议客户在迁移数据库时,对比迁移前后的数据库参数取值,并分析参数取值调整可能带来的影响。
  • [技术干货] 探秘华为云数据库迁移技术:用户体验差异化的背后
    公有云的出现改变了IT世界的格局,更低廉的成本和更加易于扩展的特点,都成为了传统软件业务上云的关键驱动力,而业务上云的关键是数据库的上云;在传统IT软件公司会有一个关键岗位,叫DBA,负责数据库的运维和保证数据的可靠,那企业数据库上云还需要专业DBA来做数据库迁移上云吗?这个问题当然吸引了各大公有云厂商投入解决这道难题,作为云服务收入排行TOP5范围的关系型数据库服务RDS,首先要解决客户数据库上云问题,而解决数据库上云迁移易用性是扩大RDS服务收入的关键,那能否让普通开发人员自助迁移数据库呢?在云服务世界里,那是必须的!一起来看看如何为公有云用户提供优秀的数据库迁移体验?1【数据库增量迁移/增量同步】能力是关键    通过增量迁移技术,能够最大限度允许迁移过程中业务继续对外提供使用,有效的将业务系统中断时间和业务影响最小化,实现数据库平滑迁移上云,业务分钟级完成割接,这对于在线业务是关键考验。 2 【迁移链路】一键打通    数据库上云迁移的可用链路有几种,包括VPC网络、公网IP、VPN服务、专线服务,这几种网络类型如果是用户自己去配置,光参数弄明白就要花费不少时间,能否一键打通源数据库和目标数据库之前的网络链路是关键,迁移服务需要透明的调用这些网络服务,比如跨VPC网络的VPC peer链路自动打通,能够自动检测和适配链路配置,“测试连接”功能免去客户检查链路联通性的检查和配置是迁移前的关键前提。                                              3 【用户迁移】一键完成,华为云DRS首家推出,用户和权限迁移,减少重建用户和重新配置权限的烦恼  4 【迁移前预检查】一键完成,分组显示结果      迁移前的对源库和目标库的检查是迁移成功的前提条件,检查内容包括网络连通性、版本支持、迁移所用的用户的权限、数据库空间、数据库字符集,光这些检查就得请个DBA检查半天,有没有快速检查方法呢?     实现目标:数据库迁移服务连接到用户填写的源库和目标库一键检查,自动提示用户哪些检查项不满足,并提供自动提示知道,从而提高数据库迁移成功率。       5 【迁移进度】一键查询     这点是最重要的,特别是对于迁移数据量比较大的数据库的场景,在迁移过程中,能否查看整体迁移进展是提升迁移体验的关键,包括全量迁移时的数据量迁移进度和增量迁移时的迁移时延,这点决定了迁移人员能否把握整体迁移进度,特别是增量迁移时延,决定了增量同步时源库和目标的数据一致性,决定了迁移人员在什么时候可以切换应用到新的目标数据库上。实现目标:一键实时查看全量迁移迁移的进展和增量迁移时延,并且能一键刷新结果。 6 【迁移对比】一键查询,对象数对比和内容校验是迁移结果一致性的关键     迁移结果的对比功能是体现迁移服务竞争力的关键,在常规迁移工具或迁移服务设计时,只是展示整体迁移结果,但对于迁移后如何去校验源库和目标库的差异,是很多迁移服务和工具没有考虑的,而这些都需要有专业DBA去逐个校验和对比,成本非常大,数据库迁移服务能否提供详尽的迁移结果对比呢?每一类数据库对象的能否查看详情呢?库、表、事件、存储过程、函数、触发器、视图等     实现目标:一键查看迁移结果,包括各类数据库对象的数量和对象列表,并能实时刷新对比结果。     a.提供对象级对比和数据级对比能力       b.对比不一致和一致的明细可以快速查找 7 【迁移日志】一目了然,问题快速定位     迁移任务迟迟没有完成,我们想排查一下原因该怎么办?这时就需要查看迁移日志,了解当前任务进展和处理过程,特别是对于排错时时必不可少的,日志不一定要够多,但能一目了然!        你还在为数据库上云烦恼吗?有没有发现华为云的数据库迁移有些不一样?       华为云找DRS(数据服务服务),为你提供一站式一键即用的数据库迁移体验,让数据库上云不再复杂!      入口:认准华为云 ->数据库->数据复制服务(https://console.huaweicloud.com/drs)       想要了解更多精彩内容,请扫码关注【HW云数据库】     
  • [技术干货] Rainbow
    云层迁移作用:使传统DC中的业务主机,无缝迁移到云DC传统:物理服务器+OS+APP=========================================================迁移工具:可以支持在线迁移:业务在迁移时,并不中断可以支持离线迁移:业务必须中断才支持迁移迁移层次:1.文件级别迁移2.应用级别迁移 文件+系统配置3.OS级别迁移  OS+APP+文件(可以设置排除目录)Computer硬件 + windows OS + APP软件 + 文件=========================================================迁移工具DC Rainbow1.在线迁移工具   hConvertor 2.离线迁移工具   ovfConvertor3.迁移规划工具   hSize在线   P2V   V2V   Physical   to  Virtual    Virtual  to  Virtual离线   I2I   image  to  image        离线V2V模板  .ovf + ,vhd支持系统类型  x86(windows Linux) 主流系统=========================================================rainbow迁移类型1.文件级别迁移:迁移文件2.块级别迁移:迁移扇区数据,扇区元数据3.增量数据同步========================================================= Rainbow 迁移架构1.Rainbow-server 迁移服务器  Windows版本  单独搭建  Windows + Rainbow2.Rainbow-agent 迁移代理服务器向迁移代理发送迁移指令源端代理  目标端代理SA        DA根据系统不同,代理不同SA:windows ---- hconvertoragent.exeLinux   ---- tarconvertor.sh  脚本shell=========================================================临时系统:1.Linux:liveCD.iso2.Windows:winPE.iso迁移前/迁移后,业务IP保持一致迁移过程中,源IPlinux文件级别迁移 tar + scp  增量同步:rsyc  时间戳判断停止业务 → 最后一次增量同步 → 网络配置 → 业务拉活
  • [行业资讯] 华为云数据复制服务 DRS 正式商用
    日前,华为云数据复制服务 DRS 正式商用,支持更大数据量(TB级别)、更长时间(超过一周以上)等多种复杂迁移场景;支持数据库上云和云上业务数据实时回传至云外的混合云架构,数据可灵活流动。此外,DRS 升级预检查、迁移监控及对比两大迁移助手,首家提供任务耗时评估、时间维度的迁移进度实时查看,迁移实时同步性能提升 5 倍以上,将迁移时业务不中断和高性能需求的冲突降到最低。 我们知道,在传统数据库迁移场景下,用户需要解决包括数据迁移前准备、数据迁移实施、数据迁移后校验的一系列准备。而且在整个过程中,每一个环节都要周全考虑、谨慎对待,否则稍有不甚,就会出现线上故障,影响公司业务及应用正常运行,不但要承担经济损失的风险,甚至还会面临法律问题。 因此,数据库迁移一直以来都是企业上云、灾备的一大难题,面临的挑战也五花八门。例如: 迁移准备是否充分不可知,迁移失败风险大;迁移进度不可查,特殊情况下不能及时应对,影响公司运行;数据正确性全靠人肉验证,效率和可靠性没保障,存在数据丢失风险。 此次华为云 DRS 升级的预检查和迁移监控及对比功能,正是为了解决以上问题。 事前预检查,智能分析数据库,迁移成功有保障 用户创建迁移任务后,需要在任务开始前启动预检查功能。该功能可以提前自动识别迁移是否满足成功条件,并对可能影响迁移任务成功的因素及条件进行检查。 目前,华为云 DRS 提供的预检查高达 60 余项。包括源数据库、目标数据库的网络、版本、内存、日志、端口、兼容性、参数、安全性等一系列指数。 针对可能造成迁移失败的指标项,DRS 将提供专业预检查分析报告,对失败原因、失败详情、处理建议等详细介绍,用户可以根据失败信息和处理建议的指导,调整环境,以确保迁移成功。  事中监控,实时刷新迁移进度,增量同步近实时 值得一提的是,本次华为云 DRS 首家提供了任务耗时评估、时间维度的迁移进度实时查看。耗时评估可以帮助用户做好布置规划,避开业务高峰期;迁移进度的剩余时间实时查看,则可让用户随时掌握任务情况,面临突发状况时也能做到心中有数、心中有底。 DRS 的迁移监控功能,还提供了同步时延监控,方便用户宏观把握数据同步的实时性。当时延为 0 ,表示源数据库和目标数据库的数据处于实时同步,可为用户数据交割提供参考。  事后对比,确保数据零丢失 华为云 DRS 本次升级的迁移对比功能,为用户提供多维度、多层次的数据对比,清晰反馈出源数据库和目标数据库的数据是否存在差异,确保迁移后的数据零丢失。 DRS 的迁移对比,包括对象级对比,宏观对比数据对象是否缺失,例如数据库、表、视图、存储过程、触发器等;数据级对比,详细校对不同细度数据,例如行数对比、内容对比等。  需要强调的是,传统数据库迁移对企业而言,业务连续性和数据准确性,往往是是鱼与熊掌的问题。因为传统迁移场景的手工数据校对效率低、出错率高,而且数据校对往往需要高强度运算,从而占用大量资源、影响数据库性能。要保障性能,则需停下业务进行校对。 DRS 也很好的解决了这个问题,通过引导式校对流程,让用户秒变迁移专家。DRS 提供数据库对象检查、全局检查、割接复查等满足不同阶段需求的数据校对,并通过对比和报表分析,对用户进行由浅入深的分层引导。因此不但在效率和准确性上取得很大突破,而且性能也得到大幅提升。当前,DRS 已正式商用,但秉承生态开放的理念,用户依然可以免费使用 DRS;且配套的数据库引擎:MySQL、SQL Server、PostgreSQL、DDS,也可免费试用。免费试用配套数据库引擎链接:https://activity.huaweicloud.com/free_test/index.html
  • [行业资讯] 华为云数据库迁移新方案北京亮相,助力企业加速云上创新
    引言:在瞬息万变的信息化时代,企业的成败在于能否创新;当距离消失,要么创新,要么消亡。 万物互联时代的到来,让数据受到前所未有的关注;随之而来的数据上云、数据安全、数据库升级等问题也被企业提上讨论日程。在新硬件、新架构层出不穷的今天,企业如何抓住机遇踏浪前行? 8月31日,最新一期华为云技术私享会在北京落幕。云领创新,数绘未来;本次会议围绕创新展开,分享了业界领先热点技术、华为云最新产品服务和应用方案、以及新时代企业上云的机遇与挑战。华为云数据库高级技术专家的主题分享:《云时代数据库迁移的新挑战与新玩法》,或许能给我们一些启示。现场照片 传统数据迁移的“罪与罚” 数据库在企业应用和业务中的重要性,决定了其迁移必将面临诸多挑战和艰辛。尤其是传统迁移必受的“五宗罪”,成为企业上云的拦路虎。门槛高由于迁移工作步骤复杂,需要操作人员具备专业的技术背景;特别是要实现在线迁移,技术门槛非常高。成本高高门槛导致企业必然也面临高昂的 DBA 专家人力成本,以及迁移所需的硬件、迁移工具软件等成本。方案失灵云上数据库相对于传统数据库较复杂,且对用户可用权限具有一定控制。如果用户自行迁移数据库,可能导致传统迁移工具很难完成迁移。流程复杂数据库迁移涉及迁移规划、环境搭建、人工部署、多库数据校验以及迁移任务跟踪等环节,迁移周期长。而且在复杂多变的网络场景下,如何保证数据安全以及迁移前后海量数据保持一致,也面临着挑战。牺牲业务为了实现迁移的数据完整性,可能需要在离线状态下迁移数据库,从而导致业务中断。在一寸光阴一寸金的互联网时代,业务中断无论是对企业、还是对企业用户而言,都无异于切菜刀剃头,实在是悬。 在瞬息万变的信息化时代,企业的成败在于能否创新。云计算、大数据、人工智能的马车已经隆隆而起,各行各业争相拥抱新技术、新趋势。当距离消失,要么创新,要么消亡。上云势在必行,满载粮草的数据库却迟迟不能动身,于是需要一场数据迁移来救赎! 云上迁移的黎明之光 云服务最让人心动的,无疑是方便和便宜。业内有个很形象的比喻:云计算的存在,让你调用资源如同使用自来水;你无需再去挖井或者建个水厂,你只需要拧开水龙头,你所需要的就会源源不断淌出来。 同样的,这个理论也适用于数据在云上的流动。以华为云推出的数据复制服务(DRS)为例,它是一种易用、稳定、高效,用于数据库在线迁移和数据库实时同步的云服务。DRS围绕云数据库,降低数据库之间数据流通复杂性,有效帮助用户减少数据传输成本。 华为云数据复制服务使用场景 DRS 是如何扫除传统数据迁移弊端的呢? 首先,DRS 拥有可视化的数据迁移监控和数据一致性对比分析,不但操作简单,提供人性化提示与帮助,而且迁移过程中的状态、进度、对比清晰可见,大大降低操作门槛。无需专业DBA参与,节省人力成本,按需使用迁移资源,节省硬件成本。 此外,DRS几分钟即可搭建一个迁移任务,多项操作后台自动完成,大幅提高效率,迁移周期极短。迁移采用全量迁移加增量迁移的方式,增量复制源库数据可以保障源应用不停机,实现业务零中断。迁移结束后,云上数据库即刻可用,且对源库无侵入,保障数据安全,大大风险低。 DRS 能自动适配云上数据库,支持各厂商之间的云数据库迁移,不但降低迁移成本, 而且大幅提升迁移成功率,较少不必要的风险,具有极高的用户价值。目前,DRS 已经支持MySQL、SQL Server 等主流数据库的跨云迁移,且将于近期支持DDS等更多引擎。 华为云数据迁移的“三优两特“ 服务升级 值得一提的是,对迁移至华为云上的数据库, DRS 将提供优化服务,支持升级到华为云数据库最新高性能版本。 以最受欢迎的开源数据库 MySQL为例,通过DRS在线迁移至华为云数据库的 MySQL 用户,将享受“三优两特“的贵宾级体验: 多线程全量迁移+基于日志解析的增量迁移过程优化:多线程导出导入,保证快照一致性的同时极大提高迁移性能。增量迁移基于日志解析,支持所有MySQL对象(DML+DDL)。全量数据的索引创建优化:创建索引增加的导入时间随表大小、索引多少呈非线性增长。将数据导入与索引创建解耦,极大缩短迁移时间。迁移过程的MySQL参数优化IO占用是迁移性能的最大瓶颈。根据迁移阶段,针对各种日志(binlog,slow log,redo log等)写入进行临时参数优化。多对象选择的特别支持支持按库和表级别进行迁移全流程(全量迁移+增量迁移)支持对象选择多应用场景的特别支持支持国内外主流友商云RDS迁移到华为云RDS支持从用户自建数据库(云上或云下)迁移到华为云RDS 数据库升级完成后,用户将获得原有社区版 3倍以上的性能提升的华为云数据库 MySQL 增强版。该款引擎通过华为云对其内核的深入改造,提供了超强的数据可靠性、可扩展性以及故障快速恢复的能力。 大规模连接下社区版MySQL以及华为云 MySQL 增强版(HWSQL)的性能表现 创新是企业进步的源泉,也是国家兴旺民族进步的不竭动力。华为云数据库作为领先的云服务品牌,在引领创新的路上,一直在加速奔跑。作了茧的蚕,看不到茧壳以外的世界;时代洪流在翻滚,要立于浪潮之巅,不妨加入到这股创新的浪潮里来! 2018 华为全联接大会将于10月份在上海召开,届时将首发华为AI战略和全栈全场景的解决方案,并携合作伙伴带来更多诸如“秦渲云”这样AI、云、大数据、5G、IoT、视频等在各行业的创新与实践,惠及更多开发者人群,“+智能,见未来”我们拭目以待。 免费试用华为云数据复制服务 DRS,请移步官网:https://www.huaweicloud.com/product/drs.html 更多数据库畅销引擎免费试用请点击:http://activity.huaweicloud.com/free_test/index.html
  • 【产品答疑】华为云数据复制服务 DRS 售前说明
    本帖最后由 小路~ 于 2018-5-17 15:55 编辑问题描述回复1、华为数据复制服务DRS对应的的阿里和亚马逊的哪个服务?华为DRS对标的是AWS的数据迁移服务DMS, 阿里的数据传输服务DTS2、华为DRS定位是什么?能解决客户什么问题?为什么叫数据复制服务?华为DRS定位是解决数据在线迁移和数据实时同步的产品服务,主要解决:1.用户在极短的时间窗口内完成数据库迁移平滑上云,显著的场景特征是用户数据量大,业务不可接受中断等; 2.同时也能作为本地IDC或者其他云的的云上容灾方案(华为云数据库为目标端); 3.未来将会继续发展数据实时同步能力,帮助数据在各平台间自由的实时同步; 综合来看,数据复制服务命名更为符合产品定位,数据复制技术是该服务的核心,而数据库迁移服务不能完全覆盖该服务的价值和场景,且对于国外用户来讲,Replication也是十分的直观一个表述。3、华为DRS和CDM的区别是什么,为什么CDM也说是迁移服务?DRS是做平滑迁移的,数据量大,但业务中断时间短,CDM对标的是数据集成服务,一般是做数据导入数据仓库的场景,也可以用于一小部分的迁移场景,CDM用于迁移场景最大的前提是: CDM需要业务中断较长时间的迁移,特别是数据量比较大的情况下,如果客户对业务中断时间不敏感,且数据库种类不相同的异构迁移场景,比如Oracle->RDS MySQL,CDM可以实现数据的迁移,需要停止业务后完成数据迁移,再讲业务切换至云数据库。4、华为DRS能支持哪些在线的迁移路径?DRS是做业务不中断的平滑迁移的,数据量大,但业务中断时间短, 在这个场景下华为DRS在支持MySQL->RDS MySQL, SQLServer->RDS SQL Server(跨云迁移、云下至云上、ECS自建至RDS),并计划2018Q2-Q3内实现Pg-> RDS Pg, MogoDB ->DDS的在线迁移。5、华为DRS会支持Oracle->MySQL的异构数据库在线迁移吗?目前华为DRS的支持同构迁移优先级高于异构迁移,DRS会根据市场价值,推出几条异构在线迁移的场景,比如Oracle->MySQL的在线迁移,可以解决表和数据的在线迁移,从而最小化中断业务时间,解决了该场景下一大痛点,但由于异构迁移不单只是数据的迁移,还涉及到系统的改造,SQL语句的改造,目前没有哪个云能通过云服务来决绝这个场景问题。6、华为DRS支持哪些网络接入?对应的场景是什么?华为DRS支持各种网络情况下的数据库在线迁移,支持客户从公网、VPN、云内(同一VPC内)迁移至RDS,所以客户本地IDC的数据库、在其他云(当前以阿里云为主)上具有公网IP的数据、ECS自建数据库均可以迁入华为云数据库,甚至在某些场景下用户连公网IP都不用暴露,也能完成迁移。7、华为DRS有什么差异化的能力?华为DRS可以支持VPN(阿里不支持),非常适合于中型企业,混合云场景,同时华为DRS在迁移进度、迁移监控、迁移对比方面都是为迁移场景量身打造的特色功能,让整个迁移过程体验更加轻松,更加易用。8、华为DRS是否支持非在线迁移的场景?什么情况下推荐非在线迁移?华为DRS的非在线迁移目前有2种: 一种是全量迁移(在线迁移管理任务中的一种子功能),这种迁移类似于数据的导入与导出,特点是:迁移要求的权限小,迁移的约束多一些(不支持的数据库对象类别请参考1.6.3SQLServer全量迁移不支持的数据库对象列表) 一种就是离线迁移(目前只支持SQLServer),这种迁移方式类似于备份文件上传+恢复,特点是:迁移的约束少一些(支持种类更多的数据库对象迁移)。同时可实现云外数据库不开通公网ip/vpn的情况下,完成迁移,也可以用于VPC内的数据库迁往RDS。 用户需要根据自己的场景选择最适合自己的非在线迁移功能。 总的来讲,非在线迁移适合于业务中断时间充足,且数据量不太大(超过200GB)的场景。9、华为DRS是怎样收费的?当前华为云的发展阶段,我们DRS倾向于不向客户设置门槛,很长一段时间内DRS是不会收费的,但会有配额控制,一个租用最多同时拥有5个迁移任务。正式收费后,主要是按需/按小时计费的模式,也就说使用迁移任务的时间越长,收费约多,主要收费因子有: 1.迁移实例的规格。(费用主要部分) 2.数据库迁移的路径不同也会收费不同,例如SQLServer因为成本问题,会贵一些。 3.全量迁移阶段会涉及到一部分磁盘收费。(低费用部分) 4.公网迁移场景中,迁移实例也会涉及到一定的EIP的收费。(低费用部分)10、华为DRS对数据库用户具体的权限要求怎么样的?不同的场景权限要求不一样,不同的数据库迁移权限要求也不一样,DRS尽量减少不必要的权限要求,保留必须的权限要求,详情请查看1.6.3 使用限制中关于在线&离线迁移下权限要求。11、华为DRS迁移效率如何?迁移的速率受诸多因素的影响,比如公网环境下,无法模拟出各种情况,友商目前也仅是提供网络可控情况下(阿里region->region间的迁移)的TPS和QPS能力。https://help.aliyun.com/document ... 186623.6.548.SwwgFU 华为DRS大概预测速度不慢,因为有并行技术在;且通过公网的情况下,迁移服务器在支撑公网场景下,设置带宽是很大的,这是迁移速度只会受限于用户上传的速度;请引导客户,在线迁移上,速度可能不是最重要的(不中断业务),这一点与离线迁移不一样。 我们后续将会公布VPC内迁移至RDS的一些性能基线(100MB带宽的情况下,目前是1小时10GB-30GB,仅供参考)。12、华为DRS在网络中断的后,支持断点续传么?支持,但不承诺。中断时间太长,日志被覆盖掉,目前没有任何技术和办法修复。 “重试功能”提供出类似的效果,在全量迁移中,会重置全量迁移整个过程,增量迁移中,尝试断点续传,但不承诺SLA13、各种数据库已经自带迁移解决方案,为什么不让发布一些手工的迁移指导方案,而要使用华为DRS?由于RDS是个半封闭的服务,由于定制化+安全加固,有很多在本地数据库的操作无法在RDS上使用,也就导致了大部分方案无法通过手工完成,这也是各大云商需要提供这么一个服务的原因。另外云服务的特点就是易用,大量手工工作与云服务的理念相悖。14、DRS最佳实践,视频在哪里查看?视频:https://support.huaweicloud.com/drs_video/index.html 最佳实践:https://support.huaweicloud.com/ ... s/drs_overview.html15、DRS数据同步是否可以实现?DRS目前主打场景是在线迁移,很多细节是朝迁移场景做的,DRS目前Mysql5.6,5.7、SQLServer的迁移场景均支持表级别在线迁移,所以也解决数据同步的有无问题,所以DRS可以根据客户需求来判断是否支持其数据同步场景,并不承诺我们完全支持数据同步,因为数据同步的需求非常多样化,而我们未来才会推出数据同步的单独特性。16、使用DRS数据迁移业务会不会中断?DRS在线迁移场景就是针对业务不中断的场景来设计的,通过做到源库与目标库的实时同步,从而做到迁移过程中业务无需中断,但考虑到数据是动态的,为了确保数据无遗漏,一般在最后的割接阶段,可以考虑中断个几分钟,确保数据完全同步好,并做好数据校验后结束迁移,开放业务,这个过程通常建议控制在10分钟内17、使用DRS做数据库迁移是否需要数据库改造?实现在线迁移,业界均有一些环境要求,我们DRS也不例外,这些会在预检查环节识别出来,并需要客户调整好,满足迁移条件才能顺利进行在线迁移,这些调整通常涉及到数据库参数、权限的调整,并没有重大的改造。18、使用DRS是否会数据丢失?DRS目前没有出现过数据丢失的案例,数据丢失与场景无关(不论是友商、云下、还是自建数据库)通常与问题17提到的割接操作相关,即客户在没有确保双方数据完全同步,且稳定保持一段时间的前提下,结束了迁移,这样可能出现数据迁移不干净的情况,所以业界标准的割接流程都是建议可以考虑中断个几分钟,确保数据完全同步好,并做好数据校验(通过DRS迁移对比功能可以清晰的看到两边的数据量对比情况)后结束迁移,开放业务19、哪里可以查看更多场常见问题?DRS帮助中心