作者：白鳝   2022-06-09 10:23:06数据库迁移是DBA经常会面临的工作，这二十多年来，我们也做过很多数据库迁移的工作。早期的时候，作为一个DBA，考虑迁移方案的时候总是从数据库的角度去考虑。随着项目做多了，知识范围不断地扩大，加入了很多系统级的迁移方案，使迁移工作变得更加简单了。迁移工作做多了，也难免会遇到鬼，在这二十多年，上百个迁移项目中，也确实遇到过不少坑，有时候甚至面对命悬一线的绝境。​到了后来，面对迁移方案的选择，如果是十分重要的核心系统，一定要选择最为稳妥的方案，以备不测。昨天微信群里有人在问一个数据库想迁移存储，有没有什么好方案，从我脑子里冒出来的都是系统层面的迁移方案，而群里的DBA朋友往往都说的是数据库层面的迁移技术。实际上没有最好的技术和方案，只有最合适的。具体选择哪种数据库迁移方案，最终还是要看具体的系统环境以及迁移实施队伍的技术能力。一、存储复制存储复制是最近我比较喜欢的一种数据库跨存储迁移的方法，可以用于很多迁移需求。特别是一个环境中存在多种数据库/多个数据库的场景，用存储复制的方式一下子可以搞定所有的数据库，十分便捷。存储复制的主要实施工作都由存储厂商完成，对于DBA来说也是最为轻松的，如果出问题，都不需要DBA去甩锅，肯定是存储厂商的问题。DBA要做的就是打开数据库，用rman validate校验一下数据文件是否存在物理/逻辑坏块就可以了。十年前一个金融客户的核心数据库数据库从9i HA升级为10g RAC,存储从IBM 8000系列迁移到HDS高端存储，采用的就是这个方案。使用HDS自带的异构存储虚拟化能力，首先将数据从IBM 8000系列存储复制到HDS上，最后切换的那一晚上停掉生产数据库，作最后一次增量复制后，用10g RAC的环境挂在新的卷，然后UPGRADE数据库，整个数据库迁移升级工作一个多小时就完成了。很多DBA会把卷复制和存储复制看作一码事，对于DBA来说，存储和卷并无不同，反正看到的是一堆裸设备。实际上二者还是不同的，卷复制采用的是卷管理软件的数据同步功能，比如VERITAS的LVM，卷管理软件天生就是支持异构平台的，因此使用卷复制技术同步数据有更广泛的适用性，而存储复制技术需要存储本身的支持（不过现在大多数高端存储都支持异构存储的存储虚拟化，因此大多数情况下都能支持，如果实在你的环境中的存储不支持异构复制，也可以考虑租借一台支持你所需要复制的存储的虚拟化机头来做实施，费用在几千块钱到几万块钱不等，看你租借的设备和租借的时间）。大概十年前吧，一个运营商从HP小机上迁移一个数据库到IBM小机，存储也从HP存储更换为EMC存储，当时他们原来的系统使用了VCS，因此使用VERITAS的卷复制做的数据迁移。在IBM端CONVERT数据库的时候（因为HP-UX和AIX都是大端的，所以可以做DATABASE CONVERT，而不需要使用XTTS）遇到了ORACLE 10G的一个BUG， UNDO表空间CONVERT失败，数据库无法打开，当时也是惊出一身冷汗，最后通过强制OFFLINE相关UNDO SEGMENT，重新创建UNDO表空间切换等方式解决了这个问题，不过完成迁移的时候已经接近早上8点，超出了申请的停机窗口，差点影响了第二天营业厅开门。所以说，再简单的迁移方案，都不能保证不出意外。二、逻辑复制逻辑复制是一种停机窗口较为紧张时候常用的数据库迁移的方案。两千零几年的时候帮助一个运营商把计费/账务两大核心系统从Oracle 8i迁移到Oracle 10g的时候，为了缩短停机窗口，使用ogg进行逻辑复制。那时候的OGG也是比较垃圾的，功能、性能都存在一定的问题，BUG也比较多。切换当晚发现有几张表总是追不上，最后决定直接通过dblink CTAS重建的方式迁移了。最后还好，在规定的时间窗口内完成了数据库的迁移和数据校验工作。使用OGG做迁移，数据校验的工作量十分大，如果是十分核心的系统，对数据一致性和完整性要求较高，一定要留足时间做数据校验。逻辑导出导入一直是被认为最为安全的迁移方式，不过天底下没有绝对安全的迁移方案。大概6/7年前，一个银行把核心系统从HDS存储迁移到华为18K上的时候，想把数据库也顺便从10g升级到11g，因为核心应用也要做升级，因此申请了36小时的业务停机窗口，其中核心系统完全停止业务18小时，这18小时中，给了数据库迁移8个小时的时间。通过综合考虑，他们决定采用最为稳妥的数据库逻辑导出导入的方式。首先在老存储上导出数据，然后把整个卷挂载到新的服务器上，再做导入。按理说够安全了吧，没想到主机工程师挂载这块盘的时候没注意给挂载成只读的了。DBA也没检查就开始导入了，几个小时后报无法写入磁盘数据，impdp异常退出了。这时候8小时的时间窗口已经使用了5个多小时了，如果重新导入一次，时间上肯定是不够的。当时我正好在现场，通过检查发现是impdp输出日志的时候无法写盘导致了错误，而刚开始的时候写入日志的时候是写在缓冲里并没有刷盘，所以没有报错，等刷盘的时候就报错了。通过校验数据表和索引发现所有的索引都已经完成创建了。因此报错时可能已经完成了主要的数据导入过程。最后经过会商决定暂时不回退整个工作，继续进行后续工作。不过因为这个插曲，原本计划的对所有表和索引做一次重新统计（通过SPA分析后发现11g对统计数据的依赖性更强，因此建议最后做一次表分析）就没有进行了。核心系统启动顺利完成，主要功能测试也顺利完成，大家揪着的心才放了下来。不过前台很快传来更坏的消息，应用开发商在测试性能的时候，认为主要核心交易的延时都慢了几十毫秒，平均核心交易延时从升级前的80毫秒提高到120毫秒以上，因此拒绝新系统上线。大家折腾了这么长时间还要回退，这对IT部门的打击十分严重的。因此CIO希望我们能够尽快找到问题，解决问题。通过分析存储的性能，数据库的总体性能没有发现什么问题。时间已经接近8小时的窗口了，按道理现在必须做回退了。我当时和CIO说，能不能再给我20分钟我再分析一下，如果找不到原因再回退。当时CIO说，我给你40分钟，如果不行只能我去向行长请罪了。最后在差不多半小时后，我终于定位了引起一部分核心交易延时增加的主要原因是几张表的统计数据过旧，更新了统计数据后，核心交易延时恢复到90毫秒左右，低于开发商要求的不高于120毫秒的要求。从这个案例上看，最简单靠谱的迁移方案，也不是万全的。三、ASM磁盘组加盘/删盘ASM磁盘组上加入新存储的磁盘，然后逐步删除老存储的磁盘，利用ASM的REBALANCE功能实现存储迁移也是一种挺不错的方案，只是REBALANCE时间比较长（如果数据量较大，业务负载较大），需要DBA随时关注整个进程，如果系统负载较高，IO吞吐量较大，那么在此期间可能会引起一些IO方面的性能问题。严重时可能导致应用系统总体性能严重下降，而一旦这些问题发生，我们只能暂时降低REBALANCE的优先级，缓解问题，无法彻底解决问题。因此对于特别核心的系统使用这种方式还是要十分注意。我把这个方法教给一家银行后，他们就喜欢上了这种迁移方式，并用这种方式迁移了大量的系统，总体上来说还是比较平稳的。不过在核心交易系统上，他们还是没敢使用。数据库迁移的方法有很多，今天时间的关系我就不一一举例了。不过无论采用何种方式，都需要实施者不要掉以轻心，对每个环节都做最精心的准备。不过有一定可以提醒大家的是，跳出DBA的思维方式，可能会找到更好的方法。​

2022.6.7直播签到

【功能模块】使用CDM，将第三方语料库文件（url：https://openslr.magicdatatech.com/resources/33/data_aishell.tgz，文件大小15G）迁移至OBS桶【操作步骤&问题现象】1、新建两个连接：http连接器（连接第三方语料库数据），obs连接2、新建作业并运行3、报错fail，提示无法连接至url。但该url可以手动在浏览器打开并下载【截图信息】【日志信息】（可选，上传日志内容或者附件）2022-04-21 17:22:00.248|INFO|cdm-job-submit-pool1|||o.a.s.d.job.JobSubmissionContext creating job request 2022-04-21 17:22:01.004|INFO|cdm-job-submit-pool1|||o.a.s.c.file.FileFromInitializer Keep dir structure is true. 2022-04-21 17:22:01.004|INFO|cdm-job-submit-pool1|||o.a.s.c.file.FileToInitializer running SFTP Connector TO initializer. 2022-04-21 17:22:33.318|ERROR|cdm-job-submit-pool1|||o.a.s.c.h.client.HttpConnectorClient failed to connect to us.openslr.org/46.101.158.64:443 2022-04-21 17:22:33.336|ERROR|cdm-job-submit-pool1|||o.a.s.d.job.JobSubmissionContext submit failed. org.apache.sqoop.common.SqoopException: HTTP_CONNETOR_1453:Can't connect url [https://us.openslr.org/resources/33/data_aishell.tgz]. at org.apache.sqoop.connector.http.client.HttpConnectorClient.checkURLConnection(HttpConnectorClient.java:184) at org.apache.sqoop.connector.http.client.HttpConnectorClient.checkInputDir(HttpConnectorClient.java:168) at org.apache.sqoop.connector.file.configuration.LinkConfiguration.getInputPaths(LinkConfiguration.java:296) at org.apache.sqoop.connector.file.TraveralFileLister.getFileBeanList(TraveralFileLister.java:72) at org.apache.sqoop.connector.file.TraveralFileLister.init(TraveralFileLister.java:98) at org.apache.sqoop.connector.file.FileUtils.getFromSchema(FileUtils.java:79) at org.apache.sqoop.connector.file.FileFromInitializer.getSchema(FileFromInitializer.java:63) at org.apache.sqoop.connector.file.FileFromInitializer.getSchema(FileFromInitializer.java:22) at org.apache.sqoop.driver.job.JobInitiator.getSchemaForConnector(JobInitiator.java:560) at org.apache.sqoop.driver.job.JobInitiator.createJobRequest(JobInitiator.java:346) at org.apache.sqoop.driver.job.JobSubmissionContext.submitInternal(JobSubmissionContext.java:179) at org.apache.sqoop.driver.job.JobSubmissionContext.submit(JobSubmissionContext.java:135) at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511) at java.util.concurrent.FutureTask.run(FutureTask.java:266) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) at java.lang.Thread.run(Thread.java:748) 2022-04-21 17:22:33.344|ERROR|cdm-job-submit-pool1|||o.a.s.d.job.JobSubmissionContext submit failed. org.apache.sqoop.common.SqoopException: HTTP_CONNETOR_1453:Can't connect url [https://us.openslr.org/resources/33/data_aishell.tgz]. at org.apache.sqoop.connector.http.client.HttpConnectorClient.checkURLConnection(HttpConnectorClient.java:184) at org.apache.sqoop.connector.http.client.HttpConnectorClient.checkInputDir(HttpConnectorClient.java:168) at org.apache.sqoop.connector.file.configuration.LinkConfiguration.getInputPaths(LinkConfiguration.java:296) at org.apache.sqoop.connector.file.TraveralFileLister.getFileBeanList(TraveralFileLister.java:72) at org.apache.sqoop.connector.file.TraveralFileLister.init(TraveralFileLister.java:98) at org.apache.sqoop.connector.file.FileUtils.getFromSchema(FileUtils.java:79) at org.apache.sqoop.connector.file.FileFromInitializer.getSchema(FileFromInitializer.java:63) at org.apache.sqoop.connector.file.FileFromInitializer.getSchema(FileFromInitializer.java:22) at org.apache.sqoop.driver.job.JobInitiator.getSchemaForConnector(JobInitiator.java:560) at org.apache.sqoop.driver.job.JobInitiator.createJobRequest(JobInitiator.java:346) at org.apache.sqoop.driver.job.JobSubmissionContext.submitInternal(JobSubmissionContext.java:179) at org.apache.sqoop.driver.job.JobSubmissionContext.submit(JobSubmissionContext.java:135) at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511) at java.util.concurrent.FutureTask.run(FutureTask.java:266) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) at java.lang.Thread.run(Thread.java:748)

再利用华为云的mrs集群的时候，hbase抽取工具，cdm可以按照时间戳进行抽取hbase的数据到dws中，想咨询一下大家hbase api中又按照时间戳并且抽取速度很快的方法没？单纯按照hbase api的开始和结束时间戳抽取是相当慢的，华为云是怎么做到的查询抽取速度这么快的呢？

【功能模块】金蝶ERP K3 数据库迁移上云【操作步骤&问题现象】1、请教专家，金蝶ERP K3 12.2版本原来是布放在我公司内部服务器，是属于C/S架构，请教可否迁移上云？  谢谢！2、【截图信息】【日志信息】（可选，上传日志内容或者附件）

现象：客户将数据通过gds将数据从一个数据库迁移至另外一个数据库，在数据迁移时发现数据访问被拒绝分析：查看日志发现有连接被拒绝关键字，查看防火墙发现，gds服务器与数据库之间有防火墙，相互之间无法直接访问客户要求提供防火墙策略开户首先开通CN至gds端的防火墙，日志中扔报错显示连接被拒查看端口矩阵，端口矩阵中有关于集群与gds服务端的说明GaussDB   200集群Datanode实例GaussDB   200集群Datanode实例IP地址1024-65535间分配的随机端口GaussDB   200集群GDS用户数据服务器GaussDB   200集群Datanode实例IP1024-65535，默认8098（实际参见gds命令指定的-p参数值）TCP用户数据服务器监听集群Datanode实例的连接请求，在连接建立之后响应Datanode的数据请求，返回加载数据。是短连接IP地址认证。IP地址认证。内部组件之间通讯，数据库有性能要求，并且是部署在集群安全内网内。不使用加密。GaussDB 200集群Coordinator实例GaussDB   200集群Coordinator实例IP地址1024-65535间分配的随机端口GaussDB   200集群GDS用户数据服务器GaussDB   200集群Coordinator实例IP1024-65535，默认8098（实际参见gds命令指定的-p参数值）TCP用户数据服务器监听集群Coordinator实例的连接请求，在连接建立之后响应Coordinator的消息命令请求，返回用户数据信息。是短连接IP地址认证。IP地址认证。内部组件之间通讯，数据库有性能要求，并且是部署在集群安全内网内。不使用加密。验证结论：按照端口矩阵说明，客户开启集群数据节点至gds单向客户端即可完成数据迁移

# 场景描述 大文件的文本数据（好几个G），上传至OBS，通过CDM迁移，转换成拥有指定分割符和换行符的文本数据。# 故障现象 ### 现存文本数据的每一行数据后面，都有分隔符及换行符。而目标文本数据需要每行数据的后面没有分隔符只有换行符。# 解决方案 可以将文本数据上传到OBS，通过CDM迁移至另一个OBS，在迁移设置中更换换行符和分隔符，从而获得一个拥有指定分隔符和换行符的文本数据。# 操作步骤 ### 1、将文件上传至[源]OBS ### 2、开通CDM服务（按需）后，在【表/文件迁移】新建作业，点击源连接旁边的【+】新建连接。 其中：AK和SK可在华为云右上方【我的凭证】生成。 （ https://console.huaweicloud.com/iam/?region=cn-north-4#/mine/accessKey ） ### 3、配置连接源后新建作业，选择上面 上传至[源]OBS的文件，如下配置换行符和字段分隔符。 ### 4、配置好后运行作业，此时源OBS中的文件已迁移至目标OBS，文件也按配置做了转换。可下载迁移转换好的文件进行查看。  # 参考知识 1、CMD产品： https://www.huaweicloud.com/product/cdm.html 2、OBS产品： https://www.huaweicloud.com/product/obs.html

本贴用于答疑《华为云服务集成验证团队2021年Q1赋能课程》中学员产生的问题，课程链接如下：云服务集成架构介绍：https://education.huaweicloud.com/courses/course-v1:HuaweiX+CBUCNPS045+Self-paced/aboutROMA常用集成最佳实践：https://education.huaweicloud.com/courses/course-v1:HuaweiX+CBUCNPS046+Self-paced/aboutIoT常用集成最佳实践：https://education.huaweicloud.com/courses/course-v1:HuaweiX+CBUCNPS047+Self-paced/aboutCDM常用集成最佳实践：https://education.huaweicloud.com/courses/course-v1:HuaweiX+CBUCNPS048+Self-paced/aboutDRS常用集成最佳实践：https://education.huaweicloud.com/courses/course-v1:HuaweiX+CBUCNPS049+Self-paced/about云服务集成最佳实践考试：https://education.huaweicloud.com/courses/course-v1:HuaweiX+CBUCNPS050+Self-paced/about沙箱实验：基于IoT平台构建智慧路灯应用：https://lab.huaweicloud.com/testdetail_459沙箱实验：MySQL本地数据库迁移：https://lab.huaweicloud.com/testdetail_290沙箱实验：使用CDM将CSV文件迁移至RDS：https://lab.huaweicloud.com/testdetail_556沙箱实验：使用DRS实现数据实时同步：https://lab.huaweicloud.com/testdetail_562沙箱实验：通过CDM同步数据到MRS Hive：https://lab.huaweicloud.com/testdetail_561本贴将长期保持更新，持续答疑学员在课程实操中遇到的问题。Q：获取华为云帐号的方法？A：登录华为云控制台（https://console.huaweicloud.com），点击右上角帐号进入帐号中心，在基本信息下的帐号名即为你要提供的帐号名Q：进入课程后，页面提示“该课程只能通过邀请选修”，怎么处理？A：需要提供华为云账号给我们在后台给帐号添加白名单。（1）将自己的华为云账号（获取方法见上一条）发到赋能群并@李路平。（2）激活自己的华为云账号：登录华为云学院官网（https://edu.huaweicloud.com)，随便选择一门课程进行学习（不需要学完）即可。Q：如何查看本次赋能在线考试题目的答案？A：考试题目来源于视频课程，产品官网，不会有超纲内容。为防止学员之间互传答案、刷题等现象，降低赋能效果，本考试不提供考题的答案。Q: 沙箱实验每个人有几次机会？A：沙箱实验每个账号每天有一次实验机会Q：沙箱实验做完了，验证结果也是正常的，但是实验进度未显示100%，怎么处理？A：在确认手册中的操作内容操作完后，尝试在实验手册页面把滚动条上下多拖动动几次，待页面弹出“恭喜您，您已完成本次实验”提示框后，评论完点击右上角“结束实验”即可。Q：选择VPC和安全组时，没有实验手册中描述的VPC或安全组A：部分云资源是在实验开始前点击预置按钮后自动创建的，可点击实验手册顶部的预置按钮Q：在做沙箱实验时，开始实验按钮是灰色的，无法开始实验A：检查账号是否进行了实名验证；重启下浏览器尝试重新登录。Q：在线课程视频看完后进度显示不为100%A：在线课程包括视频+PPT文档+最佳实践文档，需要将以上都看完进度才会达到100%Q：结束实验以后重新进入实验，剩余时间不为100%A：（1）先确认上一次是否有点击结束实验，如果没有就点击结束实验再重新进入实验。（2）若已经点击过结束实验，则等时间耗完，实验自动结束后重新进入实验，不影响当日的实验名额Q：购买资源时提示没有权限A：（1）检查区域是否在北京四；（2）检查是否选择了按需购买Q：基于IoT平台构建智慧路灯应用的沙箱实验中，3.1步中购买ECS发现t6.small.1规格的服务器售罄怎么办？A：如t6.small.1规格的云服务器已售罄，选择通用入门型的【t6.medium.2】，或通用计算型下的【s6.small.1】/【s6.medium.2】均可Q：基于IoT平台构建智慧路灯应用的沙箱实验中，3.2割接业务命令窗口链接不上A：在实验中命令行窗口登录ECS后，一段时间不进行操作就会退出登录，需要重新登录ECS后再执行相应的命令，登录方法参考2.2步中的登录云服务器操作Q：基于IoT平台构建智慧路灯应用的沙箱实验中，设备注册不成功A：检查输入的参数是否带空格，IAM账号是否正确Q：基于IoT平台构建智慧路灯应用的沙箱实验中，1.3.3执行项目构建失败A：（1）检查步骤1.2.3的②是否选择了gitnore：Java；（2）1.3.1的③节是否选择了master分支，源码源是否选择了DevCloud；（3）1.3.2的模板是否选择了MavenQ：通过CDM同步数据到MRS Hive实验中，3.3步创建目标端连接时，Hive连通性失败A：（1）确认MRS集群和CDM集群是否在同一个VPC，如果不是，需要重新创建CDM集群（2）确认一下MRS和CDM是否在同一个安全组，若不在通一个安全组，进入MRS所在安全组的详情页面（https://console.huaweicloud.com/vpc/?region=cn-north-4#/secGroups，mrs开头的安全组），添加入方向规则>添加CDM实例所在安全组（Sanbox开头的安全组）Q：《使用CDM将CSV文件迁移至RDS》实验中，创建MySQL连接时测试不通A：检查CDM和连接端的云资源实例的VPC和安全组是否和实验手册的要求一致，若不在同一个VPC，需重新购买CDM，不在同一个安全组，按上一个Q&A的方式给CDM所在的安全组添加安全组规则。Q：是否能添加试验点数？A：沙箱实验每天有一次免费机会，如需在当天再次做相同的实验，需要购买实验点数，购买链接：https://marketplace.huaweicloud.com/hidden/contents/21805071-54e1-40c9-8df0-b7957b163773Q：截图上传失败怎么办？A：可以将截图打包发邮件给：liluping8@huawei.com

【问题现象】：使用2.8.2版本的cdm场景迁移功能迁移线下Hive数据到MRS Hive，最终作业状态显示Failed【问题分析】：1.点击场景迁移作业名称，进入子作业列表，可以看到每张表都对应一个子作业，子作业名称为：场景迁移作业名称_表名。找到失败的子作业，点击状态栏的问号出现以下报错：Table creation failed. Cause: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask.2.点击失败子作业后面的历史记录，可以看到作业详细信息3.点击子作业日志，发现以下报错：An ERROR occurred when repairing the table `hlg`.`shop`.java.sql.SQLException: ERROR while processing statement: failed: Execution ERROR, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTas4.由上图可知是在进行repair步骤时发生异常，登录mrs集群master节点，查看/var/log/Bigdata/hive/hiveserver/hive.log日志，可以看到以下报错：org.apache.hadoop.hive.ql.metadata.HiveException:org.apache.hadoop.hive.ql.metadata.HiveException: Invalid partition name hdfs://hacluster/user/hive/warehouse/hlg.db/shop/01 5.执行命令beeline登录hive的客户端，show create table tableName查看表结构可知该表是分区表，分区字段为month和day6.使用hdfs命令可以看到表数据目录如下：可知数据文件迁移成功，但是hive修复表分区时无法识别该路径，hive正常分区表数据路径格式应该为：/user/hive/warehouse/hlg.db/shop/month=01/day=01/000000_0经确认，原表数据是手动创建的分区目录，并把数据文件上传进去，所以迁移过来之后也是这种路径格式【解决方案】：1.手动修改数据目录为/user/hive/warehouse/hlg.db/shop/month=01/day=01/000000_02.在beeline中重新修复表分区：msck repair table shop;查询数据成功 

【功能模块】华为云CDM数据迁移【操作步骤&问题现象】1、前两天发生了点错误，CDM Hbase-dws增量迁移定时作业失败，这两天的源端数据都没迁移过来。2、之前CDM是定时5分钟跑一次作业，如何设置CDM的增量参数，使得以后在任务重启成功之后能将之前失败的期间的数据也迁移过来？【截图信息】

自建的集群想迁移到cce

《DAYU数据使能实施服务伙伴赋能课程》答疑FAQ参考链接：link数据连接问题问题描述：在RDS存在的数据库，在创建CDM数据连接的时候不能识别？          原因分析：RDS创建数据库时，名称前有空格，导致创建CDM数据连接的时候不能识别到RDS数据库          解决方案：由于RDS数据库名称不支持修改，所以删库重建问题描述：创建跨源连接失败，报错信息为：Destination subnet CIDR duplicated.Please check if you already have connection on this queue. Existing connection(connection_name, destination_network_id):(dws_retail,571fd550-f3e64003-9490-765564ece70c)          原因分析：增强跨源绑定队列的限制：1、队列网段与跨源子网网段不能冲突。2、队列如果已经绑定跨源1（子网网段为IP1），那么队列不能再绑定跨源2（子网网段也为IP1）。          解决方案：跨源连接已创建完成，无须再次创建。问题描述：跨源连接失败，报错信息为：The connection attempt faied          原因分析：跨源连接被删除或者连接域名错误，导致数据连接失败          解决方案：先在DLI测试一下域名，域名能正常连接上DWS后，再使用该域名连接DWS配额问题问题描述：采集元数据失败，报错信息为：Insufficient quota!          原因分析：基础版DGC数据治理支持的数据资产数量为1000，达到额度后采集任务失败          解决方案：删除元数据问题描述：CDM迁移作业，创建分组失败          原因分析：分组达到上限，创建不了分组          解决方案：不创建分组，使用default问题描述：创建应用管理失败          原因分析：额度达到上限后，不能创建          解决方案：不创建应用管理，API有数据返回就可以问题描述：CDM迁移作业失败，报错信息为： failed to download job while call REST api; failed to create dli upload job.          原因分析：cdm(MYSQL-DLI)迁移作业的时候，DLI会创建一个中间桶存放数据，桶的额度是100，达到额度后cdm迁移作业失败          解决方案：联系dli同事删除dli创建的桶数据采集问题描述：维度表关联技术资产失败          原因分析：未采集数据资产，导致维度表关联技术资产失败          解决方案：创建采集任务，采集数据表修改IAM账号绑定的手机号问题描述：身份认证时，绑定的手机号码不是自己的号码，怎么获取验证码？          解决方案：获取短信验证码时，修改IAM账号绑定的手机号指导如下：https://retail-practice.obs.obs.cn-south-1.myhuaweicloud.com/%E4%BF%AE%E6%94%B9IAM%E7%94%A8%E6%88%B7%E4%BF%A1%E6%81%AF%E6%8C%87%E5%AF%BC.pdf

引言：最近被数据库迁移、云数据库迁移、主机迁移和存储迁移搞的有点懵。华为云上好多迁移工具啊，我到底要用哪个迁移工具啊？今天就来细说下这些迁移工具的使用场景和区别。首先，华为云上涉及数据迁移的服务有以下几个：主机迁移服务 SMS对象存储迁移服务 OMS数据复制服务 DRS云数据迁移 CDM数据库和应用迁移 UGO数据快递服务 DES  什么是主机迁移服务 SMS？服务器相信大家都不陌生，即使我们不直接和服务器打交道，实际上我们现在的生活已经离不开服务器。各种手机APP都是部署在不同服务器上的应用软件。那么，业务上云时，物理服务器或虚拟机迁移使用“主机迁移服务 SMS”最合适不过了。主机迁移服务 SMS 是一种P2V/V2V迁移服务，可以把X86物理服务器、私有云或公有云平台上的虚拟机迁移到华为ECS上。有图更清晰：）单击这里了解更多主机迁移服务 什么是对象存储迁移服务 OMS？对象存储迁移服务（Object Storage Migration Service，OMS）是一种线上数据迁移服务，帮助您将其他云服务商对象存储服务中的数据在线迁移至华为云的对象存储服务（Object Storage Service，OBS）中。简言之，入云迁移、对象存储迁移。OMS主要功能有以下两个：线上数据迁移服务：帮助用户把对象存储数据从其他云服务商的公有云轻松、平滑地迁移上云。跨区域的复制：指的是华为云各个Region之间的数据复制和备份。目前支持以下他云对象存储数据的入云迁移：亚马逊云、阿里云、微软云、百度云、华为云、金山云、青云、七牛云、腾讯云云数据迁移CDM服务也同样支持对象存储数据迁移，两者的区别为：OMS用于他云到华为云的数据迁移；CDM主要用于OBS数据迁移到数据湖或其他大数据系统，以便对数据进行开发、清洗、治理等。单击这里了解更多对象存储迁移服务 什么是数据复制服务 DRS？数据复制服务（Data Replication Service，简称DRS）是一种易用、稳定、高效、用于数据库实时迁移和数据库实时同步的云服务。DRS适合迁移OLTP->OLTP、OLTP->DWS的场景都可以由DRS来完成数据迁移。即主流数据库到数据库（含第三方数据库）的场景，使用DRS进行迁移。目前支持的数据库链路有：自建/他云MySQL->RDS for MySQL自建/他云PostgreSQL->RDS for PostgreSQL 自建/他云MongoDB->DDSOracle->RDS for MySQL......单击这里了解更多支持的数据库信息。DRS与CDM的区别：DRS的目的端为数据库系统，例如MySQL、MongoDB等。CDM的目的端主要为数据湖或其他大数据系统，例如MRS HDFS、FusionInsight HDFS。DRS和UGO的区别：DRS是针对数据的全量/增量迁移或数据同步；而UGO用于异构数据库迁移前的评估、结构迁移和语法转化。上图：单击这里了解更多DRS什么是云数据迁移 CDM？云数据迁移（Cloud Data Migration, 简称CDM），是一种高效、易用的批量数据迁移服务。 CDM围绕大数据迁移上云和智能数据湖解决方案, 提供了简单易用的迁移能力和多种数据源到数据湖的集成能力，降低了客户数据源迁移和集成的复杂性，有效的提高您数据迁移和集成的效率。CDM进行数据迁移时，目标端为数据湖或其他大数据系统；源端可以是数据库也可以是对象存储。上图：CDM与DRS的区别：目的端是大数据系统时，推荐使用CDM；目的端是OLTP数据库或DWS时，推荐使用DRS迁移。CDM与OMS的区别：OMS用于入云迁移，支持以下源端云服务商：          亚马逊云、阿里云、微软云、百度云、青云、七牛云、腾讯云    CDM主要用于OBS数据迁移到数据湖或其他大数据系统，以便对数据进行开发、清洗、治理等。同时，整桶迁移建议使用OMS。单击这里了解更多CDM 什么是数据库和应用迁移 UGO？数据库和应用迁移 UGO（Database and Application Migration UGO，以下简称为UGO）是专注于异构数据库结构迁移的专业服务。可将数据库中的DDL、业务程序中封装的数据库SQL一键自动将语法转换为华为云GaussDB/RDS的SQL语法，通过预迁移评估、结构迁移两大核心功能和自动化语法转换，提前识别可能存在的改造工作、提高转化率、最大化降低用户数据库迁移成本。简言之，UGO用于异构数据库迁移前的数据库评估、结构迁移、语法转化单击这里了解更多UGO 什么是数据快递服务 DES？一种海量数据传输解决方案，支持TB级到PB级数据上云，使用物理介质（Teleport设备、外置USB硬盘驱动器、SATA硬盘驱动器、SAS硬盘驱动器等）向华为云传输大量数据，致力于解决海量数据传输网络成本高、传输时间长等难题。简言之，海量数据传输、使用物理介质单击这里了解更多DES小结：服务名主要功能和其他服务的区别主机迁移服务 SMS主机迁移含物理机到华为云、其他自建或他云虚拟机到华为云-对象存储迁移服务 OMS对象存储迁移他云对象存储数据迁移到华为云华为云各Region间的数据迁移OMS用于他云到华为云的数据迁移。CDM主要用于OBS数据迁移到数据湖或其他大数据系统，以便对数据进行开发、清洗、治理等。数据复制服务 DRS支持主流数据库到华为云的入云和出云迁移数据库在线迁移数据库实时同步和CDM的区别：数据库迁移使用DRS；到大数据系统的迁移使用CDM。和UGO的区别：DRS支持同构和异构的数据库迁移/同步；UGO用于异构数据库的结构迁移、数据库迁移前评估、语法迁移等云数据迁移 CDM大数据迁移上云多种数据源到数据湖的迁移和DRS的区别：数据库迁移使用DRS；到大数据系统的迁移使用CDM。数据库和应用迁移 UGO数据库结构迁移数据库迁移前评估语法迁移和DRS的区别：DRS支持同构和异构的数据库迁移/同步；UGO用于异构数据库的结构迁移、数据库迁移前评估、语法迁移等数据快递服务 DES海量数据，支持TB级到PB级数据上云使用物理介质-

近期，华为云数据库应用迁移解决方案顺利通过中国信息通信研究院“数据库应用迁移服务能力”评测，取得信通院最高级别成绩，成为国内首批通过该项的商用数据库迁移方案，填补了数据库领域在迁移服务能力标准方面的空白，而华为云数据库和应用迁移UGO正是本次迁移方案的主角。华为云数据库基于业界替换数据库存在目标选型难、语法不兼容、迁移成本高等难题，对预迁移评估、结构迁移等关键技术自主创新，在银行、互联网、政企等领域的迁移改造场景中进行了大量实践，推出了数据库和应用迁移 UGO（Database and Application Migration UGO，简称为UGO），是专注于异构数据库对象迁移和应用迁移的专业化工具，帮助用户解决替换数据库风险大的难题。华为云UGO通过预迁移评估、结构迁移两大核心功能，实现主流商业数据库到华为云数据库的自动化搬迁，助力用户轻松实现一键上云、一键切换数据库的目的，帮助用户提前识别风险、提高转化率、最大化降低数据库迁移成本。华为云UGO支持场景：UGO当前支持主流商业数据库迁移至华为云数据库，目标端数据库类型如下：华为云UGO核心优势：低风险：在预迁移评估中，会根据用户源库实际业务运行场景，为用户推荐合适目标库选型、规格、工作量。在语法兼容性上，通过海量业务场景输入，亿级别样本训练，最大化减轻用户手工改造成本。安全可控：，通过对象过滤、敏感保护、操作审计等过程，用户可自定义迁移对象，并设置敏感保护，实现迁移流程100%的透明可控，保障用户数据信息安全。低成本：通过自动化语法转换，节省了DBA、开发、测试的工作量，降低了业务迁移人力投入成本；用户按照实际使用需求购买，最大程度降低了服务使用成本。易操作：迁移过程可视化，无需擅长专业的数据库语法知识也可完成源库到目标库结构迁移与验证，无门槛完成异构数据库搬迁。随着数字化进程加快，企业需要更完善的配套服务来减少迁移复杂度，降低成本、保障数据安全。华为云数据库和应用迁移 UGO通过智能评估与自动化迁移降低了用户迁移难度与迁移成本，为企业数字化转型保驾护航。华为云UGO已在国有大行、华夏银行、中国人保、华为公司流程IT等客户中广泛应用，顺利高效地帮助客户完成数据与应用迁移。华为云GaussDB已广泛应用于金融、政府、运营商、交通、物流、互联网等领域，服务于1000+客户，为稳如磐石的数据底座打下坚实基础。未来，华为云数据库将携手更多合作伙伴联合创新，为客户持续打造选型安心、迁移放心、管理省心的数据库服务。 华为云数据库迁移与应用UGO现已开启免费公测，名额有限，扫码立即体验https://www.huaweicloud.com/product/ugo.html 

数据库迁移上云专场优惠来袭！MySQL29.9元3个月，买1年送半年，轻松开启云上之旅！还有12元即可体验价值12万、华为自研的王牌数据库GaussDB等活动！详情请戳 cid:link_0