根据帖子https://bbs.huaweicloud.com/blogs/172085 解析avro数据，获取中文字段编码问题

kafka消息格式，参考cid:link_0带有table、sql、old等关键字，flinksql建表时sql校验不通过，这种情况要如何处理

问题描述：公司最近使用使用华为kafka，通过DRS获取ORACLE数据库日志文件并且使用ARVO格式序列化到kafka里的topic里，最后通过工具插入目标数据库中。问题点：现要通过java获取topic里的数据，并且反序列化ARVO格式成JSON可识别语句。目前已经获取到topic数据，但是反序列化出错，（使用的是官网给的反序列化demo和schem）kafka 消费者获取数据代码：出错代码行：报错信息：烦请大佬帮忙！！！

数据复制服务（DRS）是一种易用、稳定、高效、用于数据同步的云服务，本节小课为您介绍，如何通过DRS将Oracle的数据同步到DDM。使用场景DRS实时同步功能一般用于建立数据同步通道，解决数据共享问题，也可以用于数据流式集成，具有数据转换能力。本实践中的选择均为测试简化基本操作，仅做参考，实际情况请用户按业务场景选择，更多关于DRS的使用场景请单击这里了解。部署架构本示例中，DRS源数据库为本地自建Oracle数据库，目标端为华为云上的分布式数据库中间件DDM，通过公网网络，将源端的数据同步到目标端，部署架构可参考下图。更多关于DRS的使用场景请单击这里了解。源端Oracle准备同步前需要在源库构造一些数据类型，供同步完成后验证数据。执行如下步骤在源库构造数据：1. 根据本地的Oracle数据库的IP地址，通过数据库连接工具连接数据库。2. 根据支持的数据类型，在源库执行语句构造数据。3. 创建一个测试用的用户。create user test_info identified by xxx;test_info为本次实践创建的用户，xxx为用户的密码，请根据实际情况替换。4. 给用户赋权。grant dba to test_info;5. 在当前用户下创建一个数据表。CREATE TABLE test_info.table3(ID INT,COL01 CHAR(100),COL02 NCHAR(100),PRIMARY KEY(ID));6. 插入两行数据。insert into test_info.table3 values(4,'huawei','xian');insert into test_info.table3 values(2,'DRS-test','test1');insert into test_info.table3 values(1,'huawei','xian');7. 使语句生效。commit;目标端DDM准备一、创建DDM实例1. 登录华为云控制台。2. 单击管理控制台左上角的图标，选择区域。3. 单击左侧的服务列表图标，选择“数据库 > 分布式数据库中间件 DDM”，进入DDM管理控制台。4. 在实例管理页面，单击页面右上方的“购买数据库中间件实例”。5. 按需设置实例相关信息和规格。6. 选择实例所属的VPC和安全组、配置数据库端口。7. 实例信息设置完成后，单击页面下方“立即购买”。8. 实例创建成功后，用户可以在“实例管理”页面对其进行查看和管理。数据库端口默认为5066，实例创建成功后可修改。当实例运行状态为“运行中”时，表示实例创建完成。二、创建RDS for MySQL实例本章节介绍创建DDM下关联的RDS for MySQL实例，创建步骤如下。1. 登录华为云控制台。2. 单击管理控制台左上角的图标，选择区域。3. 单击左侧的服务列表图标，选择“数据库 > 云数据库 RDS”。4. 单击“购买数据库实例”。5. 配置实例名称和实例基本信息。6. 选择实例规格。7. 选择实例所属的VPC和安全组、配置数据库端口。注意：RDS for MySQL实例的虚拟私有云（VPC）和子网必须和DDM实例保持一致。8. 配置实例密码。9. 单击“立即购买”。10. 返回云数据库实例列表。    当RDS实例运行状态为“正常”时，表示实例创建完成。三、创建逻辑库并关联RDS for MySQL实例1. 登录华为云控制台。2. 单击管理控制台左上角的图标，选择区域。3. 单击左侧的服务列表图标，选择“数据库 > 分布式数据库中间件 DDM”，进入DDM管理控制台。4. 在实例管理页面，单击实例对应操作栏的“创建逻辑库”。5. 在创建逻辑库页面，选择“逻辑库模式”、“逻辑库总分片数”，填写“逻辑库名称”，并选择要关联的DDM帐号、要关联的实例，单击“下一步”。本示例中逻辑库模式为单库，逻辑库名称为db_test。注意：DRS目前仅支持同步源端Oracle的数据到目标DDM，不支持同步源库表结构及其他数据库对象，用户需要在目标库根据源端数据库的表结构创建对应的逻辑库。四、创建DDM账号1. 登录华为云控制台。2. 单击管理控制台左上角的图标，选择区域。3. 单击左侧的服务列表图标，选择“数据库 > 分布式数据库中间件 DDM”，进入DDM管理控制台。4. 在实例管理页面，单击实例实例名称，进入实例基本信息页面。5. 在左侧导航栏选择“帐号管理”，进入帐号管理页面。6. 在帐号管理页面单击“创建DDM帐号”，在弹窗中填选帐号信息、关联的逻辑库和权限。DDM目标库账号所需要的权限可参考DRS使用须知中的数据库权限说明。7. 信息填写完成，单击“确定”即可创建成功。五、创建目标库表结构DRS目前仅支持同步源端Oracle的数据到目标DDM，不支持同步源库表结构及其他数据库对象。用户需要在目标库根据源端逻辑库的表结构，自行在目标库创建对应的表结构及索引。更对约束限制可参考DRS使用须知。1. 登录华为云控制台。2. 单击管理控制台左上角的图标，选择区域。3. 单击左侧的服务列表图标，选择“数据库 > 分布式数据库中间件 DDM”，进入DDM管理控制台。4. 在弹出的对话框中输入创建DDM账号中的实例用户名和密码，单击“测试连接”检查。5. 连接成功后单击“登录”，登录DDM实例。6. 单击创建逻辑库并关联RDS for MySQL实例中创建的逻辑库db_test。7. 在db_test库中执行如下语句，创建与源端结构一致的同名目标表table3。CREATE TABLE `db_test`.`table3`( ID INT, COL01 CHAR(100), COL02 NCHAR(100), PRIMARY KEY(ID));创建DRS同步任务本章节介绍如何创建DRS同步任务，将本地自建Oracle上的数据库同步到华为云DDM。在创建任务前，需要针对同步条件进行手工自检，以确保您的同步任务更加顺畅。本示例为同步到DDM入云同步，您可以参考DRS使用须知获取相关信息。1. 登录华为云控制台。2. 单击管理控制台左上角的图标，选择区域。3. 单击左侧的服务列表图标，选择“数据库 > 数据复制服务 DRS”。4. 单击“创建同步任务”。5. 填写同步任务参数：    a、配置同步任务名称。        b、填写同步任务信息并选择目标库。    这里的目标库选择创建DDM实例所创建的DDM实例。    6. 单击“开始创建”。同步实例创建中，大约需要5-10分钟。7. 配置源库信息和目标库数据库密码。    c、配置源库信息，单击“测试连接”。当界面显示“测试成功”时表示连接成功。        d、配置目标库信息，单击“测试连接”。当界面显示“测试成功”时表示连接成功。    8. 单击“下一步”。9. 在“设置同步”页面，选择同步对象。流速模式：不限速。同步对象：表级同步在源库选择需要同步的数据库和表。本次实践中选择“test_info”中的“table3”表，设置同步到目标“db_test”中的“table3”中。        10. 单击“下一步”,在“预检查”页面，进行同步任务预校验，校验是否可进行同步。查看检查结果，如有不通过的检查项，需要修复不通过项后，单击“重新校验”按钮重新进行同步任务预校验。预检查完成后，且所有检查项结果均成功时，单击“下一步”.11. 单击“提交任务”。返回DRS实时同步管理，查看任务状态。启动中状态一般需要几分钟，请耐心等待。当状态变更为“全量中”，表示同步任务已经启动。说明：目前Oracle到DDM同步支持全量、全量+增量两种模式。如果创建的任务为全量同步，任务启动后先进行全量数据同步，数据同步完成后任务自动结束。如果创建的任务为全量+增量同步，任务启动后先进入全量同步，全量数据同步完成后进入增量同步状态。增量同步会持续性同步增量数据，不会自动结束。确认同步执行结果确认同步结果可参考如下两种方式：1. DRS会针对同步对象、数据等维度进行对比，从而给出同步结果，详情参见在DRS管理控制台查看同步结果。2. 直接登录数据库查看库、表、数据是否同步完成。手工确认数据同步情况，详情参见在DDM管理控制台查看同步结果。在DRS管理控制台查看同步结果1. 登录华为云控制台。2. 单击管理控制台左上角的图标，选择区域。3. 单击左侧的服务列表图标，选择“数据库 > 数据复制服务 DRS”。4. 单击DRS实例名称。5. 单击“同步对比”。6. 选择“对象级对比”页签，查看对象是否缺失。单击“开始对比”，对比完成后，查看对比结果。7. 选择“数据级对比”页签，查看同步对象行数是否一致。 a、单击“创建对比任务”。b、在弹出的对话框中选择对比类型、时间和对象。c、等待对比任务结束后，查看数据对比结果。​d、如需查看对比明细，可单击对比任务后的“查看对比报表”。在DDM管理控制台查看同步结果1. 登录华为云控制台。2. 单击管理控制台左上角的图标，选择区域。3. 单击左侧的服务列表图标，选择“数据库 > 分布式数据库中间件 DDM”。4. 选择DDM实例，单击同步的目标实例的操作列的“登录”。5. 在弹出的对话框中输入密码，单击“测试连接”检查。6. 连接成功后单击“登录”。7. 查看并确认目标库名和表名等，确认相关数据是否同步完成。

近些年来，金融行业数字化转型不断推进，可以看到，金融业务线上化、服务场景生态化成为当前金融业发展的新常态，金融服务链开始与各行业社会服务链产生深度的融合和交织，金融业务的多元和复杂，让金融应用系统面临处理海量数据、超高并发、超高峰值等一系列挑战。在金融创新压力下，传统集中式数据库的短板逐渐凸显出来，比如弹性伸缩能力缺乏、安全可控水平不高、灾备能力不足等等，基于传统集中式数据库构建的信息系统也因此面临着较大的不确定性风险，越来越难以适应金融行业快速发展滋生的更多需求，唯有加速核心系统的升级和转型，将应用迁移到更具有可持续演进支撑能力的数据库上，才能解决根本问题。携手共创大胆实践，蹚出转型新路某国有银行是中国最大的商业银行之一。早在2014年，我们就开始和该行进行联创，一起深入洞察金融科技发展趋势和金融业务创新需求，积极开展分布式数据库联合创新和应用创新，在实践过程中积累了非常多的实战经验，并且初步形成了以GaussDB分布式数据库为基础的金融级数据库转型解决方案。2019年以来，该行陆续将GaussDB引入到实物贵金属、中间业务系统等三十多个业务系统中上线，覆盖了各类典型业务场景，比如办公系统、一般业务系统、关键业务系统，初步形成了一套涵盖主要商用交易型数据库的转型方案。2022年，双方再度联合，在全球信贷大型业务系统传统集中式数据库转型领域持续开展技术攻关，形成一整套系统性的技术资产和解决方案，不仅开拓了传统集中式数据库转型工作的新思路、新方法，也为金融行业提供了低成本、高效可控的重要转型借鉴。云化升级，如何精准施策？合作前期，我们的团队成员深入银行实际业务场景，和客户展开了持续多轮的沟通和研讨，一起深刻洞察银行的业务发展现状和系统瓶颈，结合未来长期发展规划，明确了转型诉求。结合该行的业务特性和需求，在数据库转型方案上，我们采用了分布式与集中式相结合的方式，针对不同的需求，实施不同的策略，包括金融级高可用部署、系统的应用迁移改造、数据迁移等等。整个转型方案遵循一条总体思路——对于未来有业务扩展需求的应用系统，比如敏态应用，因为分布式部署具有大容量、高并发、横向扩展的能力，可以选择去存储过程，进行分布式改造；对于未来没有业务扩展需求的应用系统，比如稳态应用，因为集中式部署能够更好地支持存储过程，不需要太多改造，可以选择在保留存储过程的基础上按需要进行迁移，最大程度降低应用改造成本。方案可以分几部分来看：高可用部署 搭好金融创新云上新基座高可用部署方案结合了该行每个发展阶段的现状，在不同的业务场景下策略也有所调整。同城双活——满足上海两个数据中心和同城部署需求。最早期，该行在上海的A地和B地部署有两个机房，而且是跨机房部署。根据这样的特点，我们上线了GaussDB同城双活方案，通过将一主三备四个副本平均分配到上海两个机房，实现同城高可用部署，RPO=0，RTO <60秒，同时将主分片节点部署在主机房，另一个机房完全做备。两地三中心——满足人行对5A级应用金融监管要求。后来，随着核心业务的陆续上线，系统需要满足人行的容灾监管要求。我们提供了GaussDB两地三中心方案，在前期同城双活方案的基础上，在异地北京增加了一个异步复制的集群，通过集群内的同步机制流式复制，不需要依赖外部组件，做到了异地RPO=10秒，RTO<10分钟。跨中心多集群部署——任何软硬件故障完全隔离。2022年，我们与该行再度联合，展开技术攻关，对标主机“两地三中心”部署架构和高可用能力，基于存算分离形成了跨中心多集群的部署方案，夯实数据库的核心承载能力。当下面对故障隔离这类问题，大多都是通过一套数据库集群拉远，不断增加数据中心的方式来提高数据库的可用性，比如从同城两中心到两地三中心，再到三地五中心，但这种方式因为只有一套整体软件(集群)，即使有同城备中心，也无法做到软硬件故障的完全隔离，这种架构是无法满足主机核心业务系统可靠性要求的。   对此，GaussDB的跨中心多集群部署方案很好地满足了以上需求。该方案支持同城的两个数据中心完全部署在两套独立的数据库软件上，做到任何软硬件故障完全隔离，支持版本轮换升级、应用灰度升级，主中心升级时应用还可以访问备中心，正常开展业务，这种架构真正实现了7*24小时服务不间断，双集群下RPO=0，极致的同步性能，这是在一定成本约束下性能、可用和可靠的完美结合。应用迁移改造 巧用工具降本增效除了以上高可用部署方案，我们在该行核心系统的应用迁移改造上也形成了一整套完善的方法论。GaussDB已经有由华为云数据库和应用迁移UGO、华为云数据复制服务DRS组成的一整套自动化迁移方案，能够实现大规模数据的双向实时同步和异构数据库自动迁移，达成降本增效的目的。在语法迁移阶段，一方面，GaussDB可以兼容传统集中式数据库常用的功能和语法，而且仅需要投入极少的应用改动工作量，另一方面，UGO可以对无法直接兼容的语法进行转换，且自动迁移转换率有大幅度的提高，比如最开始在该行实践的自动迁移转换率在80%左右，但后来在信贷系统的迁移过程中，面对几千万的存储过程量，自动迁移转换率已经达到了95%。数据迁移 稳中求进使业务0风险上线除了应用的迁移，在数据迁移和业务上线上，也采用了非常稳妥的方式，力求分阶段稳中求进。比如在存量数据的迁移阶段，通过数据复制服务DRS来完成；在技术验证阶段，通过业务联机、批量双写，可切流部分查询交易，对于一些非双写的表，进行单向增量数据同步；在全功能切流阶段，通过GaussDB来承接业务日常联机和批量数据处理，通过灰度引流按试点维度（机构或客户）逐步推广，并通过DRS的反向同步能力实现了GaussDB和原数据库的快速回切。让数据发挥最大价值，引领金融创新风向标实践证明，这套方案完全契合该行核心系统的转型诉求，并且取得了非常明显的成效。现在，该行三十多个业务系统已经全数平滑搬迁到GaussDB数据库中，通过卓越的性能和跨中心多集群技术，高效支撑起全球信贷系统7*24小时服务连续性要求，同时也实践出一套非常实用的转型经验。全栈技术创新。一方面通过鲲鹏+GaussDB+欧拉的组合方式实现了全栈软硬件的技术创新，另一方面也在金融行业树立起技术标杆，为其他金融机构核心系统的转型升级提供了宝贵经验。用极低的成本高效完成迁移改造。整个迁移过程中，90%以上的对象/存储过程代码是通过自动迁移完成的，无需投入过多人力成本，而且数据在线迁移的方式确保了发生问题能够随时回切，避免了数据丢失的风险。可靠性大幅提升。改造前的信贷系统同城园区级故障RTO要达到15到30分钟，而改造后的新系统同城园区级故障RTO缩短了近10倍，相比传统的集中式数据库，这可以说是实现了质的飞跃。与该国有大行的联创实践充分验证了传统数据库向分布式数据库转型具有非常强的可行性，也为我国大型商业银行核心系统转型蹚出了一条明朗的道路。接下来，双方也将继续联动，通过技术沉淀和转型实践经验总结，识别行业共性需求，开展更深层的联合技术攻关，共建金融科技新生态。

关于在线迁移和离线迁移： 在线迁移：是指在系统不停机的情况下，将服务器或虚拟机上的系统、服务程序等从自建机房（IDC）或云平台等源环境迁移同步至云上，方便实现企业上云、跨云平台迁移、跨账号/区域迁移或部署混合云等业务需求。 离线迁移： 是指在系统中断的情况下，将系统盘镜像（若需同时迁移实例已挂载的数据盘，则可将系统盘镜像和数据盘镜像）迁入至指定的云服务器，（离线数据迁移）将数据盘镜像迁入至指定的云硬盘区别：离线迁移需要先将源端服务器的系统盘或数据盘制作成镜像，再将镜像迁移至您指定的云服务器或云硬盘。在线迁移无需制作镜像，直接在源端服务器运行迁移工具，即可将源端服务器迁移至指定的云服务器。在线迁移、离线迁移对比三方面：成本、效率、安全性。成本：大规模数据的迁移需要耗费大量传输资源，就是网络，成本较高，因此数据量太大有时不适合在线传输。效率：效率受网速限制，如通过网络转移1EB的数据大约需要26 年，而用十辆卡车可以将传输时间降至6个月内安全：利用云计算的黑客攻击愈发频繁，尤其像金融等传统客户是不放心数据在线迁移的。在线迁移工具：技术流：Oracle系统迁移（自带）Oracle Golden Gate/ Data Guard（DG），MS Always On……服务流：采用数据复制服务DRS做数据库迁移，此外若客户涉及异构数据库迁移，则也可用数据库应用迁移服务UGO做迁移离线迁移工具：DES数据快递服务、OBS对象存储针对TB级别以上的数据量还可以使用DES数据快递服务进行离线迁移 在线迁移方法：华为云上：采用数据复制服务DRS做数据库迁移，此外若客户涉及异构数据库迁移，则也可用数据库应用迁移服务UGO做迁移 在线迁移服务：DRS实时迁移、SMS、OMS 离线迁移方法：DRS备份迁移、镜像导入到OBS再恢复、DES数据快递服务两种不同迁移方法，适用场景是什么？本案例中不同的迁移方案分别有哪些需要注意的？ https://support.huaweicloud.com/realtimemig-drs/drs_08_0089.html https://support.huaweicloud.com/migration-dcs/dcs-migration-190703003.html https://support.huaweicloud.com/qs-drs/drs_04_0089.html#drs_04_0089__section15921124810611 在线迁移： 如果您使用的是全量+增量迁移模式（在线迁移），支持在源数据库有业务数据写入的情况下进行迁移，推荐提前2-3天启动任务，并配合使用技巧和对应场景的操作要求，以确保顺利迁移。 离线迁移：如果您使用的是全量迁移模式（离线迁移），确保源和目标数据库无业务写入，保证迁移前后数据一致。全量迁移结合定时启动功能，选择业务低峰期开始运行迁移任务，相对静态的数据，迁移时复杂度将会降低。 在线迁移，相当于增加一个从节点并且会做一次全量同步，所以，建议在业务低峰期迁移。本案例中，避开业务高峰期，高峰时不要用在线迁移。

GaussDB集中式主备版和分布式在架构，日常运维，日常开发方面有差异整理吗？比如在系统架构，日常运维，灾备，恢复，健康巡检，日常开发SQL，建表，存储过程，函数触发器等方面的差异，官方有整理相关性的对比文档吗？

    本帖整理汇总了HCS数据库产品服务各个引擎标准交付部署、升级变更方案、最佳实践、故障问题应急排查套路、以及常见非标操作鉴定标准及评审流程，后续会持续更新，以便使用。交付变更标准方案--HCS标准云底座说明：安装、升级、补丁、扩容标准方案文档请到华为support网站获取，不在本社区论坛发布；请严格按照support网站提供的标准方案操作。1.数据库服务安装交付部署checklisthttp://3ms.huawei.com/hi/group/3288655/wiki_7173493.html2.数据库服务升级前checklist+升级指导http://3ms.huawei.com/hi/group/3288655/wiki_6654416.html3.HCS数据库服务升级变更方案评审接口矩阵cid:link_14.非标方案评审流程：cid:link_2

分类文档链接备注路标信息cid:link_4特性清单cid:link_3原子APIcid:link_1FAQcid:link_2华为云在线课程（免费）DRS常用集成最佳实践https://education.huaweicloud.com/courses/course-v1:HuaweiX+CBUCNPS049+Self-paced/about?isAuth=0&cfrom=hwc本课程主要介绍DRS常用的集成方案最佳实践，学员通过最佳实践的学习，可快速上手DRS的使用场景和集成方案。华为云开发者学堂使用DRS实现数据实时同步cid:link_5实验旨在指导用户将云下MySQL源数据通过DRS实时同步到RDS MySQL数据库，使用户快速熟悉使用DRS实现将私有数据库的数据实时同步到华为云的方法华为云开发者网DRS开放能力cid:link_4

就挺麻的，第一步死活报错。找不到文件。

尊敬的客户：您好！为帮助您深入了解华为云产品，探索新的技术场景，我们非常高兴地与您分享一个好消息：为了更好地服务千万开发者，华为云推出开发者认证，真正让开发者在云上作业，懂开发会开发，与开发者共成长。由华为资深研发团队精心打磨，潜心研发的《云迁移工作级开发者认证》于2022年10月17日正式上线！届时请进入华为云开发者学堂-开发者认证-云计算查看产品详情，体验使用，我们非常期待您的宝贵建议。以下为该开发者认证详情，您可提前了解：产品名称: 《云迁移工作级开发者认证》适合人群： 迁移工程师、开发工程师、运维工程师等；培训方案： 从云迁移方法论讲到华为云云服务的使用和迁移；技术能力： 掌握云迁移的调研、设计、实施、验证、交接各个环节方法论及华为云核心云服务的使用和迁移；认证价值： 通过理论结合实践，使云迁移相关从业者具备云迁移的理论知识和实操能力。届时我们还将开展相关开发者认证上新活动，详情请关注华为云开发者学堂论坛-热门活动 相关通知。发布日期：2022年10月17日

【功能模块】华为智慧园区开发工程师认证进阶课 实战课（https://qa6-dev.besclouds.com/） 统一事件集成第三方系统【操作步骤&问题现象】1、根据操作指导书完成“事件处置服务IO”应用开发，并配置统一事件转发规则2、Live Data > API测试 返回结果为null【截图信息】1、API设计2、API开发3、API测试【日志信息】（可选，上传日志内容或者附件）

1. 场景介绍由于安全原因，数据库的IP地址有时不能暴露在公网上，但是选择专线网络进行数据库迁移，成本又高。这种情况下，您可以选用数据复制服务提供的备份迁移。DRS除了支持将本地Microsoft SQL Server数据库的备份文件迁移到华为云RDS for SQL Server实例，也支持通过Microsoft SQL Server数据库实例的全量备份，对已有的RDS for SQL Server实例进行备份数据迁移。更多DRS备份迁移内容可参见 “迁移方案概览”章节。2. 备份文件准备1. 登录管理控制台。2. 单击管理控制台左上角的，选择区域和项目。3. 在页面左上角单击，选择“数据库 > 云数据库 RDS”。进入云数据库 RDS信息页面。4. 在“实例管理”页面，选择指定的实例，单击实例名称。5. 在左侧导航栏中选择“备份恢复”，单击“创建备份”，命名该备份，并添加描述，单击“确定”，提交备份创建，单击“取消”，取消创建。备份名称的长度在4~64个字符之间，必须以字母开头，区分大小写，可以包含字母、数字、中划线或者下划线，不能包含其他特殊字符。备份描述不能超过256个字符，且不能包含回车和>!<"&'=特殊字符。手动备份创建所需时间由数据量大小决定。6.手动备份创建成功后，用户可在“备份管理”页面，对其进行查看并管理。也可在“实例管理”页面，单击实例名称，在左侧导航栏中选择“备份恢复”，对其进行查看并管理3. 创建备份迁移任务1. 登录管理控制台。2. 单击管理控制台左上角的，选择区域和项目。3. 在页面左上角单击，选择“数据库 > 数据复制服务 DRS”。4. 在“备份迁移管理”页面，单击“创建迁移任务”。5. 在“选定备份”页面输入任务名称和描述，填选备份文件信息，单击“下一步”。参数描述数据库类型选择Microsoft SQL Server数据库引擎。备份文件来源选择RDS全量备份。6. 在“选定目标”页面，填选数据库信息，单击“下一步”。参数描述目标RDS实例名称选择目标RDS实例。若没有合适的目标数据库实例，请先创建目标数据库实例，具体操作及注意事项参见《关系型数据库快速入门》中“SQL Server快速入门”下的“购买实例”章节。覆盖还原覆盖还原是指目标端数据库实例已经存在同名的数据库，备份还原中是否要覆盖已存在的数据库。您可以根据业务需求进行选择是否覆盖还原。若选择此项，目标RDS实例中与待还原数据库同名的数据库将会被覆盖，请谨慎操作。待还原数据库名称选中目标RDS实例后，自动展示该实例的所有待还原数据库，可根据需要选择待还原的数据库，并且支持重命名。待还原数据库名称：待还原数据库的原名称。数据库新名称：区分大小写，长度在1~64个字符之间，必须以字母开头，可以包含字母，数字、中划线和下划线，不能包含其他特殊字符。不设置，则使用原数据库名称备份恢复，设置后，使用新名称备份恢复。待还原数据库支持重命名，最大配额为100个。数据库新名称不能与源库中除本库以外的其它库同名。7. 在“信息确认”页面核对配置详情后，勾选协议，单击“下一步”。8. 在“备份迁移管理”页面任务列表中，观察对应的恢复任务的状态为“恢复中”，恢复成功后，任务状态显示“成功”。4. 手动配置信息SQL Server自身的工作原理是备份文件恢复到新的数据库后，非聚集索引表的索引信息将会失效需要立即重建。如果源数据库里存在大量非聚集索引表，备份迁移后请在目标库进行索引重建，以避免数据库未来使用中性能出现重大下降。同时备份文件里仅保存数据库级信息，在SQL Server实例中还有一些配置需要主动识别并手工完成迁移，如login，权限，DBlink，job等，如果源数据库包含这部分配置，请参考《最佳实践》进行迁移补充工作。

接上篇。5. 创建全量+增量备份迁移任务首次进行全量迁移步骤一：导出全量备份文件，具体操作请参见导出数据库备份文件。步骤二：将导出的全量备份文件上传至OBS桶内，请参见上传备份文件。步骤三：登录数据复制服务控制台。步骤四：单击管理控制台左上角的，选择区域和项目。步骤五：在“所有服务”或“服务列表”中，选择“数据库>数据复制服务 DRS”，进入数据复制服务信息页面。步骤六：在页面左侧导航栏，选择“备份迁移管理”，单击“创建迁移任务”，进入“选定备份”页面。步骤七：填写迁移任务信息和备份文件信息，单击“下一步”。参数描述任务名称任务名称在4-64位之间，必须以字母开头，不区分大小写，可以包含字母、数字、中划线或下划线，不能包含其他特殊字符。描述描述不能超过256位，且不能包含!=<>&'"特殊字符。数据库类型选择Microsoft SQL Server数据库引擎。备份文件来源选择自建OBS桶。桶名选择备份文件所在的桶名，以及该桶目录下上传好的全量备份文件。步骤八：在“选定目标”页面，填选数据库信息后，单击“下一步”。参数描述目标RDS实例名称选择目标RDS实例。若没有合适的目标RDS数据库实例，请先创建所需的目标数据库实例，可参见《关系型数据库快速入门》中“SQL Server快速入门”下的“购买实例”章节。待恢复备份类型选择全量备份。全量备份指备份文件是完整备份类型的备份。最后一个备份当前进行的是全量+增量备份迁移，全量备份恢复后，需要继续进行增量备份恢复，该参数选择“否”。此时目标数据库将会处于恢复中的状态，不可读写。覆盖还原覆盖还原是指目标端数据库实例已经存在同名的数据库，备份还原中是否要覆盖已存在的数据库。您可以根据业务需求，选择是否进行覆盖还原。说明若选择此项，目标数据库实例中与待还原数据库同名的数据库将会被覆盖，请谨慎操作。执行预校验备份迁移任务是否执行预校验，默认为是。是：为保证迁移成功，提前识别潜在问题，在恢复前对备份文件的合法性、完整性、连续性、版本兼容性等进行校验。否：不执行预校验，迁移速度更快，但需要用户判断备份文件的合法性、完整性、连续性、版本兼容性等问题。指定需要恢复的数据库您可以选择将全部数据库或部分数据库进行恢复。全部数据库：恢复备份文件中所有的数据库，不需要输入待还原数据库名称，默认还原备份文件里的所有数据库。部分数据库：恢复备份文件中的部分数据库，需要输入待还原数据库名称。全量备份需要保证指定恢复的数据库始终一致。重置数据库名当选择的指定恢复数据库类型为“全部数据库”时，您可以选择重置数据库名。该功能将忽略备份文件中原有的数据库名，通过DRS将其恢复为指定的新数据库名。使用条件：备份文件中只有一个数据库。备份文件是全量备份类型（待恢复备份类型选择：全量备份），且是一次性恢复（最后一个备份选择：是）。说明：仅支持“待恢复备份类型”为“全量备份”，且“指定需要恢复的数据库类型”为“全部数据库”时重置数据库名。待还原数据库名称当选择的指定恢复数据库类型为“部分数据库”时，需要输入待还原数据库名称。待还原数据库名称必须与备份文件中的数据库名称一致，区分大小写，待还原库名最大支持256字节，新库名最大支持128字节，可以包含字母、数字、中划线和下划线（待还原库名还支持中文），不能包含其他特殊字符。此处，数据复制服务还提供待还原数据库别名设置的功能。步骤九：在“确认信息”页面核对配置详情后，勾选协议，单击“下一步”。步骤十：在“备份迁移管理”页面任务列表中，观察对应的恢复任务的状态为“恢复中”，恢复成功后，任务状态显示“成功”。进行第一次增量迁移步骤一：导出第一次增量备份文件，具体操作请参见导出数据库备份文件。步骤二：将导出的备份文件上传至OBS桶内，请参见上传备份文件。步骤三：返回数据复制服务控制台。步骤四：在页面左侧导航栏，选择“备份迁移管理”，单击“创建迁移任务”，进入“选定备份”页面，继续创建增量备份迁移任务。步骤五：填写迁移任务信息和备份文件信息，备份文件为步骤2中上传的文件，单击“下一步”。步骤六：在“选定目标”页面，填选数据库信息后，单击“下一步”。参数描述目标RDS实例名称选择目标RDS实例。该目标RDS实例应该与进行全量备份恢复时选择的目标实例一致。待恢复备份类型选择增量备份。增量备份指备份文件是日志类型的备份。最后一个备份当前进行的是第一次增量备份迁移，该参数选择“否”。此时目标数据库将会处于恢复中的状态，不可读写。执行预校验备份迁移任务是否执行预校验，默认为是。是：为保证迁移成功，提前识别潜在问题，在恢复前对备份文件的合法性、完整性、连续性、版本兼容性等进行校验。否：不执行预校验，迁移速度更快，但需要用户判断备份文件的合法性、完整性、连续性、版本兼容性等问题。指定需要恢复的数据库您可以选择将全部数据库或部分数据库进行恢复。全部数据库：恢复备份文件中所有的数据库，不需要输入待还原数据库名称，默认还原备份文件里的所有数据库。部分数据库：恢复备份文件中的部分数据库，需要输入待还原数据库名称。 步骤七：在“确认信息”页面核对配置详情后，勾选协议，单击“下一步”。步骤八：在“备份迁移管理”页面任务列表中，观察对应的恢复任务的状态为“恢复中”，恢复成功后，任务状态显示“成功”。进行第二次增量迁移为了实现迁移导致的业务中断时间最小化，需要在业务割接前，进行一次事务日志备份上传与恢复，该操作会将割接前所有的历史数据恢复至目标数据库，很大程度上减少了割接时最后一个事务日志备份的上传与恢复的时间。步骤一：在业务割接前，导出新的增量备份文件，请参见导出数据库备份文件。步骤二：继续执行步骤2到步骤4。步骤三：填写迁移任务信息和备份文件信息，单击“下一步”。步骤四：在选定目标页面，填选数据库信息后，单击“下一步”。参数描述目标RDS实例名称选择目标RDS实例。该目标RDS实例应该与进行全量备份恢复时选择的目标实例一致。待恢复备份类型选择增量备份。增量备份指备份文件是日志类型的备份。最后一个备份当前进行的是割接业务前的增量备份迁移，该参数选择“否”。此时目标数据库将会处于恢复中的状态，不可读写。执行预校验备份迁移任务是否执行预校验，默认为是。是：为保证迁移成功，提前识别潜在问题，在恢复前对备份文件的合法性、完整性、连续性、版本兼容性等进行校验。否：不执行预校验，迁移速度更快，但需要用户判断备份文件的合法性、完整性、连续性、版本兼容性等问题。指定需要恢复的数据库您可以选择将全部数据库或部分数据库进行恢复。全部数据库：恢复备份文件中所有的数据库，不需要输入待还原数据库名称，默认还原备份文件里的所有数据库。部分数据库：恢复备份文件中的部分数据库，需要输入待还原数据库名称。 步骤五：在“确认信息”页面核对配置详情后，勾选协议，单击“下一步”。步骤六：在“备份迁移管理”页面任务列表中，观察对应的恢复任务的状态为“恢复中”，恢复成功后，任务状态显示“成功”。检查数据库事务在进行业务割接之前，需要停止业务，然后确认数据库内无未完成的事务，避免因数据库中存在未完成的事务导致数据丢失问题。步骤一：执行如下语句，判断业务系统IP是否已经断开连接。select * from sys.dm_exec_connections;是，表示所有业务系统ip都已经断开连接，可以进行最后一个增量备份迁移。否，执行步骤2。步骤二：如果查询到存在未断开的业务系统ip，继续通过如下语句查询未关闭的会话 。select * from sys.dm_exec_sessions;同时，根据如下语句查看正在执行的事务。select * from sys.dm_tran_session_transactions;若上述查询结果中存在未关闭的会话和正在执行的事务，请继续执行步骤3。步骤三：需要等到事务执行完成，关闭会话，断开业务系统连接后，才可以进行最后一个增量备份迁移。进行最后一次增量迁移经过上面多次增量备份的迁移与恢复，数据库数据已经接近一致了，同时在上一阶段检查数据库事务的过程中已经将源业务停止，不会再产生新数据，此时为了确保迁移与恢复数据的完整性和一致性，需要进行最后一次增量备份的迁移与恢复。步骤一：导出新的增量备份文件，具体操作请参见导出数据库备份文件。步骤二：继续执行步骤2到步骤4。步骤三：填写迁移任务信息和备份文件信息，单击“下一步”。步骤四：在选定目标页面，填选数据库信息后，单击“下一步”。参数描述目标RDS实例名称选择目标RDS实例。该目标RDS实例应该与进行全量备份恢复时选择的目标实例一致。待恢复备份类型选择增量备份。增量备份指备份文件是日志类型的备份。最后一个备份该阶段为停止业务后进行的最后一次增量迁移，该参数选择“是”。执行预校验备份迁移任务是否执行预校验，默认为是。是：为保证迁移成功，提前识别潜在问题，在恢复前对备份文件的合法性、完整性、连续性、版本兼容性等进行校验。否：不执行预校验，迁移速度更快，但需要用户判断备份文件的合法性、完整性、连续性、版本兼容性等问题。指定需要恢复的数据库您可以选择将全部数据库或部分数据库进行恢复。全部数据库：恢复备份文件中所有的数据库，不需要输入待还原数据库名称，默认还原备份文件里的所有数据库。部分数据库：恢复备份文件中的部分数据库，需要输入待还原数据库名称。 步骤五：在“确认信息”页面核对配置详情后，勾选协议，单击“下一步”。步骤六：在“备份迁移管理”页面任务列表中，观察对应的恢复任务的状态为“恢复中”，恢复成功后，任务状态显示“成功”。6. 手动配置信息目前从本地或虚拟机通过DRS备份迁移功能直接迁移到本云RDS for SQL Server实例上，在迁移完成后还需要针对Login账号，DBLink，AgentJOB，关键配置进行识别，并手动完成相关同步工作，详细操作参考手动配置信息。

1. 场景介绍由于安全原因，数据库的IP地址有时不能暴露在公网上，但是选择专线网络进行数据库迁移，成本又高。这种情况下，您可以选用数据复制服务提供的备份迁移，通过将本地Microsoft SQL Server数据库的备份文件上传至对象存储服务，然后恢复到目标数据库。备份迁移可以帮助您在云服务不触碰源数据库的情况下，实现数据迁移。数据复制服务的备份迁移功能支持全量和全量+增量场景的数据库迁移，本示例以全量+增量场景为例，介绍如何进行备份迁移。全量+增量备份迁移该场景为数据持续性迁移，需要在完成全量备份恢复的基础上，通过多次增量备份文件恢复，实现迁移过程中业务中断的最小化。一次典型的增量恢复过程，会涉及多次恢复增量备份。每个增量备份恢复均会使目标数据库保持还原中状态，此时数据库不可读写，直至最后一个增量备份恢复完成后，数据库才能变成可用状态。2. 迁移准备本小节介绍通过数据复制服务进行备份迁移前的准备工作。在正式使用数据复制服务之前，请先阅读以确保您已完成创建备份迁移任务所需的各项准备工作。更多使用须知可参见 “使用须知”章节。目标数据库准备已有RDS for SQL Server数据库实例，如果没有，请参考《关系型数据库用户指南》中的“购买实例”章节，创建RDS实例。目标数据库的可用磁盘空间至少为待还原数据库总数据量大小的1.5倍。源数据库恢复模式设置仅进行全量备份迁移时，对数据库的恢复模式没有要求。进行全量+增量备份迁移时，数据库备份文件的恢复模式需要设置为“完整”。具体操作方法如下：方法一：通过Microsoft SQL Server Management Studio 数据库管理软件登录到本地数据库中心，选择需要迁移的数据库，单击鼠标右键，选择“属性”，选择“选项 > 恢复模式”，将恢复模式设置为“完整”即可。方法二：使用如下SQL命令的方式进行设置。USE master; ALTER DATABASE database_name SET RECOVERY FULL;迁移时间的评估参考一次完整的备份迁移主要经历以下4个阶段。阶段名称描述①导出数据库备份文件该阶段主要耗时为生成数据库备份文件所需的时间，通常取决于源数据库的配置，需要您根据源数据库的配置进行预估。②上传备份文件至OBS桶OBS对象存储不限速，如果您是通过公网访问OBS对象存储时，上传下载速度受公网带宽限制。例如：公网带宽为10MB/s时，在没有其他因素影响网络的情况下，则上传的速度为10MB/s。③通过DRS下载备份文件至目标端RDS for SQL Server一般情况下，下载速度约为：100MB/s或者300GB/h。④将源数据库的备份文件恢复至目标数据库从经验值来讲，一般的恢复速度约为5GB/min或者300GB/h。合计总耗时总耗时=阶段①耗时+阶段②耗时+阶段③耗时+阶段④耗时业务中断时长= 业务停机->进行最后一次增量备份->上传OBS->创建DRS任务恢复 3. 导出数据库备份文件本小节介绍了数据库全量备份文件和事务日志（增量）备份文件的导出方法。步骤一：检查本地数据库参数配置。步骤二：由于数据库存在日志截断和收缩配置，在导出全量备份文件前，需要将数据库恢复模式配置成“完整”模式，且一直保持到整个数据库完全迁移到本云数据库实例和业务切割后，才能修改。该操作为全量+增量迁移的必操作项，仅进行全量迁移时，可以跳过该步骤。通过Microsoft SQL Server Management Studio 数据库管理软件登录到本地数据库中心。选择需要迁移的数据库，单击鼠标右键，选择“属性”，在属性弹出框左边列表选择“选项”。在“恢复模式”下拉菜单中选择“完整”，单击“确定”。步骤三：配置备份文件压缩参数，该操作为可选操作。如果客户本地数据中心带宽不高，OBS Browser上传时间比较久，建议配置备份文件压缩参数。使用数据库管理员帐号，通过Microsoft SQL Server Management Studio 数据库管理软件登录到数据库中心。在对象资源管理器中，右键单击服务器并选择 “属性”。单击 “数据库设置” 。在“备份和还原” 下，勾选“压缩备份” 。          该设置确定压缩备份的服务器级默认设置，具体如下：如果未勾选 “压缩备份” ，在默认情况下将不会压缩新备份。如果 已勾选“压缩备份” ，则默认情况下将压缩新备份。步骤四：导出全量备份文件。通过Microsoft SQL Server Management Studio 数据库管理软件登录到本地数据库中心。选择需要迁移的数据库，单击鼠标右键，选择“任务>备份”。备份类型选择“完整”，单击“添加”，填写备份文件输出路径，注意后缀名为.bak。建议备份文件名称和数据库名称保持一致（区分大小写），同时加上“.bak”后缀。建议将所有的数据库备份在一个bak文件里或者少量的bak文件里，这样可以减少频繁的上传与恢复，实现打包上传和打包恢复的效果。步骤五：导出增量备份文件。通过Microsoft SQL Server Management Studio 数据库管理软件登录到本地数据库中心。选择需要迁移的数据库，单击鼠标右键，选择“任务>备份”。备份类型选择“完整”，单击“添加”，填写备份文件输出路径，注意后缀名为.bak。建议备份文件名称和数据库名称保持一致（区分大小写），同时加上时间戳和“.bak”后缀，例如：[数据库名]_Incr_[时间戳].bak。建议将所有的数据库备份在一个bak文件里或者少量的bak文件里，这样可以减少频繁的上传与恢复，实现打包上传和打包恢复的效果。例如：可以将A、B、C三个数据库备份到一个bak文件中，整体进行打包上传和恢复，这样有助于提高数据恢复的成功率。4. 上传备份文件本小节介绍了上传备份文件的方法。步骤一：创建OBS桶，并将备份文件上传OBS桶。如果单次上传文件不大于5GB时，可以登录OBS控制台创建OBS自建桶，存储类别选择“标准存储”，桶策略选择“公共读”。如果批量上传多个文件（单次最多支持100个文件同时上传，总大小不超过5GB），或单次上传文件大于5GB时，需要下载并安装OBS Browser+客户端，支持大文件断点续传功能。相关操作请参见《对象存储服务客户端指南》。          此时建议备份文件放置于同区域且独立的公共桶，混用其他公共桶可能会因为其他文件过多，而无法展示迁移备份文件。          上传备份文件之前，创建用户的Access Key ID和Secret Access Key，参考创建访问密钥（AK 和SK）。          上传备份文件时，OBS文档模式需要选择“标准存储”。目前Microsoft SQL Server只支持后缀为.bak的文件，且不支持高版本恢复到低版本。建议备份文件放置于同区域且独立的公共桶，混用其他公共桶可能会因为其他文件过多，而无法展示迁移备份文件。登录OBS管理控制台，相关操作请参见登录OBS管理控制台。创建OBS自建桶，相关操作请参见添加桶。将导出的数据库备份文件上传至OBS桶内，相关操作请参见上传文件。如何创建全量+增量备份迁移任务并手动配置信息，请参见【第50课】本地Microsoft SQL Server备份迁移至华为云RDS for SQL Server实例—下篇