• [存储] GaussDB(DWS)数据同步状态查看方法
    【摘要】 GaussDB(DWS)的DN高可用架构为主、备、从备架构。通过各组件的主备的数据同步、倒换、重建等机制,保证数据库单实例遭遇Crash后,具备故障恢复及自愈的能力,这些过程有可能会时间花费较长,一旦同步过程中出现异常问题,其内部关键过程信息输出对于问题分析定位十分重要。因此,GaussDB(DWS)提供了丰富的系统函数、视图、工具等可以直观地对同步进度进行跟踪。1 背景概述:1.1DN高可用架构模型要理解或描述数据同步的过程机制,需要首先要了解GaussDB(DWS)的DN高可用架构,理解涉及数据同步的各组件的关系、数据类型、数据流向、设计原理和目的。GaussDB(DWS)的DN高可用架构为主、备、从备架构。即在分布式环境中,完整的集群数据采用分片技术分布在多个DN组上,每组DN承担一个数据分片,包括:一个主DN、一个备DN和一个从备DN。主和备各有一份完整的数据,从备上一般不存储数据,仅在备机故障时做数据的暂存。组件之间关系如图1所示:图1 DN高可用架构关系图 主、备、从备高可用架构下,主、备及主、从备之间均会建立流复制通道。流复制又分为日志复制和数据页复制。日志复制用于同步主DN由于WAL机制刷到磁盘上的XLOG,同步到备DN进行回放。数据页复制用于同步批量导入的行存数据、或列存CU文件。需要注意的一点是,从备仅用于存放XLOG和数据,回放(replay)仅发生在备DN上。1.2 数据同步涵盖范围       数据同步就是涉及集群中主、备节点以及从备节点之间的日志复制数据的传输、回放,数据页复制数据的传输、追赶,备机重建等过程。GaussDB(DWS)集群高可用实践WAL(Write Ahead Logging)思想,并通过各组件的主备的数据同步、倒换、重建等机制,保证数据库单实例遭遇Crash后,具备故障恢复及自愈的能力,保护数据库中数据的可靠性和完整性,最终实现集群对外业务连续性的过程。这些主要的过程有:1.        主备之间的正常流复制每组DN独立承担一个数据分片,因此要求各个DN主与备必须强同步。为保证DN的主备强同步,数据在主DN操作时产生日志,事务提交时将日志同步给备DN。备机对接收到的XLOG进行回放(replay),将日志转为数据。另外,列存和行存批插场景下,备机正常时,新增(变更)数据会发往备机。使用数据页同步相对于日志同步少了磁盘IO,可以提升同步效率,减小RTO。2.        备机追赶为了解决单节点故障后集群写事务可用,DN的高可用设计引入从备这个实例。一旦备DN故障,数据将发送给从备,仍然保证了数据写两份的原则,事务照样可以提交。但主机会对BCM文件里面的标记位置状态位。BCM文件中每一bit位(除预留位外)对应数据文件中每一页(8k)状态。当备机重新启动的时候,会连接主机做数据页追赶(catchup)。追赶机制分为全量和增量两种。全量catchup机制,不依赖于从备,主机递归扫描本地默认表空间和自定义表空间下的所有BCM文件,然后查看状态位来确认哪些数据文件需要发送给备机。增量catchup机制依赖于从备,主机通知从备遍历其从备上暂存的数据页,将变更的数据页列表发往主机,主机直接按照从备发来的变更列表,将变更数据发往备机。3.        主备倒换当主DN故障时,需要对备DN进行failover,failover后备DN升为主DN来接管业务。所以failover时,备DN需要连接从备DN,向从备DN请求数据,以补齐备DN比主DN缺少的数据。failover的过程是备DN独立完成的,不需要和主DN进行交互。4.        备机重建重建功能主要目的是单点故障修复,备机重建方式按照实现分为全量重建和增量重建,均和主DN进行交互。全量重建是备机清空数据目录,保留配置文件,向主机发送全量重建请求,主机将自己的数据目录除了配置文件外,全部发给备机,重建后启动备机。增量重建是一种以主DN文件为基准,按照文件块对备DN文件进行校验,如果备DN文件的某个文件块校验不一致,则主机将此文件块发给备DN,写入文件对应的文件块中。与全量重建相比较,拷贝的数据量和WAL日志量都更少,代价更小。 从以上这些数据同步过程中,我们发现表现在运维上一个明显的特点是,这些过程有可能会时间花费较长,一旦同步过程中出现异常问题,其内部关键过程信息输出对于问题分析定位十分重要。因此,GaussDB(DWS)提供了丰富的系统函数、视图、工具等可以直观地对同步进度进行跟踪,尤其是为方便定位人员使用,gs_ctl工具已集合了大部分相关系统函数的调用,可做到在任何时间,从未启动、启动、重建到运行时的关键信息显示。2 方法总结  2.1 系统视图       总结涉及数据同步的系统视图如表1所示。具体参数、返回值定义请参考相应版本的产品文档手册。分类名称用途使用范围视图类pg_replication_slots显示当前DN上所有的复制槽信息主、备DN均可上执行pg_get_senders_catchup_time显示单个DN上当前活跃的主备发送线程的追赶信息。主DN上执行pg_stat_replication用于描述日志同步状态信息,如发起端发送日志位置,接收端接收日志位置等。主DN上执行表1 系统视图表2.2 系统函数总结涉及数据同步的系统函数如表2所示。具体参数、返回值定义请参考相应版本的产品文档手册。分类名称用途使用范围函数类pgxc_get_senders_catchup_time显示所有DN上当前活跃的主备发送线程的追赶信息。CN上执行pgxc_stat_get_wal_senders显示所有DN上所有的WAL复制发送线程的统计信息。CN上执行pgxc_stat_xlog_space显示所有主DN上XLOG空间使用信息CN上执行pg_stat_xlog_space显示当前DN上XLOG空间使用信息主、备DN均可上执行pg_stat_get_stream_replications显示当前DN上所有的复制统计信息。主、备DN均可上执行pg_get_replication_slots显示当前DN上所有的复制槽信息主DN上执行pg_stat_get_wal_senders显示当前DN上所有的WAL复制发送线程的统计信息。主DN上执行pg_stat_get_data_senders显示当前DN上所有的数据页复制发送线程的统计信息。主DN上执行pg_current_xlog_location获取当前事务日志的写入位置主DN上执行pg_current_xlog_insert_location获取当前事务日志buffer的插入位置主DN上执行pg_stat_get_wal_receiver显示当前DN上所有的WAL复制接收线程的统计信息。备DN上执行pg_is_in_recovery如果恢复仍然在进行中,则返回true备DN上执行pg_last_xlog_receive_location获取最后接收事务日志的位置并通过流媒体复制同步到磁盘。备DN上执行pg_last_xlog_replay_location获取最后一个事务日志在恢复时重放的位置。备DN上执行pg_last_xact_replay_timestamp获取最后一个事务在恢复时重放的时间戳。备DN上执行pg_xlogfile_name(location text)将事务日志的位置字符串转换为文件名。备DN上执行pg_xlogfile_name_offset(location text)将事务日志的位置字符串转换为文件名并返回在文件中的字节偏移量。备DN上执行pg_xlog_location_diff(location text,   location text)计算两个事务日志位置之间在字节上的区别。备DN上执行pg_xlog_replay_completion显示当前DN XLOG redo的进度信息主、备DN均可上执行pg_data_sync_from_dummy_completion显示当前DN 数据页从dummystandby传输的进度信息备DN上执行表2 系统函数表2.3 常用工具       总结涉及数据同步的常用工具如表3所示。具体工具说明、参数定义请参考相应版本的产品文档手册中的定义。分类名称用途使用范围工具类cm_ctl操作、检查数据库集群的状态。任何节点上均可执行gs_ctl操作、检查管理节点的数据库实例状态。主、备DN上均可执行pg_xlogdump解析XLOG文件内容主、备DN上均可执行pg_controldata显示control file的所有信息主、备DN上均可执行表3 常用工具表3 应用场景3.1 查看DN实例Redo进度当DN实例crash发生时,我们可以通过回放XLOG日志中记录的数据变化还原crash前的操作。这个就是所谓的redo/recovery过程。如果需要redo的XLOG比较多,或者遇到某种特殊日志类型,对DN实例进行启动,启动过程时间就会有些长。DN实例启动过程中,如果期望查看XLOG redo的进度。最方便的是使用gs_ctl query工具对指定DN实例路径进行状态查询,结果中可以显示xlog redo的进度,如图2所示。此外,在DN实例可以接受gsql连接时(启动到最小恢复点之前是拒绝连接的),也可直接在当前DN上执行pg_xlog_replay_completion 函数来获取XLOG redo进度信息。图2 DN实例启动时XLOG Redo进度查询启动Redo进度相关信息(Xlog replay info)包括:  replay_start:Xlog Redo的起始LSN 。DN实例启动XLOG redo过程时,记录replay_start。  replay_current:Xlog Redo的当前replay的LSN。  replay_end:DN本地接收到的最大XLOG lsn。  replay_percent:Xlog Redo的当前完成的百分比。(replay_current - replay_start)*100 / (replay_end - replay_start)的计算值。依据replay_current的变化,可以看到XLOG redo的推进。依据replay_percent和启动开始时间,可以推测DN实例启动到正常状态的所需时间。3.2 查看备机Failover进度       当主机发生故障时,我们需要将备机failover成主机,此时备机需要连接从备同步XLOG和数据页文件。如果需要同步的XLOG比较多,或者遇到某种特殊日志类型,或者数据文件比较多时,对备DN实例进行failover,过程时间就会有些长。备机failover升主过程中,如果期望查看XLOG redo和数据页文件同步的进度。最方便的是使用gs_ctl query工具对指定DN实例路径进行状态查询,结果中可以显示xlog redo的进度和从备数据同步的进度,如图3所示。此外,在DN实例可以接受gsql连接时,也可直接在当前DN上执行pg_data_sync_from_dummy_completion 函数来获取从备数据文件同步的进度信息。 图3 备机Failover进度查询Failover Redo进度相关信息(Xlog replay info),字段含义同Start Redo,区别在于,备DN在处理failover请求连接从备时候获取最新的replay lsn更新了replay_start。Failover数据页文件进度相关信息(Data sync from dummy)包括:  start_index:数据页文件同步的起始编号。  current_index:数据页文件同步的当前编号。  total_index:数据页文件同步的最大编号。  sync_percent:数据页文件当前完成的百分比。(current_index - start_index) *100/ (total_index - start_index + 1) 的计算值。依据current_index的变化,可以看到数据页同步的推进。依据sync_percent和failover开始时间,可以推测DN实例failover到正常状态的所需时间。3.3 查看备机Catchup进度       当备机重新启动的时候,会连接主机做数据页追赶(catchup)。如果需要传输的数据页比较多,或者因为业务造成的锁冲突,catchup 时间就会比较长,备DN长时间不能成为Normal状态。如果期望查看数据页catchup的进度,可以在CN上执行select * from pgxc_get_senders_catchup_time()可进行当前活跃的主备发送线程的追赶信息显示,如图4所示。图4 集群上catchup进度查询也可以在相应的主DN上执行select * from pg_get_senders_catchup_time可进行当前活跃的主备发送线程的追赶信息显示。完成后,看到的是刚结束的catchup过程信息,如图5所示。图5 主DN上catchup进度查询备机Catchup进度相关信息包括:  catchup_type:"Incremental"或者"Full"。catchup方式为全量还是增量。  catchup_bcm_filename:当前主机正在处理的一个BCM文件名称。  catchup_bcm_finished:catchup已操作完成的BCM文件数量。  catchup_bcm_total:catchup总共需要操作的BCM文件数量。  catchup_percent:catchup已经操作完成的百分。catchup_bcm_finished*100 / catchup_bcm_total 的计算值。  catchup_remaining_time:依据已完成的进度,预估剩余完成时间。依据catchup_bcm_filename和catchup_bcm_finished的变化,可以看到数据页追赶的推进。依据catchup_percent和catchup_remaining_time,可以推测备DN实例追赶到正常状态的所需时间。3.4 查看DN实例XLOG空间使用状况       随着数据库的不断运行,产生的日志文件越来越多,如果因为节点故障或其它原因有可能造成日志文件不断积累而充爆磁盘。为了解此使用信息,最方便的是使用gs_ctl query工具对指定DN实例路径进行状态查询,结果中可以显示该实例的XLOG空间使用信息,截图示例请参见上面其它场景。此外,还提供系统函数 pgxc_stat_xlog_space、pg_stat_xlog_space 对数据库集群或单个实例进行查询,例如使用pgxc_stat_xlog_space可以获取到整个集群的CN、主DN的XLOG空间使用信息,如图6所示。    图6 Xlog空间使用查询XLOG空间使用信息(Xlog space info)包括:  xlog_files:pg_xlog目录下,去除backup、archive_status等子目录,所有识别为xlog文件的数目;  xlog_size:pg_xlog目录下,去除backup、archive_status等子目录,所有识别为xlog文件的大小之和,以MB单位显示;  other_size:pg_xlog目录下backup、archive_status等子目录文件的大小之和,以MB单位显示。原文链接:https://bbs.huaweicloud.com/blogs/198536【推荐阅读】【最新活动汇总】DWS活动火热进行中,互动好礼送不停(持续更新中)  HOT  【博文汇总】GaussDB(DWS)博文汇总1,欢迎大家交流探讨~(持续更新中)【维护宝典汇总】GaussDB(DWS)维护宝典汇总贴1,欢迎大家交流探讨(持续更新中)【项目实践汇总】GaussDB(DWS)项目实践汇总贴,欢迎大家交流探讨(持续更新中)【DevRun直播汇总】GaussDB(DWS)黑科技直播汇总,欢迎大家交流学习(持续更新中)【培训视频汇总】GaussDB(DWS) 培训视频汇总,欢迎大家交流学习(持续更新中)扫码关注我哦,我在这里↓↓↓
  • [存储] GaussDB(DWS) 高可用之数据复制
    【摘要】 本文介绍了GaussDBDB(DWS)的数据复制高可用设计。1      前言   数据库中高可用普遍使用的是Log Shipping方式,即将WAL日志采用streaming方式传输给备实例,备实例通过重放该日志得到主实例的数据。对于行存储方式使用Log Shipping方式效率较高,但是对于列式存储,通常都是批量导入,如果同样将数据记录到日志中,会使数据写两遍IO,难以发挥列存储优势,因此通常采用数据复制方式(即数据从主实例的内存中直接通过网络传输给备实例,然后备实例写盘)更为合理。在行存的批量导入中,使用数据复制不仅可以提升传输效率(直接从内存中读取数据,无需通过磁盘读取日志),还可提升备实例恢复效率(直接从内存中恢复,无需将日志先写盘,再读取恢复)。GaussDBDB(DWS)的复制方式采用日志和数据混合方式,对于行存单条insert/update/delete,然后使用日志复制方式,对于行存批量导入(copy/insert into select from)默认采用数据复制方式;对于列存默认采用数据复制方式。下面主要介绍下GaussDBDB(DWS)中数据复制的主要设计。2      数据复制总体设计   在GaussDBDB(DWS)中,数据复制默认打开,分别在行存批量导入和列存导入时使用。整体设计如下图所示:           在数据导入过程中,每个业务线程Backend将收到的数据组成一个block(列存为一个CU)放到Datasend线程的数据队列(DataSenderQueue)里,Datasend线程将数据队列数据发送给Datareceive线程,Datareceive线程将接收的数据写入到数据队列(DataWriterQueue)中,Datarcvwrite线程从数据队列(DataWriterQueue)中取出数据按block分别写入到磁盘,实现主备复制高可用。2.1       Dataqueue设计Dataqueue是一块共享内存,用于实现DataSenderQueue和DataWriterQueue,其算法核心是循环使用共享内存,如下图所示:   首先tail1,head2,tail2初始化为0,每个变量为两个uint32位,第一个uint32 queueid表示数据队列使用了第几次,第二个uint32 queue offset表示当前数据队列的offset。数据导入后,首先tail2向后递增,各个导入通过锁控制实现并发,Datasend发送数据后将head2向后移动,当tail2到达末尾时,新导入数据将移动tail1指针,当tail1与head2接近时,表明没有缓存空间了,因此需要等待Datasend发送数据后将head2向后移动腾出空间。整体算法是一个循环利用实例制,数据的offset是一个单调递增的过程,类似WAL日志的LSN。2.2.2       同步提交设计在GaussDBDB(DWS)中,数据冗余使用的是同步提交,即数据写完两份后事务提交。WAL日志中通过比较LSN非常简单的实现了同步提交。类似WAL日志,数据复制由于Dataqueue中offset也是有序递增的,因此也很容易实现同步提交。其过程是Datarcvwrite将数据单元写入磁盘后,刷新写盘offset,Datareceive线程通过心跳信息将写盘offset发送给Datasend,各业务线程在事务提交前check本次导入最后一段数据备实例端已经写盘后即可提交。2.2.3       BCM与Catchup设计由于GaussDBDB(DWS)设计之初考虑到RAID5数据冗余存储,因此上层只存储两副本,由于分布式环境下各个数据节点采用异步提交时可能会导致全局数据不一致,因此各个数据节点必须使用同步提交。那么系统中如果坏了一个任何一个数据节点的主实例或者备实例系统便不可进行写事务操作。然而在大型分布式系统中这是往往不能接受的,必须要支持单节点故障。GaussDBDB(DWS)使用了缓存接收数据(从备)来实现同步提交下的单节点故障。那么就是备实例挂了后,数据将发往从备,等备实例修复后,备实例可以从主实例同步数据,如何区分哪些数据未同步便显得尤为重要。这里使用BCM(bit change map)文件来实现哪些block需要在追赶时发送给备实例,哪些不用发送。具体设计如下:当数据导入时,每个block对应BCM页面中两个bit(第一个bit用于标记是否同步,第二个保留),放入发送队列后将BCM页面中两个bit第一个标记为未同步,当数据已经写入到备实例端后,将对应block的BCM页面bit标记为已经同步。当备实例挂掉时,数据发送给从备后,BCM页面对应bit将不再清理未同步标记,任然为未同步。当备实例起来后,连接主实例,主实例启动catchup线程先获取从备上增量数据列表,然后扫描本地所有未同步数据发送给备实例,实现主备同步。2.2.4       数据复制与日志复制并发控制数据复制和日志复制是并发运行的,当数据复制正在写入数据时,日志复制无法恢复删除表与truncate表等操作,两者通过锁控制。同样当数据复制时要写入的database与表空间还未恢复时,同样需要等待日志复制恢复完成,这里通过循环检测等待实现。3    数据复制相比日志复制 当IO负载较高时,批量导入场景数据复制的性能优于日志复制30%左右,因此在大数据量入库时,使用数据复制性能更佳。然而对于行存来说触发数据复制时每次会获取新页面,因此对于insert into t1 values v1,v2,v3这种值较少的场景下会导致大量的空页面,不适用于数据复制,可以手动关闭数据复制开关。原文链接:https://bbs.huaweicloud.com/blogs/175234【推荐阅读】【最新活动汇总】DWS活动火热进行中,互动好礼送不停(持续更新中)  HOT  【博文汇总】GaussDB(DWS)博文汇总1,欢迎大家交流探讨~(持续更新中)【维护宝典汇总】GaussDB(DWS)维护宝典汇总贴1,欢迎大家交流探讨(持续更新中)【项目实践汇总】GaussDB(DWS)项目实践汇总贴,欢迎大家交流探讨(持续更新中)【DevRun直播汇总】GaussDB(DWS)黑科技直播汇总,欢迎大家交流学习(持续更新中)【培训视频汇总】GaussDB(DWS) 培训视频汇总,欢迎大家交流学习(持续更新中)扫码关注我哦,我在这里↓↓↓
  • [数据库] 【第20课】实时迁移or实时同步?这是个问题!
    1. 什么是数据复制服务数据复制服务(Data Replication Service,简称DRS)是一种易用、稳定、高效、用于数据库实时迁移和数据库实时同步的云服务。数据复制服务围绕云数据库,降低了数据库之间数据流通的复杂性,有效地帮助您减少数据传输的成本。您可通过数据复制服务快速解决多场景下,数据库之间的数据流通问题,以满足数据传输业务需求。 2. 实时迁移实时迁移是指在数据复制服务器能够同时连通源数据库和目标数据库的情况下,只需要配置迁移的源、目标数据库实例及迁移对象即可自动完成整个数据迁移过程。实时迁移支持多种网络迁移方式,如:公网网络、VPC网络、VPN网络和专线网络。特点:通过增量迁移技术,能够最大限度允许迁移过程中业务继续对外提供使用,有效的将业务系统中断时间和业务影响最小化,实现数据库平滑迁移上云,支持全部数据库对象的迁移。图1 实时迁移3. 实时同步实时同步是指在不同的系统之间,将数据通过同步技术从一个数据源拷贝到其他数据库,并保持一致,实现关键业务的数据实时流动。特点:满足多种灵活性的需求,例如多对一、一对多,动态增减同步表,不同表名之间同步数据等。图2 多对一实时同步4. 实时迁移与实时同步有什么不同4.1 适用场景不同实时迁移支持通过多种网络,实现跨云平台数据库迁移、云下数据库迁移上云或云上跨Region的数据库迁移等多种业务场景。实时同步维持不同业务系统之间数据的持续流动,常见的场景是:实时分析、报表系统、数仓环境。4.2 支持的对象不同实时迁移以整体数据库搬迁为目的,支持全部的数据库对象,包括:表、数据、索引、视图、存储过程、函数、数据库账号、数据库参数等。实时同步则聚焦于表和数据,并满足多种灵活性的需求,例如多对一、一对多,动态增减同步表,不同表名之间同步数据等。以MySQL->RDS for MySQL实时迁移和实时同步选择对象为例,如图:图3 实时迁移图4 实时同步具体的任务创建步骤,还可参考华为云官网资料:实时迁移https://support.huaweicloud.com/qs-drs/drs_02_0002.html实时同步https://support.huaweicloud.com/qs-drs/drs_06_0005.html4.3 功能特性不同对比项实时迁移实时同步支持数据库引擎支持多种数据库之间的数据迁移,不同数据库的支持详情请参考实时迁移。支持多种数据库类型的实时同步,且支持多个源数据库到同一个目标数据库之间的实时同步,详情请参考实时同步。功能特性实时迁移提供修改流速模式、快捷对比、异常诊断、续传、重试、暂停、重置等多种特性,详情请参考任务管理。实时同步除了提供异常诊断、续传、重试、暂停、重置等特性,还支持数据过滤和对象名映射,详情请参考任务管理。使用限制详情请参考使用须知。详情请参考使用须知。 更多具体内容,请移步这里,了解详情。
  • [行业资讯] 关于华为云数据复制服务DRS于2021年2月1日00:00(北京时间)计费补充说明通知
    尊敬的华为云客户:华为云于2021/01/28 00:00(北京时间)发布了“华为云数据复制服务DRS于2021年2月1日00:00(北京时间)计费通知”,为了您能更加详细的了解数据复制服务(DRS)收费场景,现针对数据库->kafka这部分链路收费做一个补充说明。公有云计费模式如下:场景引擎关系区域场景大类归属配置费用数据传输费(仅公网)实时同步源:自建Oracle/自建MySQL目标:Kafka中国站自建到自建24元/时1.5元/G实时同步源:自建Oracle/自建MySQL目标:Kafka中国站(香港)自建到自建28元/时2.24元/G实时同步源:自建Oracle/自建MySQL目标:Kafka中国站(亚太-曼谷)自建到自建25元/时1.55元/G实时同步源:自建Oracle/自建MySQL目标:Kafka中国站(亚太-新加坡)自建到自建27元/时1.69元/G实时同步源:RDS for   MySQL目标:Kafka中国站非自建,RDS相关执行价格优惠政策,原价24元/时,优惠后2.4元/时1.5元/G实时同步源:RDS for   MySQL目标:Kafka中国站(香港)非自建,RDS相关执行价格优惠政策,原价24元/时,优惠后2.8元/时2.24元/G实时同步源:RDS for   MySQL目标:Kafka中国站(亚太-曼谷)非自建,RDS相关执行价格优惠政策,原价24元/时,优惠后2.5元/时1.55元/G实时同步源:RDS for   MySQL目标:Kafka中国站(亚太-新加坡)非自建,RDS相关执行价格优惠政策,原价24元/时,优惠后2.7元/时1.69元/G注:专属云(Dec)、金融区、华为云全栈(HCS、HCSO)的DRS报价,请以华为云项目报价为准。华为云在此提醒您,如果您不再需要使用该服务,请及时结束任务,以免产生费用。更多关于华为云数据复制服务(DRS)的产品介绍,请您点击了解。如您有任何问题,可随时通过工单或者服务热线(4000-955-988或950808)与我们联系。感谢您对华为云的支持!
  • [热门活动] 关于华为云数据复制服务DRS于2021年2月1日00:00(北京时间)计费补充说明通知
    尊敬的华为云客户:华为云于2021/01/28 00:00(北京时间)发布了“华为云数据复制服务DRS于2021年2月1日00:00(北京时间)计费通知”,为了您能更加详细的了解数据复制服务(DRS)收费场景,现针对数据库->kafka这部分链路收费做一个补充说明。公有云计费模式如下:场景引擎关系区域场景大类归属配置费用数据传输费(仅公网)实时同步源:自建Oracle/自建MySQL目标:Kafka中国站自建到自建24元/时1.5元/G实时同步源:自建Oracle/自建MySQL目标:Kafka中国站(香港)自建到自建28元/时2.24元/G实时同步源:自建Oracle/自建MySQL目标:Kafka中国站(亚太-曼谷)自建到自建25元/时1.55元/G实时同步源:自建Oracle/自建MySQL目标:Kafka中国站(亚太-新加坡)自建到自建27元/时1.69元/G实时同步源:RDS for   MySQL目标:Kafka中国站非自建,RDS相关执行价格优惠政策,原价24元/时,优惠后2.4元/时1.5元/G实时同步源:RDS for   MySQL目标:Kafka中国站(香港)非自建,RDS相关执行价格优惠政策,原价24元/时,优惠后2.8元/时2.24元/G实时同步源:RDS for   MySQL目标:Kafka中国站(亚太-曼谷)非自建,RDS相关执行价格优惠政策,原价24元/时,优惠后2.5元/时1.55元/G实时同步源:RDS for   MySQL目标:Kafka中国站(亚太-新加坡)非自建,RDS相关执行价格优惠政策,原价24元/时,优惠后2.7元/时1.69元/G注:专属云(Dec)、金融区、华为云全栈(HCS、HCSO)的DRS报价,请以华为云项目报价为准。华为云在此提醒您,如果您不再需要使用该服务,请及时结束任务,以免产生费用。更多关于华为云数据复制服务(DRS)的产品介绍,请您点击了解。如您有任何问题,可随时通过工单或者服务热线(4000-955-988或950808)与我们联系。感谢您对华为云的支持!
  • [热门活动] 华为云数据复制服务DRS于2021年2月1日00:00(北京时间)计费通知
    尊敬的华为云客户:华为云计划于2021/02/01 00:00(北京时间)对数据复制服务(DRS)如下场景正式开始计费,此次计费仅对2021/02/01 00:00(北京时间)后启动的DRS任务生效,具体价格详情如下:公有云计费模式如下:场景引擎关系区域入云出云配置费用数据传输费(仅公网)配置费用数据传输费(仅公网)实时迁移源:MySQL目标:GaussDB(for MySQL)中国站1周内免费,超过1周计费2.4元/时入云免费24元/时1.5元/G实时迁移源:MySQL目标:GaussDB(for MySQL)中国站(香港)1周内免费,超过1周计费2.8元/时入云免费28元/时2.24元/G实时迁移源:MySQL目标:GaussDB(for MySQL)中国站(亚太-曼谷)1周内免费,超过1周计费2.5元/时入云免费25元/时1.55元/G实时迁移源:MySQL目标:GaussDB(for MySQL)中国站(亚太-新加坡)1周内免费,超过1周计费2.7元/时入云免费27元/时1.69元/G实时同步源:Oracle/MySQL/RDS MySQL目标:Kafka中国站2.4元/时入云免费24元/时1.5元/G实时同步源:Oracle/MySQL/RDS MySQL目标:Kafka中国站(香港)2.8元/时入云免费28元/时2.24元/G实时同步源:Oracle/MySQL/RDS MySQL目标:Kafka中国站(亚太-曼谷)2.5元/时入云免费25元/时1.55元/G实时同步源:Oracle/MySQL/RDS MySQL目标:Kafka中国站(亚太-新加坡)2.7元/时入云免费27元/时1.69元/G实时灾备源:MySQ目标:MySQL类型:双主灾备中国站2.4元/时入云免费2.4元/时1.5元/G实时灾备源:MySQ目标:MySQL类型:双主灾备中国站(香港)2.8元/时入云免费2.8元/时2.24元/G实时灾备源:MySQ目标:MySQL类型:双主灾备中国站(亚太-曼谷)2.5元/时入云免费2.5元/时1.55元/G实时灾备源:MySQ目标:MySQL类型:双主灾备中国站(亚太-新加坡)2.7元/时入云免费2.7元/时1.69元/G注:专属云(Dec)、金融区、华为云全栈(HCS、HCSO)的DRS报价,请以华为云项目报价为准。华为云在此提醒您,如果您不再需要使用该服务,请及时结束任务,以免产生费用。更多关于华为云数据复制服务(DRS)的产品介绍,请您点击了解。如您有任何问题,可随时通过工单或者服务热线(4000-955-988或950808)与我们联系。感谢您对华为云的支持!
  • [技术干货] 云图说 | 数据库内容集锦 最新最全的数据库知识,看这里就够了
    服务名称云图说内容链接云数据库RDS【云图说】第14期 初识华为云关系型数据库【云图说】第117期   小云妹带你快速玩转关系型数据库实例操作 01期【云图说】第132期   小云妹带您快速玩转RDS实例操作(2)——删除与退订云数据库 RDS for MySQL【云图说】第35期 小云妹的数据库之旅 01   万万没想到,RDS for MySQL原来是这样的【云图说】第38期 小云妹的数据库之旅 02   这些购买RDS for MySQL的技能实用到哭,你确定不来看看?【云图说】第41期 小云妹的数据库之旅 03   云数据库 RDS for MySQL一键实现弹性扩展是种什么样的体验?【云图说】第64期 小云妹的数据库之旅 06   数据库的私人医生—云DBA【云图说】第169期   华为云数据库 RDS for MySQL内核小版本升级全攻略【云图说】第201期 读请求太多怎么办?云数据库RDS for MySQL一键开通读写分离,轻松应对业务高峰云数据库 RDS for PostgreSQL【云图说】第48期 小云妹的数据库之旅 04   太给力了!认识云数据库 RDS for PostgreSQL只需要这三步云数据库RDS for SQL Server【云图说】第61期 小云妹的数据库之旅 05   这才是云数据库 RDS for SQL Server最正确的打开方式文档数据库服务DDS【云图说】第29期   华为云文档数据库服务(DDS),多快好省惠【云图说】第128期 小云妹之DDS实例安全基本操作【云图说】第147期 文档数据库可视化运维   高频需求一键式便捷操作【云图说】第198期 将源端MongoDB业务搬迁至华为云DDS的几种方式数据复制服务DRS【云图说】第46期 超便捷的华为云数据复制服务【云图说】第120期   小云妹带您揭秘——数据复制服务四大功能【云图说】第157期 华为云数据复制服务DRS   打造不一样的数据库迁移【云图说】第226期 DRS数据对比——带您随时观测数据一致性数据管理服务DAS【云图说】第75期 初识数据管理服务 DAS【云图说】第141期   DAS表结构对比与同步 实现您多个数据库管理心愿云数据库 GaussDB(for MySQL) 【云图说】第161期   华为云GaussDB(for MySQL),新一代企业级高扩展海量存储分布式数据库云数据库 GaussDB NoSQL【云图说】第166期 华为云自研云数据库GaussDB NoSQL   兼容多款NoSQL接口的数据库服务云数据库GaussDB(for Cassandra)【云图说】第209期 初识云数据库GaussDB(for Cassandra) ——华为新一代Cassandra宽列云数据库云数据库GaussDB(for Redis)【云图说】第223期 初识云数据库GaussDB(for Redis)云数据库 GaussDB【云图说】第204期  初识华为云数据库GaussDB,新一代企业级分布式数据库分布式缓存服务Redis【云图说】第76期 DBA·王的Redis优化历程分布式数据库中间件DDM【云图说】第197期 初识华为云分布式数据库中间件DDM
  • [数据库] 【第15课】聊一聊DRS的数据过滤特性
    众所周知,数据复制服务(Data Replication Service,简称DRS)是一种易用、稳定、高效、用于数据库在线迁移和数据库实时同步的云服务。目前,DRS已支持其他云、本地IDC、ECS自建MySQL、SQL Server、MongoDB(数据库种类)、PostgreSQL等多种数据库引擎,支持通过公网网络、华为VPN、华为云VPC网络环境下等多种网络场景的数据实时迁移和实时同步。同时,DRS还提供了丰富的数据辅助功能,今天,我们就来聊聊在您进行数据同步过程中的“小助手”---数据过滤。首先,我们来了解一下数据过滤特性的业务场景----数据同步。 1      数据同步介绍功能介绍数据同步是DRS的重要功能之一。即在不同的系统之间,将数据通过同步技术从一个数据源拷贝到其他数据库,并保持一致,实现关键业务的数据实时流动。常用场景实时分析,报表系统,数仓环境。功能特点数据同步功能聚焦于表和数据,并满足多种灵活性的需求,例如多对一(如下图所示)、一对多,动态增减同步表,不同表名之间同步数据等。对于数据同步有了初步的了解之后,我们可以知道,数据同步不同于迁移,迁移是以整体数据库搬迁为目的,而数据同步是维持不同业务之间的数据持续性流动。那么,在数据的定期同步、拆分汇总数据表等多种应用场景中,我们时常想要实时获取各个表中的某一部分数据来做汇总分析,这个时候,如果能够设定一些同步的规则,来帮助我们更准确、更高效的同步数据,就变得尤为重要。DRS的数据过滤特性,就是解决这种场景的必备“良药”,通过对同步的对象进行加工,为选择的对象添加规则,方便您自己设定想要同步的数据条件。下面,我们就来了解一下今天的主角----数据过滤。2      数据过滤原理基于以数据一致性为首要目标的原则,我们通过一个例子,来看看数据过滤规则添加后,在源库执行更新操作会遇到的几种场景:假设,源库中的id为1、2、3、5、6。我们设置数据过滤条件为id between 1 and 5,那么数据同步后目标库的id为1、2、3、5。如下图所示:首先,我们来看几种常见的更新场景:■  如果在源库中插入id=1.5,此id符合过滤条件(id between 1 and 5),则目标库会执行相同的更新操作。如下图所示:■  如果在源库中删除id=2,此id符合过滤条件(id between 1 and 5),则目标库会执行相同的删除动作。如下图所示:■  如果在源库中将id=3更新为id=3.5,更新后的id仍符合过滤条件(id between 1 and 5),则目标库会执行相同的更新操作。如下图所示:以上,是我们在进行数据同步时,常常遇到的几种场景。当然,有时我们也会遇到如下几种较为特殊的更新场景:■  如果我们执行更新操作,将源库中的id=2更新为id=7,即更新前源库中的id=2符合过滤条件(id between 1 and 5),更新后id=7不符合过滤条件,继续同步时,目标库会执行相同的更新操作,同步后目标库的id为1、3、5、7。如下图所示: ■  如果我们执行更新操作,将源库的id=6更新为id=4,即更新前源库中的id=6不符合过滤条件(id between 1 and 5),更新后id=4符合过滤条件,继续同步时,目标库执行相同的更新操作,但是此时目标库并没有id=6,无法匹配数据。这时,我们会根据当前同步任务选定的冲突处理策略来处理:    ●  冲突处理策略为“覆盖”,则id=4变成新数据在目标数据库插入,源库和目标库的结果仍然一致。如下图所示:    ●  冲突处理策略为“忽略”,则会忽略该更新动作,即源库有id=4,而目标库没有,这种情况目标库数据将少于源库。如下图所示:    ●  冲突处理策略为“报错”,则任务将会失败并立即中止。操作步骤1.  登录管理控制台。2.  单击管理控制台左上角的 ,选择区域和项目。    数据复制服务目前也支持通过使用专属计算集群服务购买的物理机资源,创建所需的实例,实现数据迁移和数据同步。您可以选择自己的专属计算集群。3.  在“所有服务”或“服务列表”中,选择“数据库 > 数据复制服务”,进入数据复制服务信息页面。4.  在“数据同步管理”页面,单击“创建同步任务”。5.  在“场景选择”页面,分别选择“源数据库来源”和“目标数据库来源”后,单击“下一步”进入“同步实例”页面。6.  在“同步实例”页面,填选任务名称、通知收件人信息、描述、同步实例信息,单击“下一步”。7.  同步实例创建成功后,在“源库及目标库”页面,填选源库信息和目标库信息后,单击“源库和目标库”处的“测试连接”,分别测试并确定与源库和目标库连通后,勾选协议,单击“下一步”。            8. 在“设置同步”页面,选择数据冲突策略和同步对象,单击“下一步”。                图1 同步模式                    表1 同步模式和对象参数描述冲突策略说明Oracle->RDS for MySQL同步不支持冲突策略。数据复制服务提供的数据同步功能使用了主键或唯一键冲突策略,这些策略可以由您自主选择,尽可能保证源数据库中有主键约束或唯一键约束的表同步到目标数据库是符合预期的。冲突策略目前支持如下三种形式:●   忽略当同步数据与目标数据库已有数据冲突时(主键/唯一键存在重复等),将跳过冲突数据,继续进行后续同步。●    报错当同步数据与目标数据库已有数据冲突时(主键/唯一键存在重复等),同步任务将失败并立即中止。●    覆盖当同步数据与目标数据库已有数据冲突时(主键/唯一键存在重复等),将覆盖原来的冲突数据。说明目前仅MySQL->RDS for MySQL的同步场景支持设置“覆盖”冲突策略。当数据发生冲突时,针对如下情况,建议选择“忽略”或者“覆盖”,否则建议选择“报错”:●   目标数据库存在数据●   多对一同步场景●   目标数据库手动更新数据是否过滤DROP   DATABASE说明Oracle->RDS for MySQL同步不支持该功能。数据同步过程中,源数据库端执行的DDL操作在一定程度上会影响数据的同步能力,为了降低同步数据的风险,数据复制服务提供了过滤DDL操作的功能。目前支持默认过滤删除数据库的操作。●    是,表示数据同步过程中不会同步用户在源数据库端执行的删除数据库的操作。    否,则表示数据同步过程中将相关操作同步到目标库。说明目前仅MySQL->MySQL的数据同步场景支持过滤DDL操作。对象同步范围对象同步范围支持索引同步,您可以根据业务需求选择是否进行索引同步。同步对象同步对象支持库级和表级同步,您可以根据业务场景选择对应的数据进行同步。如果有切换源数据库的操作,请在选择同步对象前单击右上角的,以确保待选择的对象为最新源数据库对象。数据同步功能可以支持源数据库和目标数据库中的同步对象(包括数据库、schema、表)的名称不同。如果同步的数据库对象在源数据库和目标数据库中的命名不同,那么可以使用数据复制服务提供的对象名映射功能进行映射。其中包括:库映射、schema映射、表映射。          9.  在“数据加工”页面,“加工类型”选择“数据过滤”            图2 数据加工10.   在“对象选择”区域选择需要加工的表对象。11.   在过滤条件区域,填写过滤条件(只需填写SQL语句的WHERE之后部分,例如id=1)后,单击“校验”。●    每张表仅支持添加一个校验规则。●    Oracle为源库的数据过滤每次最多支持20000张表,MySQL为源库的数据过滤每次最多支持10000张表。●    过滤条件不支持使用某种数据库引擎特有的packege、函数、变量、常量等写法,须使用通用SQL标准。12.   校验通过后,单击“生成加工规则”,即可在加工规则表格中看到该规则。13.   检查无误后,单击“下一步”,进入下一步操作。----结束DRS的数据同步功能除了提供数据过滤的贴心特性之外,还提供了对象名映射、异常诊断、续传、重试、暂停、重置等多种特性,给您的数据同步场景提供保障,解决您的后顾之忧,欲了解详情请戳这里。DRS提供在线迁移、备份迁移、数据同步、数据订阅和多活灾备等多种功能,以各自独有的特点适用不同的数据流通场景,为您提供安心且省心的数据复制体验。欲了解详情请戳这里。
  • 华为云&众惠相互:云上“搬家”TA来助
           说起保险,大家都不会陌生。生病可以买医疗保险,开车可以买车险,坐飞机、高铁可以买延误险,可以说保险真正走入了我们的日常生活。得益于互联网技术的应用,挑选、购买保险都变得更加简单,我们在电脑、手机端随便动动手指就可以完成购买保险的一系列流程,快速高效而又便捷省心。       云+5G+AI时代的到来更加速了保险行业的数字化、智能化升级转型之路。众惠财产相互保险社(以下简称众惠相互)自创立以来一直非常重视互联网技术的应用升级,面对新时代的技术浪潮,众惠相互顺势而变,希望借助云的力量,把原先部署在其它云数据库上的数据迁移到华为专属计算集群,建设一套高可用、高安全的云上应用级双活数据中心灾难备份体系,用更先进的技术为客户提供更加优质的服务体验。知易行难,巧破“拦路虎”       灾备建设之路并非坦途,作为中国特色相互保险实践的先行者和探索者,众惠相互除了满足银保监会监管要求,还需要面对IT系统建设的高要求和业务创新提出的双重挑战,尤其是数据库全业务迁移这种大工程,客户需要充分考虑数据安全,业务连续性,数据的完整性和一致性,迁移过程风险,迁移实施成本等问题,要在不影响业务的情况下,将源数据库原封不动的平滑迁移到新目标库,这是众惠相互云上转型必须要解决的“拦路虎”。       在层层考量评估下,众惠相互将目光投向了华为云,一场在保险行业的全业务系统云上应用级双活数据中心建设也由此拉开了序幕。华为云数据复制服务DRS也在这场建设中表现出了非凡的能力。业务不停歇,百套数据轻松迁       众惠相互迁移的数据涉及到生产环境和非生产环境两个系统的数据,数据量多达上百套,而依托华为云DRS的卓越迁移能力,众惠相互历时4个月完成了全库业务数据库迁移,实现了业务快速上线和运行稳定,成功打造了国内首个相互保险行业“全数据中心”迁移标杆项目。       华为云DRS服务支持华为云数据库与云下数据库、它云数据库、云内跨区的数据迁移,而且基于“做最懂客户迁移难题的产品”的理念,华为云DRS操作简单,容易上手,大大降低了迁移的难度,是企业“搬家”的小能手,零基础的新人也可以轻松胜任云上数据库高效迁移。       众惠相互在华为云DRS能力加持下,自主完成了包括开发、集成测试、外部测试等非生产环境系统的全量数据迁移,整个过程业务无须停机,最大化减轻了对业务发展的影响,节省了大量的迁移和人员成本。全程无感迁移,数据安全有保证       生产环境系统数据是企业核心数据资产,承担着企业未来发展的重任,容不得一丝错误。华为云DRS致力于实现“让生产数据库迁移比想象中简单,比预期要快和顺”,所以在上线前,华为云数据库团队对该系统进行层层部署和反复演练,排除所有安全隐患,并在业务正常运行情况下,1个月内将生产系统数据平滑搬迁到了新架构数据中,实现了各系统充分紧密关联,业务持续稳定,整个过程快而稳,而且实现了最大程度的无感迁移。     “经过夜晚的切换动作,第二天全部的外部业务,如平日使用一样,完全想不到这是一场全机房的搬迁。” 对接众惠相互的业务数据平台的某第三方软件商说道。众惠相互云上应用级双活数据中心架构图       众惠相互凭借华为云DRS优秀的迁移能力,并基于华为云提供的弹性负载均衡、云数据库、专属网络等云服务,对业务系统完成重构,最终实现业务连续性RPO为0、RTO分钟级 、资源闲置率为0%、资源投入节省25%,成功实现相互保险全业务系统云上应用级双活数据中心建设。       此次上云改造,众惠相互的IT系统达到了架构上和可靠性上的新高度,极大增强了企业核心竞争力。华为云未来也会在数据库水平垂直拆分和异地灾备建设方面,持续助力众惠相互在保险业务上的进一步创新,提升保险服务能力,为用户提供更广泛、更贴心、更专业的服务。更多详情了解。
  • DRS是啥你都不知道?不是吧,不是吧
    前言最近写了很多数据库相关的文章,大家基本上对数据库也有了很多的了解,数据库本身有所了解了,我们是不是应该回归业务本身呢?大家去了解过自己企业数据库的部署方式么?是怎么部署的,又是部署在哪里的?部署过程中可能会出现的问题有哪些?是主从?还是双主?有没有分库?大的表做了分表没?等等...部署方式大概率也都是分库的,表数量级超千万基本上都开始分表了,考虑周全的企业,肯定也有数据库的冷备,热备,灾备,以及异地容灾等等。我还记得我大学做项目,学校就是买了很多物理机,我们的项目和数据库都是部署在自己内部的服务器上的,那家伙一到夏天风我嗡嗡嗡的吹,烦死了,机房还很热。但是我敢打赌,大家现在所在的企业,大概率都是使用了各种云服务厂商的服务部署方式,那就引入了今天的第一个思考。为什么数据库要上云呢?我们公司的大多数服务以及数据库都是在对应的云服务厂商的,那问题就来了,为啥都要上云呢?在思考这个问题的时候,我第一时间想到了反证法,不上云的坏处是啥?成本相较于传统服务器需要购买、租用的方式,云服务器采用即用即收费的方式,减少购买成本,灵活扩展的容量可以按自己需求来定,不用前期估量需要用多少。我之前所在的电商活动团队,每次到了大促我们就去租赁云服务厂商的流量机,等活动结束就还回去,真的就是成本最大化了,而且还是根据你的使用流量计费。如果大家还是使用自己购买的服务器,那这个时候难道去临时采购么?虽然我知道百度就是在某年春节活动的时候采购了N多物理机,但是性质不一样,他们是能最大化利用这些服务器的,他们甚至可以开发云服务自己做云服务厂商,实际上他们确实也这么做了。性能云服务器实现了硬件上的隔离以及宽带上的独享,不受到地域、流量等的限制,可以持续的进行业务交流,不会因中断影响效果。如果大家还是使用物理机,那去运营商迁专线的带宽成本,还有物理机性能的问题也不一定能更上。由于现在成本问题,你们公司买了很多低配的服务器,但是突然你们业务体量几何增长,怎么办?继续买高配的?显然不是很合适。这谁顶得住啊?管理云服务器可以实现远程同步管理,共享,各种业务的备份。传统服务器需要在某一网络区域内,有可能受到网络影响导致资料缺失。上面我提到的冷备,热备,灾备其实我们购买的服务器都能做的,但是放着一个不知道什么时候才能用到的服务器在那,真的很浪费。而且也有他做不到的,比如灾备,如果你公司在震区,要是还用物理服务器,基本上等于自杀,发送自然灾害的时候全球的用户都无法访问你,交给服务厂商就不一样了,他们选址很有讲究的,并且在各个地方都建立自己的数据中心,保证了高可用。安全为了保证云平台的可靠性,云服务平台公司肯定会投入大量的功夫,有一套可靠的安全保障系统,平台使用者不必担心平台稳定性、安全性问题。物理机一旦高权限的所有者使坏,基本上都是不可恢复的灾难,虽然云服务也一样,但是合理使用,和适当的权限收敛,完全可以做到更高级别的安全的。微盟事件大家也知道,如果提前做好各种全量,增量备份其实就没什么大问题的,再者就是权限收敛问题,我司在对应的数据库服务器上是禁用了rm -rf 、fdisk以及drop这样的极端操作的。所有数据库的查询更是自己的组件查询,连update都无法操作(只能靠代码)。如果还是使用物理机,就需要自己去维护,升级打补丁,很难保证不被黑客入侵,之前我就遇到过服务器补丁打迟了,导致被黑客攻击,劫持拿去挖矿了,而云服务厂商的安全系统都是实时更新的。小结:没有特殊情况,能用云产品就直接用云产品,因为云产品提供的不仅仅是产品能力,最关键的是关键时刻的容灾、应急和服务能力,这些能力,并不是所有公司都能完整建设一套,甚至是很多公司想都想不到的。到目前为止,虽然各大云厂商包括他们的产品,都还有这样那样的问题,但是从体系上,云仍然是最完善,最规范的,直接一点讲,比99%的公司做的都要好。上云需要考虑的问题这里很有意思,我在写这个文章的时候,我司正在做部分业务上云,以及云迁移这样的业务,这让我联想到了很多有意思的事情。我们现在是从某云迁移到华为云,我想大家也会与这样的场景,但是这样迁移会带来一些什么样的问题呢?不知道大家思考过没?其实从本地到云,或者从云到云,要思考的点估计是差多的,那我先抛出一些问题,看下这些问题华为云服务厂商是怎么解决的。迁移失败:数据迁移失败怎么办数据丢失:怎么判断迁移后数据是否完整业务中断:迁移到一半遇到不可抗力怎么办数据、传输加密:数据传输过程中怎么加密,防止被不法之徒中途获取数据热切换:怎么做到不停服切换,以及数据源切换过程中的数据一致性这些问题是我们不得不考虑的,大家是不是以为迁移多简单,那我想问一下,假如是订单库呢?大一点的电商每一秒,甚至是每一毫秒都是有订单的,哪怕是凌晨,别问我为什么知道咳咳。那你肯定不能停服去迁移数据库,你需要一边迁移一边接受新的数据,这个时候就需要一些技巧了,不知道redis字典的rehash大家知道么?rehash在需要扩容的时候,redis会新建一个hash字典,这个时候老的停止接收数据,新数据放到新的字典,同时慢慢把老数据拿过来,其实这个思想,在数据库迁移也是可以用的,但是数据库的操作,往往都是基于数据的,并不是都是增量。那简单,做点取巧的操作也可以,那云厂商的已经把我上面提到的所有问题都肯定考虑过了,我接触的是华为云,华为云使用了DRS(Data Replication Service 数据复制服务)做数据库迁移的事情,他怎么做的呢?DRS:数据复制服务(Data Replication Service,简称为 DRS)是一种易用、稳定、高效,用于数据库在线迁移和数据库实时同步的云服务。 DRS 围绕云数据库,降低了数据库之间数据流通的复杂性,有效地帮助您减少数据传输的成本。大家可能会好奇,为啥不自己去实现数据迁移,要用别人的组件呢?其实车轮子这个,如果你没更好的思路你还是用别人写好的就好了,你能比得过专业团队的研发结果嘛?不过技术背后的实现,解决的问题还是需要我们去关心的,不然DRS什么都帮我们做了,我们动动鼠标就解决了,你怎么得到收获呢?这才是今天探讨的重点。我说一下用车轮的好处吧:降低成本,降低技术门槛、降低风险人力成本时间成本,都是很昂贵的,如果一个现成的东西都帮我们做了,我们还去开发干嘛?再者,我相信大部分公司还是没专门的DBA的,但是车轮子在了,我们开发也能去做迁移这样的事情了,不是嘛?我们传统技术迁库耗时耗力不说了,失败率是真的高,还有数据对比等等,很头疼,我之前东家数据库迁移都是半夜,搞一晚上,天亮都不一定搞好了,要是没好,用户上线了,还的暂停。不过即使是使用了工具,一个数据库完整的迁移流程却还是应该很严谨的,大家可能会疑惑再严谨能有多严谨?给你看个图你就知道了:华为云的DRS的在线迁移怎么做的呢?可以看到,迁移图中是使用到了VPN,这个的作用主要就是保住一个高速稳定的传输,以及传输数据的加密,万一你同步的过程被其他对手公司抓到,那?在文章后面,你可以看到华为云DRS是怎么做的网络安全,我做了一次完整的迁移实战,并且做了总结。迁移实战他迁移很简单,都有教程,我用过一遍,大致步骤如下:迁移作为一个特殊时期,业务配合、人为配合是最关键的,部分操作一定要规避,比如说常见的:不能将源数据库日志强制清理掉不能将用于连接源数据库的用户密码修改掉、或者删除掉不能将表长时间锁定,导致外部都无法查询该表他在迁移之前可以做一个迁移预检查,从官方文档来看,都是对过往迁移案例总结出来的检查步骤,可以让迁移成功有更好的保障,这点挺好可以在迁移前夕找出问题所在,我也失败过,是因为环境问题,都给了很明确的指示。大家不知道思考过没,就是数据迁移了,但是如果数据库的设置没迁移那也是很麻烦的,如果一个迁移工具能够做到把DBA设置的好的User权限迁移了,以及我们设置的各种触发器,数据库字符集设置都迁移了,那才是我理想的一个迁移工具,是的华为云DRS做了,这就是比较优秀的点了,真的省了很多功夫。特别是对于数据库各种设置并没那么了解的开发来说,这功能确实是很福利了,而且还有性能参数,类似各种buffer大小,cache大小等等他都能迁移,甚至可以做到流控,还可以随时改变流控就更优秀了:迁移模式多样化,这是我准备开始迁移的第一感受,我上面提到过,如果不能增量迁移将毫无意义,DRS还是想到了,这让我觉得好像有点暖,说着说着我的眼角又湿润了...因为大部分的场景我们都是线上业务的不停服迁移,在迁移过程中,还是不断的有增量数据在涌入的,敖丙之前所经历过的数据库迁移基本上也都是全量+增量的迁移模式,全量的场景只存在内部系统,或者离线数据等。其实这里的技术核心就在于怎么去保证增量的数据也能保证不丢失正确的迁移,我猜是通过binlog同步的,我看了下他的文档,日志,果然被我猜对了。DRS是通过全量迁移过程完成历史数据迁移至目标数据库后,增量迁移阶段通过捕抓日志,应用日志等技术,将源端和目标端数据库保持数据一致,这里的保持一致后面也会提到,他提供了完整的数据对比功能。迁移过程很简单,进度完全可以看到,数据的延迟也可以很直观的看到:迁移结束之后,DRS提供了数据对比,其实数据对比以前我做迁移的时候,我们都是通过对比数据库行数去做的,因为没这样的迁移工具,我发现了很暖心的一点就是内容对比,这一点让我很惊喜,因为行数的对比还是不够严谨,修改的日志如果缺失行数的对比也是没用的。imgimg等待对比完成,点击“查看对比报表”,可以了解对比详情,详情页面如图所示:上面提到的网络安全问题,我也在DRS找到了答案,他们会使用特定的加密协议进行数据传输,还可以用特定的VPN挂载网络传输:DRS还做了迁移监控,可以看到实时进度,让整个迁移进度比较可视化,中间的异常也一目了然,说实话工具真的就是香,以前想都不敢想,我们熬夜就生怕一个环节出错,而且经常还是后知后觉的,可视化的流程会你对迁移有一种掌控感。迁移完成:从我开始迁移到结束,整个流程其实不到2小时,这个放在以前是不敢想的,这波体验我是很满意的,让我一个开发就做到了以前DBA才能做的事情,说着说了旁边的DBA的眼角也湿润了....小结整个体验我觉得是很不错的,我总结几个我觉得DRS独特的设计和使用场景:迁移限速,根据限定时间段设置迁移速度上限应用场景:有些流量型app,比如游戏厂商等客户,      迁移时源数据库的公网、VPN不能打满(打满将影响其对外业务,或者影响共用VPN 带宽)有些业务负载较重,或着客户无法接受 业务时间应用程序因为迁移带来额外负载用户迁移(权限、密码、 definer),完整继承源权限体系应用场景:市面上的迁移产品均不支持用户的迁移, 也就是说如果用户没有注意,或者不懂用户迁移,那么迁移后业务必然报错, DRS提供了全套的用户权限继承设计, 可以将权限、密码、definer保留迁移至目标数据库,确保迁移后权限安全、业务稳定,可以让不熟悉数据库的客户迁移时,仍然可以完成一场精细的、高质量的数据库迁移。参数对比,迁移后业务稳定应用场景:市面上的迁移产品均不支持参数的迁移,而数据库参数不一样,这将直接导致业务程序      运行报错(举个简单例子session数迁移后变小了),DRS选定了业务和性能强相关关键的参数,避免了这些参数后续因为没有继承源环境设置,而导致业务报错或性能下降,      可以让不熟悉数据库的客户迁移时,仍然可以完成一场精细的、高质量的数据库迁移。数据校对平台,割接好帮手应用场景:市面上的迁移产品均不支持数据的对比,校对工作留给用户测,DRS提供了丰富的对比功能:对象对比数据级对比对比可定时,可取消利用对比定时任务,可以选择凌晨等业务低峰期 进行数据一致性对比,第二天可以查看数据对比结果,对于迁移情况做到完全掌握。 可以让不熟悉数据库的客户迁移时,仍然可以完成一场精细的、高质量的数据库迁移。触发器、事件的迁移应用场景:市面上的迁移产品均不支持触发器、事件的迁移,精通迁移的用户关注这些细节,因      为触发器和事件也是数据库的一部分,触发器和事件存在关键的业务逻辑,这些对象 不支持迁移,业务必然报错,甚至造成不可挽回的损失。可以让不熟悉数据库的客户迁移时,仍然可以完成一场精细的、高质量的数据库迁移。注:【部分图片来源网络 侵删】总结其实给大家介绍这样DRS的一个背景和技术,主要是希望跟大家跟我一起做一次完整数据迁移,一起去探讨技术背后的场景,以及场景背后我们应该有技术思考。不过这次体验真的,让我不得不感慨技术的便捷性,以前数据库迁移都是团队开发以及测试一个团队熬夜守着数据库迁移,最后验证测试才能走的,所有人拖着疲惫的身躯看着升起的太阳,眼角都湿了...现在我自己看看教程动动手指就完成了一场大规模的数据库迁移演练,在享受技术给我带来方便的同时,也让我对技术背后的具体实现和人生的意义陷入了深深的思考。或许这就是技术的价值吧,或许这就是这么多工程师日日夜夜辛苦的意义吧,或许...我是敖丙,你知道的越多,你不知道的越多,我们下期见! 
  • [技术干货] DRS是啥你都不知道?不是吧,不是吧
    前言最近写了很多数据库相关的文章,大家基本上对数据库也有了很多的了解,数据库本身有所了解了,我们是不是应该回归业务本身呢?大家去了解过自己企业数据库的部署方式么?是怎么部署的,又是部署在哪里的?部署过程中可能会出现的问题有哪些?是主从?还是双主?有没有分库?大的表做了分表没?等等...部署方式大概率也都是分库的,表数量级超千万基本上都开始分表了,考虑周全的企业,肯定也有数据库的冷备,热备,灾备,以及异地容灾等等。我还记得我大学做项目,学校就是买了很多物理机,我们的项目和数据库都是部署在自己内部的服务器上的,那家伙一到夏天风我嗡嗡嗡的吹,烦死了,机房还很热。但是我敢打赌,大家现在所在的企业,大概率都是使用了各种云服务厂商的服务部署方式,那就引入了今天的第一个思考。为什么数据库要上云呢?我们公司的大多数服务以及数据库都是在对应的云服务厂商的,那问题就来了,为啥都要上云呢?在思考这个问题的时候,我第一时间想到了反证法,不上云的坏处是啥?成本相较于传统服务器需要购买、租用的方式,云服务器采用即用即收费的方式,减少购买成本,灵活扩展的容量可以按自己需求来定,不用前期估量需要用多少。我之前所在的电商活动团队,每次到了大促我们就去租赁云服务厂商的流量机,等活动结束就还回去,真的就是成本最大化了,而且还是根据你的使用流量计费。如果大家还是使用自己购买的服务器,那这个时候难道去临时采购么?虽然我知道百度就是在某年春节活动的时候采购了N多物理机,但是性质不一样,他们是能最大化利用这些服务器的,他们甚至可以开发云服务自己做云服务厂商,实际上他们确实也这么做了。性能云服务器实现了硬件上的隔离以及宽带上的独享,不受到地域、流量等的限制,可以持续的进行业务交流,不会因中断影响效果。如果大家还是使用物理机,那去运营商迁专线的带宽成本,还有物理机性能的问题也不一定能更上。由于现在成本问题,你们公司买了很多低配的服务器,但是突然你们业务体量几何增长,怎么办?继续买高配的?显然不是很合适。这谁顶得住啊?管理云服务器可以实现远程同步管理,共享,各种业务的备份。传统服务器需要在某一网络区域内,有可能受到网络影响导致资料缺失。上面我提到的冷备,热备,灾备其实我们购买的服务器都能做的,但是放着一个不知道什么时候才能用到的服务器在那,真的很浪费。而且也有他做不到的,比如灾备,如果你公司在震区,要是还用物理服务器,基本上等于自杀,发送自然灾害的时候全球的用户都无法访问你,交给服务厂商就不一样了,他们选址很有讲究的,并且在各个地方都建立自己的数据中心,保证了高可用。安全为了保证云平台的可靠性,云服务平台公司肯定会投入大量的功夫,有一套可靠的安全保障系统,平台使用者不必担心平台稳定性、安全性问题。物理机一旦高权限的所有者使坏,基本上都是不可恢复的灾难,虽然云服务也一样,但是合理使用,和适当的权限收敛,完全可以做到更高级别的安全的。微盟事件大家也知道,如果提前做好各种全量,增量备份其实就没什么大问题的,再者就是权限收敛问题,我司在对应的数据库服务器上是禁用了rm -rf 、fdisk以及drop这样的极端操作的。所有数据库的查询更是自己的组件查询,连update都无法操作(只能靠代码)。如果还是使用物理机,就需要自己去维护,升级打补丁,很难保证不被黑客入侵,之前我就遇到过服务器补丁打迟了,导致被黑客攻击,劫持拿去挖矿了,而云服务厂商的安全系统都是实时更新的。小结:没有特殊情况,能用云产品就直接用云产品,因为云产品提供的不仅仅是产品能力,最关键的是关键时刻的容灾、应急和服务能力,这些能力,并不是所有公司都能完整建设一套,甚至是很多公司想都想不到的。到目前为止,虽然各大云厂商包括他们的产品,都还有这样那样的问题,但是从体系上,云仍然是最完善,最规范的,直接一点讲,比99%的公司做的都要好。上云需要考虑的问题这里很有意思,我在写这个文章的时候,我司正在做部分业务上云,以及云迁移这样的业务,这让我联想到了很多有意思的事情。我们现在是从某云迁移到华为云,我想大家也会与这样的场景,但是这样迁移会带来一些什么样的问题呢?不知道大家思考过没?其实从本地到云,或者从云到云,要思考的点估计是差多的,那我先抛出一些问题,看下这些问题华为云服务厂商是怎么解决的。迁移失败:数据迁移失败怎么办数据丢失:怎么判断迁移后数据是否完整业务中断:迁移到一半遇到不可抗力怎么办数据、传输加密:数据传输过程中怎么加密,防止被不法之徒中途获取数据热切换:怎么做到不停服切换,以及数据源切换过程中的数据一致性这些问题是我们不得不考虑的,大家是不是以为迁移多简单,那我想问一下,假如是订单库呢?大一点的电商每一秒,甚至是每一毫秒都是有订单的,哪怕是凌晨,别问我为什么知道咳咳。那你肯定不能停服去迁移数据库,你需要一边迁移一边接受新的数据,这个时候就需要一些技巧了,不知道redis字典的rehash大家知道么?rehash在需要扩容的时候,redis会新建一个hash字典,这个时候老的停止接收数据,新数据放到新的字典,同时慢慢把老数据拿过来,其实这个思想,在数据库迁移也是可以用的,但是数据库的操作,往往都是基于数据的,并不是都是增量。那简单,做点取巧的操作也可以,那云厂商的已经把我上面提到的所有问题都肯定考虑过了,我接触的是华为云,华为云使用了DRS(Data Replication Service 数据复制服务)做数据库迁移的事情,他怎么做的呢?DRS:数据复制服务(Data Replication Service,简称为 DRS)是一种易用、稳定、高效,用于数据库在线迁移和数据库实时同步的云服务。 DRS 围绕云数据库,降低了数据库之间数据流通的复杂性,有效地帮助您减少数据传输的成本。大家可能会好奇,为啥不自己去实现数据迁移,要用别人的组件呢?其实车轮子这个,如果你没更好的思路你还是用别人写好的就好了,你能比得过专业团队的研发结果嘛?不过技术背后的实现,解决的问题还是需要我们去关心的,不然DRS什么都帮我们做了,我们动动鼠标就解决了,你怎么得到收获呢?这才是今天探讨的重点。我说一下用车轮的好处吧:降低成本,降低技术门槛、降低风险人力成本时间成本,都是很昂贵的,如果一个现成的东西都帮我们做了,我们还去开发干嘛?再者,我相信大部分公司还是没专门的DBA的,但是车轮子在了,我们开发也能去做迁移这样的事情了,不是嘛?我们传统技术迁库耗时耗力不说了,失败率是真的高,还有数据对比等等,很头疼,我之前东家数据库迁移都是半夜,搞一晚上,天亮都不一定搞好了,要是没好,用户上线了,还的暂停。不过即使是使用了工具,一个数据库完整的迁移流程却还是应该很严谨的,大家可能会疑惑再严谨能有多严谨?给你看个图你就知道了:华为云的DRS的在线迁移怎么做的呢?可以看到,迁移图中是使用到了VPN,这个的作用主要就是保住一个高速稳定的传输,以及传输数据的加密,万一你同步的过程被其他对手公司抓到,那?在文章后面,你可以看到华为云DRS是怎么做的网络安全,我做了一次完整的迁移实战,并且做了总结。迁移实战他迁移很简单,都有教程,我用过一遍,大致步骤如下:迁移作为一个特殊时期,业务配合、人为配合是最关键的,部分操作一定要规避,比如说常见的:不能将源数据库日志强制清理掉不能将用于连接源数据库的用户密码修改掉、或者删除掉不能将表长时间锁定,导致外部都无法查询该表他在迁移之前可以做一个迁移预检查,从官方文档来看,都是对过往迁移案例总结出来的检查步骤,可以让迁移成功有更好的保障,这点挺好可以在迁移前夕找出问题所在,我也失败过,是因为环境问题,都给了很明确的指示。大家不知道思考过没,就是数据迁移了,但是如果数据库的设置没迁移那也是很麻烦的,如果一个迁移工具能够做到把DBA设置的好的User权限迁移了,以及我们设置的各种触发器,数据库字符集设置都迁移了,那才是我理想的一个迁移工具,是的华为云DRS做了,这就是比较优秀的点了,真的省了很多功夫。特别是对于数据库各种设置并没那么了解的开发来说,这功能确实是很福利了,而且还有性能参数,类似各种buffer大小,cache大小等等他都能迁移,甚至可以做到流控,还可以随时改变流控就更优秀了:迁移模式多样化,这是我准备开始迁移的第一感受,我上面提到过,如果不能增量迁移将毫无意义,DRS还是想到了,这让我觉得好像有点暖,说着说着我的眼角又湿润了...因为大部分的场景我们都是线上业务的不停服迁移,在迁移过程中,还是不断的有增量数据在涌入的,敖丙之前所经历过的数据库迁移基本上也都是全量+增量的迁移模式,全量的场景只存在内部系统,或者离线数据等。其实这里的技术核心就在于怎么去保证增量的数据也能保证不丢失正确的迁移,我猜是通过binlog同步的,我看了下他的文档,日志,果然被我猜对了。DRS是通过全量迁移过程完成历史数据迁移至目标数据库后,增量迁移阶段通过捕抓日志,应用日志等技术,将源端和目标端数据库保持数据一致,这里的保持一致后面也会提到,他提供了完整的数据对比功能。迁移过程很简单,进度完全可以看到,数据的延迟也可以很直观的看到:迁移结束之后,DRS提供了数据对比,其实数据对比以前我做迁移的时候,我们都是通过对比数据库行数去做的,因为没这样的迁移工具,我发现了很暖心的一点就是内容对比,这一点让我很惊喜,因为行数的对比还是不够严谨,修改的日志如果缺失行数的对比也是没用的。imgimg等待对比完成,点击“查看对比报表”,可以了解对比详情,详情页面如图所示:上面提到的网络安全问题,我也在DRS找到了答案,他们会使用特定的加密协议进行数据传输,还可以用特定的VPN挂载网络传输:DRS还做了迁移监控,可以看到实时进度,让整个迁移进度比较可视化,中间的异常也一目了然,说实话工具真的就是香,以前想都不敢想,我们熬夜就生怕一个环节出错,而且经常还是后知后觉的,可视化的流程会你对迁移有一种掌控感。迁移完成:从我开始迁移到结束,整个流程其实不到2小时,这个放在以前是不敢想的,这波体验我是很满意的,让我一个开发就做到了以前DBA才能做的事情,说着说了旁边的DBA的眼角也湿润了....小结整个体验我觉得是很不错的,我总结几个我觉得DRS独特的设计和使用场景:迁移限速,根据限定时间段设置迁移速度上限应用场景:有些流量型app,比如游戏厂商等客户,      迁移时源数据库的公网、VPN不能打满(打满将影响其对外业务,或者影响共用VPN 带宽)有些业务负载较重,或着客户无法接受 业务时间应用程序因为迁移带来额外负载用户迁移(权限、密码、 definer),完整继承源权限体系应用场景:市面上的迁移产品均不支持用户的迁移, 也就是说如果用户没有注意,或者不懂用户迁移,那么迁移后业务必然报错, DRS提供了全套的用户权限继承设计, 可以将权限、密码、definer保留迁移至目标数据库,确保迁移后权限安全、业务稳定,可以让不熟悉数据库的客户迁移时,仍然可以完成一场精细的、高质量的数据库迁移。参数对比,迁移后业务稳定应用场景:市面上的迁移产品均不支持参数的迁移,而数据库参数不一样,这将直接导致业务程序      运行报错(举个简单例子session数迁移后变小了),DRS选定了业务和性能强相关关键的参数,避免了这些参数后续因为没有继承源环境设置,而导致业务报错或性能下降,      可以让不熟悉数据库的客户迁移时,仍然可以完成一场精细的、高质量的数据库迁移。数据校对平台,割接好帮手应用场景:市面上的迁移产品均不支持数据的对比,校对工作留给用户测,DRS提供了丰富的对比功能:对象对比数据级对比对比可定时,可取消利用对比定时任务,可以选择凌晨等业务低峰期 进行数据一致性对比,第二天可以查看数据对比结果,对于迁移情况做到完全掌握。 可以让不熟悉数据库的客户迁移时,仍然可以完成一场精细的、高质量的数据库迁移。触发器、事件的迁移应用场景:市面上的迁移产品均不支持触发器、事件的迁移,精通迁移的用户关注这些细节,因      为触发器和事件也是数据库的一部分,触发器和事件存在关键的业务逻辑,这些对象 不支持迁移,业务必然报错,甚至造成不可挽回的损失。可以让不熟悉数据库的客户迁移时,仍然可以完成一场精细的、高质量的数据库迁移。注:【部分图片来源网络 侵删】总结其实给大家介绍这样DRS的一个背景和技术,主要是希望跟大家跟我一起做一次完整数据迁移,一起去探讨技术背后的场景,以及场景背后我们应该有技术思考。不过这次体验真的,让我不得不感慨技术的便捷性,以前数据库迁移都是团队开发以及测试一个团队熬夜守着数据库迁移,最后验证测试才能走的,所有人拖着疲惫的身躯看着升起的太阳,眼角都湿了...现在我自己看看教程动动手指就完成了一场大规模的数据库迁移演练,在享受技术给我带来方便的同时,也让我对技术背后的具体实现和人生的意义陷入了深深的思考。或许这就是技术的价值吧,或许这就是这么多工程师日日夜夜辛苦的意义吧,或许...我是敖丙,你知道的越多,你不知道的越多,我们下期见! 
  • [技术干货] 数据复制服务对象选择功能演化
    数据复制服务(Data Replication Service,简称为DRS)是一种易用、稳定、高效,用于数据库在线迁移和数据库实时同步的云服务。在设置数据迁移或者同步的过程中,需要用户选择需要迁移或者同步的对象,这些对象包括数据库、表、视图、触发器、函数、schema等。在早期数据量较少时,界面可以流畅操作,但是随着用户业务需求不断扩大,在大数据量条件(1万以上)下会出现界面操作卡顿、卡死等较差用户体验,导致创建任务流程阻塞。为了解决这个问题,DRS服务通过持续优化,目前已很好支撑大数据量条件下的对象选择功能,本文主要介绍此功能优化演进的过程。直接一次性展示早期数据量不大时,对象数据是从后端一次性获取,前端按照数据库名分组展示,用户点击树组件数据库名前的‘+’,展开该数据库下的所有对象。在数据量不大的情况下这种方式没什么问题,但是在这个任务下有很多数据库,而且库里面有大量数据对象的情况下,一次展示所有对象就会变得卡顿,有时甚至页面直接卡死,需要进行优化。异步加载对象针对一次性加载对象的弊端,优化的第一步考虑使用异步方式加载对象。具体方法是页面初始化的时候只展示数据库,点击‘+’再异步请求接口获取该库下面的所有对象进行展示操作。这种方式一定程度缓解了页面卡顿问题,但是在一个数据库下有大量对象的时候(2万以上)界面依然卡顿严重。对象搜索在对象选择功能模块,大部分用户的使用场景是两种:l  只选择数据库下的部分对象做迁移l  整个数据库除了特定的对象不迁移,其余的全部迁移在这种业务诉求上,我们考虑使用搜索功能。在界面上用户可以点击左边的搜索功能按钮,然后选择数据库,再输入该库下需要迁移对象名的关键字进行搜索,搜索出的结果作为用户想要迁移的对象。在右边的搜索功能按钮也可进行同样的操作,不过搜索结果是作为用户反选的不迁移的对象。这样是可以解决大数据量条件下业务阻塞的问题,但是这种方式只适用于特定场景,在用户需要选择特别多对象的时候就需要很多次搜索操作,用户体验较差。引入第三方组件zTreezTree 是一个依靠 jQuery 实现的多功能“树插件”,具有优异的性能、灵活的配置、多种功能的组合,采用延迟加载技术,上万节点轻松加载,同时浏览器兼容性很好。zTree解决了之前树组件在节点很多时展开、全选操作卡顿的问题,目前已支持最大节点数是5万条仍然未见明显卡顿,已基本满足常规业务需求。数据导入通过以上一系列功能优化,对象选择功能已基本可以满足业务需求,但是一些特定的大客户仍然有超大数据量(5万+)需要选择的诉求。因此数据导入功能是一个很好的补充,用户可以在界面上先下载一个导入数据的excel模板,按照模板的格式填写需要迁移的对象。将填写好的文件上传后作为需要迁移的对象,从而实现无需界面展示大数据量对象的前提下完成迁移对象的选择。总结数据复制服务的对象选择功能随着业务需求越来越复杂,经历异步加载、对象搜索、引入第三方zTree组件和支持对象导入等阶段不断演化。在面对大数据量对象需要选择时,提升了用户体验,避免流程阻塞,目前已很好支撑数据迁移和同步业务快速发展。
  • [交流分享] 华为云迁移工具汇总
    SMS :主机迁移服务,一种 P2V/V2V 迁移服务,可以帮您把 X86 物理服务器,或者私有云、公有云平台上的虚拟机迁移到华为云弹性云服务器( ECS ),从而帮助您轻松地把服务器上的应用和数据迁移到华为云。OMS :对象存储迁移服务,线上数据迁移服务,帮助用户把对象存储数据从其他云服务商的公有云轻松、平滑地迁移到华为云。CDM :云数据迁移,提供同构 异构数据源之间批量数据迁移服务,帮助客户实现数据自由流动。支持客户自建和公有云上的文件系统,关系数据库,数据仓库, NoSQL ,大数据云服务,对象存储等数据源。(数据库建议使用DRS)DRS :数据复制服务,于数据库在线迁移和数据库实时同步的云服务。数据复制服务提供了在线迁移、备份迁移、数据同步、数据订阅等 多 种 功 能
  • [技术干货] 数据库“意外失联”?华为云DRS异地多活灾备为您支招
    在DT时代,数据作为企业重要的生产资料,极大的影响着企业的发展命脉。而数据灾备的重要性,将随着数据应用的深度和广度而不断加深,能为企业提供异地多活灾备能力的云灾备方案成为行业的主流!为保护数据库,华为云RDS很早便推出了双AZ高可用灾备方案,即“同城两中心”,也就是在同城建立两个数据库,当其中一个数据库突发异常或被破坏时,可以从另一个数据库获取数据,以保证系统的持续稳定。但为了更好地提供灾备保护,华为云数据库在“同城两中心”的基础上提出了异地保护的方案,华为云数据复制服务DRS推出了异地多活灾备,即“两地四中心”。该灾备方案支持搭建主备高可用架构,当主实例所在区域突发自然灾害等状况,主备节点均无法连接时,可将异地灾备实例切换为主实例,即可快速恢复应用的业务访问,而且可以实现主实例和跨区域的灾备实例之间的实时同步。“企业上云,灾备先行”云灾备技术进步的一小步,数据库安全、持续可靠的一大步。有了华为云DRS提供的“单主灾备”和“双主灾备”模式的加持,相信企业数据的最后一道防线被牢牢守住。如果你想体验华为云数据库,不妨来参加“华为云数据库挑战赛”。华为云数据库挑战赛火热报名中,百万奖金权益、丰厚拉新奖品、优质offer推荐,福利多多,等你来战!戳它报名。
  • [问题求助] MySQL本地数据库迁移----DRS测试遇到问题
    在做这个实验:https://bbs.huaweicloud.com/forum/thread-51110-1-1.html遇到错误,如下图。密码试了多次应该没问题。(DAS都可以用该密码登录)那么如何在防火墙加IP?我没有看到iptables和firewalld
总条数:112 到第 页
上滑加载中