• XX项目-多云存储迁移至华为云OBS
    案例简介:     XX是华为云全球XX客户, 海外AI标杆项目。自成立以来,XX致力于以人工智能为中心,通过软硬结合产品落地到生活场景,来打造下一代的人机交互方式。2019年10月,XX以XX亿元位列《2019胡润全球独角兽榜》第XX位。拥有自主研发的语音识别、语义分析、垂直搜索、基于视觉的ADAS和机器人SLAM等核心技术。对于后续同类型诉求有极大的借鉴意义。方案描述:本次迁移面对对象为T云存储COS、Ucloud存储US3、Oracle云存储OCI、A3云存储OSS等多个云平台。‘T云存储COS为客户主要数据存储环境,迁移涉及的数据量为700TB,采用OMS进行迁移,与OMS产品侧沟通后OMS并发数由5提升至20进行迁移,同时搭建RDA环境,同步进行T云存储COS数据迁移。Ucloud存储US3为客户业务急需的数据,数据量100TB,因客户桶在乌兰察布region,OMS及RDA迁移工具不支持Ucloud乌兰察布region数据迁移,采用第三方工具Rclone并购买共享带宽并提升至10Gbps, Ucloud带宽限制1Gb,经沟通最高提升为3Gb。Oracle存储OCI迁移涉及的数据为25TB,华为云无迁移先例,现有工具不支持迁移,采用第三方工具Rclone进行迁移。A3云存储OSS迁移涉及的数据为小文件,共14TB约1.1亿对象,采用华为云工具OMS进行迁移。
  • 南非-XX Hbase迁移上云
    案例简介:      XX是一家中国手机制造商,2022年营收XX亿,2022年出货量XX亿部,其中智能手机约XX万,根据IDC统计数据,全球市场占有率XX%,排名第XX;非洲市场占有率XX%,排名第XX;印度市场占有率XX%,排名第XX;孟加拉国市场占有率XX%,排名第XX。  方案描述:迁移前准备:•   源集群与目标集群网络互通;迁移原理:•  元数据,历史数据采用快照方式迁移;•  增量数据采用export+import方式迁移;迁移步骤: 1、 源端通过命令给需要迁移的表打快照;  2、 迁移快照数据文件到目标集群HDFS; 3、 在目标端使用快照文件恢复表结构和表数据; 4、 将源端增量数据使用export导入目的端HDFS上,数据校验:   手动执行sql来校验目的端的与源端数据的一致性;
  • 香港-XX项目DWS容灾迁移
    项目背景:    根据规划部署于2006年10月提出的初步发展大纲建议,XX发展计划将以“崭新的海滨,汇集历史文化,绿茵,体育及旅游特色的新焦点作为规划主题,无需填海,共分为X大规划分区;XX城中心、XX体育园、混合用途区、都会公园、跑道休闲区、旅游及休闲中心; 2009年,香港政府开始聘请顾问对XX机场旧址进行改造和商业场馆建设与运营的技术性研究;2018年底,政府公布新世界旗下子公司XX(XX有限公司)中标;2020年11月20日,我司的第一份合同激活,启动交付。方案描述:解决方案:HCSO8.1.3版本,DWS在业务不受影响的情况下完成迁移迁移步骤:1.原主备集群C1/C22.创建迁移后的集群C3/C43.C1/C2解除容灾,C1/C4创建容灾,数据同步4.C1/C4主备切换5.C4/C3创建容灾,数据同步6.C4/C3主备切换7.业务平稳后,删除原主备集群备注:          1.    全量数据同步期间,业务是可以正常接入生产集群;          2.     新老集群关系切换期间,需要停止业务保证数据一致性。这个步骤  生产集群会发起增量数据同步到容灾集群,然后切换生产集群和   容灾集群的关系。、          3.     确认完成迁移后,新集群(原容灾集群)开始接入业务。
  • XX项目 CMS迁移(存储双挂)
    案例简介:   客户考虑到平台稳定性以及应用的高可用性,决定对平台进行升级到HCS 8.2.0版本,使用CMS迁移工具,帮助客户将6.5.1region的存量业务VM搬迁到HCS 8.2.0Region。原HCS651主要承载用户生产数据库、进料系统、厂区安全业务、动环软件、物流、远程计量等; HCS 8.2.0为新建环境,没有承载客户业务。需要客户、华为、赛迪共同完成升级和验证工作。方案描述:❶  关联虚拟机在新老Region的基础信息      ❷  复制并关联VPC/安全组/VFW等网络资源❸  虚拟机迁移前预检测及整改 ❹  搬迁EVS卷数据 ❺  一键重建/回滚目标虚拟机  ❻  按需配合调整跨Region三层互联  ❼  L4~L7网络服务重新配置   ❽  按需配合调整云外物理路由
  • XX项目--容灾方案
    案例简介:XX成立于1984年,是土耳其本土最大的企业软件公司,也是最大的公共软件公司之一,为各类企业提供应用软件解决方案。迄今为止,XX在X个不同国家的X个地区拥有X多名员工和X多个业务伙伴。与AAG均有合作。迁移方案描述:Ø信息调研:客户PostgreSQL数据库,其中SAAS实例单库最大对象数超过90W+,PAAS实例逻辑库超过600+。Ø方案设计:SAAS实例共25个逻辑库,使用DRS全量迁移,总共分6批迁移完成,割接窗口是每天6小时。因为DRS只支持单库迁移,所以PAAS实例使用shell脚本迁移。输出Runbook初版。Ø测试验证:使用DRS迁移客户备份的真实数据,验证准备时间、迁移时间、数据对比时间、系统切换时间、遗留问题、实施顺序等项,并完善Runbook。Ø迁移实施:按照Runbook一步步标准化实施迁移,数据比对一致。Ø系统割接:正式割接后,业务验证正常。迁移成功。Ø保障移交:监控与巡检,并进行一周的业务重点保障,配合客户完成项目验收,培训与赋能。异地容灾方案描述:          华为云伊斯坦布尔Region两个AZ组成主备高可用,在距伊斯坦布尔400KM的安卡拉与VDF共建HCSO,采用Postgres数据库原生的流复制技术,组成公 有云伊斯坦布尔的异地灾备中心。流复制技术原理:流复制是基于 wal 日志传送技术实现同步,主节点(master)启用 walsender 进程持续发送 wal 日志流,备节点(standby)通过 walreceiver 进程实时接受从主传过的 wal 日志流,并且通过 walreceiver 进程调用内部函数write() 和 fsync() 将 wal 数据全部写入wal segment 和刷新到 wal segment,并通知 starup 进程回放已经写入wal segment 的 wal 数据。
  • XX项目-RDA-SMS主机迁移
    案例简介:       采用专线网络迁移,带宽1G,利用两个私网NAT网关,配置SNAT、DNAT规则,可同时将源、目的网段地址转换为中转IP,通过使用中转IP实现两VPC间互通。私网NAT网关解决了两个重叠网段VPC中的云主机互相访问的问题。 在HCSO部署RDA迁移工具,在RDA界面配置云环境信息,测试RDA到源端IDC主机以及RDA到HCSO上ECS连通性;配置主机迁移任务进行主机迁移测试。将IDC机房Vmware虚拟化主机以及物理机通过RDA-SMS迁移至HCSO上ECS,对于外接物理Key的物理机,将物理机迁移至ECS后改造物理key为电子密钥;个别有物理秘钥且不可改造的物理机通过物理搬迁的方式托管在政务云托管区。主机迁移后进行数据校验及功能验证,确保业务可正常使用,验证完成后割接前做一次或多次增量数据迁移,缩短割接时最后一次增量迁移的时间。割接:优先割接无公网及数据库依赖的独立系统,最后统一割接依赖Oracle数据库及59段公网IP的所有系统。方案描述:开放端口:1、RDA服务器采集源端主机信息, Linux主机通过ssh协议root账户采集,需要开通RDA到源端主机ssh协议端口(默认为22,如果做过修改则开放对应端口)。Windows主机通过Winrm服务管理员账户采集,需要开通Winrm服务端口(默认为5985,目前RDA不支持修改Windows主机采集端口)。2、迁移时数据传输,Linux主机通过rsync传输文件,通过ssh协议需要开放目的端主机ssh默认端口22,Windows通过8899/8900端口传输数据,需要开放目的端主机8899/8900端口.迁移步骤:1、登录RDA服务平台,配置RDA所要上云的云账号及云环境。创建迁移任务。2、迁移任务配置好之后RDA通过API网关去OBS桶下载SMS-agent插件。3、 RDA服务推送SMS-agent插件到源端服务器并解压后启动安装,同时校验源端服务器到API网关的连通性。4、源端服务器通过SMS-agent调用EVS接口创建临时EVS公有镜像磁盘。5、挂载临时迁移镜像到目的端服务器。6、对目的端ECS进行规格,磁盘查询,如果目的端主机未创建会通过接口创建虚拟机。7、迁移源端磁盘数据到目的端服务器。相关文档:RDA 2.0用户指南RDA主机迁移最佳实践公有云上云迁移工具SMSRDA培训及实操
  • XX上云(实验局)-MongoDB迁移DDS
    案例简介:       XX目前数据库采用自建的MySQL、MongoDB。客户希望业务全面上云替换,现将采购少量部署在测试区进行业务验证。目前客户现网云平台采用全栈华为硬件以及华为云,预计涉及数据库软件服务订货价格XXw+。本次试验局验证主要验证DDS云服务基础功能与数据迁移功能。方案描述:    源端环境:自建MongoDB;数据大小100G;    数据迁移:使用DRS全量+增量的方法迁移数据    数据核对:使用DRS自带数据核对工具,对迁移数据条数进行数据核对,数据条数核对上就默认迁移完成    问 题解决:通过查询技术手册解决客户问题,如果有不能解决的问题就通过向开发需求提单,通过开发来解决客户问题。    DDS技术手册:文档数据库服务(DDS) 2.22.07.210 使用指南(for 华为云Stack 8.2.0) 01 - 华为 (huawei.com)
  • 北非XX项目Elastic Cache到GeminiDB Redis迁移上云
    案例简介:       XX成立于2015年,是目前全球UGC赛道最大的中国游戏公司,在全球拥有XX万注册用户,覆盖美国、新加坡、港澳台、法国、阿联酋、巴西等XX个国家。目前客户现网以AWS+GCP部署为主,目前在AWS一年消耗XXWUSD,主要为业务大厅服源站以及数据收集和分析功能,包含大数据、数据库等业务,GCP一年消耗XXWUSD,主要为业务战斗服,包含服务器和流量业务,本次迁移客户有待迁移Redis实例XX个。数据迁移:1、确认客户业务停止,无应用访问Elastic Cache;2、在AWS源端控制台Elastic Cache导出全量备份文件;3、通过公网传输至华为云,检查备份文件MD5码前后是否一致,使用Redis-Shake工具将数据恢复到GeminiDB Redis中。4、进行数据校验,对GeminiDB Redis进行key值校验;5、数据校验通过后,应用链接GeminiDB Redis实例开始对外提供业务。数据校验:1、查询迁移后源端和目的端内存占用量是否一致;2、使用info keyspace语句查询并对比源端和目的端的key数量是否一致;3、使用脚本随机多次进行抽样内容校验。(客户数据部分具有时效性,可能存在因源端数据过期后源端和目的端前后数据不一致的问题,需要手动查询不一致的数据是否因数据过期引起)。回退方案(A-B-A):1、AWS侧创建Elastic Cache备用实例,承接回退实例数据2、配置GeminiDB Redis到AWS EC2的DRS全量链路,EC2与Elastic Cache配置SSH隧道;3、启动DRS任务,全量完成后,进行数据校验;4、数据校验通过后,应用修改数据库链接为AWS Elastic Cache备用实例。
  • DRS数据库迁移指导
    案例简介:    XX公司成立于2016年,短短六年间,XX依托于自身在人工智能、大数据领域的技术优势,和丰富的教学资源,已占领法考在线教育领域XX以上的市场份额,用户数量全国第一。近年业务也在向CPA和英语在线培训领域快速发展。       目前XX业务全量部署在A3云上,云空间XX万左右。       此次迁移是XX A3部署的法考、CPA、官网等业务系统。    方案描述:平台部署:网络打通;华为各云服务开通;自建服务的搭建和对接业务表的创建:在DWS里面进行业务模型表的重建(分布列、分区列、冷热策略、行列存储,业务逻辑主键)数据迁移:离线Hive数仓各层数据迁移(客户自己通过回退的方式把数据会退到PoloDB中,再通过gaussdb同步到DWS);实时听课数据通过DMS接进,然后通过flink消费,最后落进DWS。由于kudu数据不大客户自己写进DWS; PoloDB全量+增量数据通过gaussdb同步到DWS。历史数据的处理:数据的打宽,清洗作业迁移:设计所有业务的数据打宽,清洗逻辑重构,DGC作业的配置及调度数据以及性能的校验:1.历史数据的验证.2.实时增量数据的验,验证范围(所有表)3.实时流程性能验证,4.主要业务场景验证。5.Polo到gaussdb后记录数据量验证。割接:停止往Polo写数据,切换到gaussdb ,埋点数据写进DMS,停止阿里的离线作业,DWS同步正常,flink作业验证正常,观察业务运行状态,核对数据正确性,完成业务割接。
  • 北非XX项目AWS DynamoDB到GeminiDB Cassandra迁移上云
    案例简介:XX公司成立于2015年,是目前全球UGC赛道最大的中国游戏公司,在全球拥有XX万注册用户,覆盖美国、新加坡、港澳台、法国、阿联酋、巴西等XX个国家。目前客户现网以AWS+GCP部署为主,目前在AWS一年消耗XXWUSD,主要为业务大厅服源站以及数据收集和分析功能,包含大数据、数据库等业务,GCP一年消耗XXUSD,主要为业务战斗服,包含服务器和流量业务,本次迁移包含DynamoDB(XX张表,XTB)需要跨云平台迁移。方案描述:数据迁移:1、在华为云申请ECS主机用于安装DynamoMigration;2、配置DynamoMigration参数文件;3、启动DynamoMigration进行全量迁移;4、全量迁移完成后,对数据进行抽检,检查数据一致性校验;5、数据校验通过后,停止DynamoMigration服务,业务连接华为云GaussDB for Cassandra实例开始对外提供业务。回退方案:1、AWS侧创建备用表,承接回退数据;2、配置DynamoMigration配置文件,建立华为云-AWS全量迁移链路;3、待全量迁移完成后,对数据一致性进行校验4、数据校验通过后,停止DynamoMigration服务,应用修改数据库链接为AWS 实例备用表,对外提供业务。
  • [生态工具] datax同步问题
    通过DataX实现Oracle到dws的数据互相迁移1. 抽取从oracle读数据写进dws.Json文件配置读使用oraclereader,写入使用postgresqlwriter从dws读数据写进oracleJson文件配置读使用postgresqlreader,写入使用oraclewriterDatax任务脚本参数并发数32:2. 迁移速率:迁移过程中datax Speed速率每秒40k~60k,速率太低。客户期望至少每秒2万行,4MB的速率源端 oralce并没有呈现出io,cpu,内存压力。优化:按照常规的datax优化参数方法,进行channel,record,byte参数不同数值设置,进行测试速率,速率没得到提升。问题如何datax的同步速率提升上去?把官方是否提供专门的dws读写插件?
  • [问题求助] 导出项目或环境依赖的数据
    导出项目或环境依赖的数据,报错问题,提示:无效的对象权限,对象:dhccyq_cameraHis__CST,权限:!AllowBulkAPIAccess,权限值:false
  • [问题求助] 迁移目前遇到两个问题
    1.将源码包通过软件包安装新建,dhccyq__TZ-0.51.8.zip导入报错了,查看附件2.编译已上传的mySystem项目,编译报错了,查看附件
  • [问题求助] 使用平台的数据导出能力,导出项目或环境依赖的数据
    某个项目里面的数据导出,能批量导出吗,我看文档上面只有这一个一个导出的办法,如图↓
  • [问题求助] 迁移appcube,使用InitializationDataTool工具导出迁移项目所依赖的
    数据迁移,在库中搜索InitializationDataTool,没有搜索对应模块,不知道啥情况,求指点,谢谢大佬们
总条数:76 到第
上滑加载中