-
Unixbench子项excel执行出错退出,单独执行子项其默认参数类似于cd unixbench-5.1.3UB_BINDIR=./pgms ./pgms/execl 30默认参数30 会执行失败,调低参数就可以运行,具体可运行参数不固定exgear版本4.0.1包版本3124guestos:ubuntu-2004unixbench版本:5.1.3
-
案例简介: XX是华为云全球XX客户, 海外AI标杆项目。自成立以来,XX致力于以人工智能为中心,通过软硬结合产品落地到生活场景,来打造下一代的人机交互方式。2019年10月,XX以XX亿元位列《2019胡润全球独角兽榜》第XX位。拥有自主研发的语音识别、语义分析、垂直搜索、基于视觉的ADAS和机器人SLAM等核心技术。对于后续同类型诉求有极大的借鉴意义。方案描述:本次迁移面对对象为T云存储COS、Ucloud存储US3、Oracle云存储OCI、A3云存储OSS等多个云平台。‘T云存储COS为客户主要数据存储环境,迁移涉及的数据量为700TB,采用OMS进行迁移,与OMS产品侧沟通后OMS并发数由5提升至20进行迁移,同时搭建RDA环境,同步进行T云存储COS数据迁移。Ucloud存储US3为客户业务急需的数据,数据量100TB,因客户桶在乌兰察布region,OMS及RDA迁移工具不支持Ucloud乌兰察布region数据迁移,采用第三方工具Rclone并购买共享带宽并提升至10Gbps, Ucloud带宽限制1Gb,经沟通最高提升为3Gb。Oracle存储OCI迁移涉及的数据为25TB,华为云无迁移先例,现有工具不支持迁移,采用第三方工具Rclone进行迁移。A3云存储OSS迁移涉及的数据为小文件,共14TB约1.1亿对象,采用华为云工具OMS进行迁移。
-
案例简介: XX是目前全球UGC赛道最大的中国游戏公司,在全球拥有XX万注册用户。 现网以AWS+GCP部署为主,目前在AWS主要为业务大厅服源站以及数据收集和分析功能,频繁跨国访问数据库数据, GCP主要为业务战斗服,包含服务器和流量业务。 涉及AWS 美西/宁夏Region迁移至华为云新加坡Region,XX版本,XX个实例,XX+数据,JDBC(MairaDB),承载核心用户、财务、日志等关键信息,对数据完整性要求严格,需多层次保证迁移数据完整。 方案描述【最佳实践】:① 数据库流量回放: 目的:验证客户业务与GaussDB(for Mysql)的功能/特性适配性,及时发现不兼容SQL并进行对应性改造,减少客户业务上云的业务损失;依据提升回放速度和并发数,结合云监控指标,间接匹配GaussDB(for Mysql)的性能适合客户的业务指标。 流程:客户在AWS启动Aurora Mysql的数据库审计日志(会涉及重新启动数据库服务)并持续24H,并将产生的日志放置S3桶中;一线TD采用OMS将审计日志迁移至OBS;由于DRS只能承载200个文件分析(迭代版本更新后无限制)多余的日志文件在跳板机进行下载整合到一起(copy *.txt log.txt),重新上传OBS后,采用DRS的流量回放功能进行识别GaussDB(for Mysql)的特性兼容性,并由研发经过分析后生成流量回放报告;将报告中改造建议发送至客户,将不适配的对象和业务SQL进行改造。② JDBC适配&业务改造: 本项目客户采用的是MariaDB的JDBC链接,版本和GaussDB(for Mysql)不兼容,升级版本后改造,同时客户业务SQL中涉及的列名被GaussDB(for Mysql)系统占用,需进行更名改造。③ 数据迁移: DRS服务器地址变更频繁,需迁移用户(user@ip)变更频繁,采用Nginx反向代理固定迁移用户。数据校验方式: 主键表(动态校验);无主件表(核心表做行数校验);财务数据核心表采用脚本对最新1000W条数据校验;核心表数据抽数随机校验(人工校验:表头、中部、表尾各取1000条数据进行。
-
案例简介: XX是一家中国手机制造商,2022年营收XX亿,2022年出货量XX亿部,其中智能手机约XX万,根据IDC统计数据,全球市场占有率XX%,排名第XX;非洲市场占有率XX%,排名第XX;印度市场占有率XX%,排名第XX;孟加拉国市场占有率XX%,排名第XX。 方案描述:迁移前准备:• 源集群与目标集群网络互通;迁移原理:• 元数据,历史数据采用快照方式迁移;• 增量数据采用export+import方式迁移;迁移步骤: 1、 源端通过命令给需要迁移的表打快照; 2、 迁移快照数据文件到目标集群HDFS; 3、 在目标端使用快照文件恢复表结构和表数据; 4、 将源端增量数据使用export导入目的端HDFS上,数据校验: 手动执行sql来校验目的端的与源端数据的一致性;
-
项目背景: 根据规划部署于2006年10月提出的初步发展大纲建议,XX发展计划将以“崭新的海滨,汇集历史文化,绿茵,体育及旅游特色的新焦点作为规划主题,无需填海,共分为X大规划分区;XX城中心、XX体育园、混合用途区、都会公园、跑道休闲区、旅游及休闲中心; 2009年,香港政府开始聘请顾问对XX机场旧址进行改造和商业场馆建设与运营的技术性研究;2018年底,政府公布新世界旗下子公司XX(XX有限公司)中标;2020年11月20日,我司的第一份合同激活,启动交付。方案描述:解决方案:HCSO8.1.3版本,DWS在业务不受影响的情况下完成迁移迁移步骤:1.原主备集群C1/C22.创建迁移后的集群C3/C43.C1/C2解除容灾,C1/C4创建容灾,数据同步4.C1/C4主备切换5.C4/C3创建容灾,数据同步6.C4/C3主备切换7.业务平稳后,删除原主备集群备注: 1. 全量数据同步期间,业务是可以正常接入生产集群; 2. 新老集群关系切换期间,需要停止业务保证数据一致性。这个步骤 生产集群会发起增量数据同步到容灾集群,然后切换生产集群和 容灾集群的关系。、 3. 确认完成迁移后,新集群(原容灾集群)开始接入业务。
-
案例简介: 客户考虑到平台稳定性以及应用的高可用性,决定对平台进行升级到HCS 8.2.0版本,使用CMS迁移工具,帮助客户将6.5.1region的存量业务VM搬迁到HCS 8.2.0Region。原HCS651主要承载用户生产数据库、进料系统、厂区安全业务、动环软件、物流、远程计量等; HCS 8.2.0为新建环境,没有承载客户业务。需要客户、华为、赛迪共同完成升级和验证工作。方案描述:❶ 关联虚拟机在新老Region的基础信息 ❷ 复制并关联VPC/安全组/VFW等网络资源❸ 虚拟机迁移前预检测及整改 ❹ 搬迁EVS卷数据 ❺ 一键重建/回滚目标虚拟机 ❻ 按需配合调整跨Region三层互联 ❼ L4~L7网络服务重新配置 ❽ 按需配合调整云外物理路由
-
案例简介: XX目前数据库采用自建的MySQL、MongoDB。客户希望业务全面上云替换,现将采购少量部署在测试区进行业务验证。目前客户现网云平台采用全栈华为硬件以及华为云,预计涉及数据库软件服务订货价格XXw+。本次试验局验证主要验证DDS云服务基础功能与数据迁移功能。方案描述: 源端环境:自建MongoDB;数据大小100G; 数据迁移:使用DRS全量+增量的方法迁移数据 数据核对:使用DRS自带数据核对工具,对迁移数据条数进行数据核对,数据条数核对上就默认迁移完成 问 题解决:通过查询技术手册解决客户问题,如果有不能解决的问题就通过向开发需求提单,通过开发来解决客户问题。 DDS技术手册:文档数据库服务(DDS) 2.22.07.210 使用指南(for 华为云Stack 8.2.0) 01 - 华为 (huawei.com)
-
案例简介:XX集团,全球领先的智能物流平台,是国内首家基于云计算、大数据、移动互联网和人工智能技术开发的XX公司,是公路物流领域高新技术综合应用的典型代表XX平台服务的认证司机用户超XX万人,认证货主用户超XX万人,集团业务覆盖全国XX个主要城市。年度撮合成交规模达到XX元,覆盖线路数量超过XX条,此案例主要介绍Kylin组件搬迁。迁移方案:Økylin依赖的所有hive表数据使用CDM工具迁移 Økylin元数据hbase表kylin_metadata数据使用阿里LTS迁移,其中存放了kylin系统级、project级、cube级、job级等各个级别元数据 Ø根据腾讯云环境信息构建历史segment Ø华为云调度系统定时触发华为云Cube构建 Ø查询华为侧结果集数据,数据一致性校验割接关键步骤:Økylin依赖所有hive表数据迁移Økylin构建历史segment预计算数据 Ø调度任务所有kylin相关任务正常执行 Ø双云预计算数据一致性校验Ø业务正常查询华为云侧kylin预计算数据Ø业务切换查询地址为华为侧地址回滚步骤:Ø切换到华为云地址后,如出现短时间无法解决问题,业务切换查询地址为腾讯侧地址XXkylin迁移&割接方案:cid:link_0使用LTS/BDS迁移Hbase指导:cid:link_1
-
案例简介: XX成立于2015年,是目前全球UGC赛道最大的中国游戏公司,在全球拥有XX万注册用户,覆盖美国、新加坡、港澳台、法国、阿联酋、巴西等XX个国家。目前客户现网以AWS+GCP部署为主,目前在AWS一年消耗XXWUSD,主要为业务大厅服源站以及数据收集和分析功能,包含大数据、数据库等业务,GCP一年消耗XXWUSD,主要为业务战斗服,包含服务器和流量业务,本次迁移客户有待迁移Redis实例XX个。数据迁移:1、确认客户业务停止,无应用访问Elastic Cache;2、在AWS源端控制台Elastic Cache导出全量备份文件;3、通过公网传输至华为云,检查备份文件MD5码前后是否一致,使用Redis-Shake工具将数据恢复到GeminiDB Redis中。4、进行数据校验,对GeminiDB Redis进行key值校验;5、数据校验通过后,应用链接GeminiDB Redis实例开始对外提供业务。数据校验:1、查询迁移后源端和目的端内存占用量是否一致;2、使用info keyspace语句查询并对比源端和目的端的key数量是否一致;3、使用脚本随机多次进行抽样内容校验。(客户数据部分具有时效性,可能存在因源端数据过期后源端和目的端前后数据不一致的问题,需要手动查询不一致的数据是否因数据过期引起)。回退方案(A-B-A):1、AWS侧创建Elastic Cache备用实例,承接回退实例数据2、配置GeminiDB Redis到AWS EC2的DRS全量链路,EC2与Elastic Cache配置SSH隧道;3、启动DRS任务,全量完成后,进行数据校验;4、数据校验通过后,应用修改数据库链接为AWS Elastic Cache备用实例。
-
案例简介: XX公司成立于2016年,短短六年间,XX依托于自身在人工智能、大数据领域的技术优势,和丰富的教学资源,已占领法考在线教育领域XX以上的市场份额,用户数量全国第一。近年业务也在向CPA和英语在线培训领域快速发展。 目前XX业务全量部署在A3云上,云空间XX万左右。 此次迁移是XX A3部署的法考、CPA、官网等业务系统。 方案描述:平台部署:网络打通;华为各云服务开通;自建服务的搭建和对接业务表的创建:在DWS里面进行业务模型表的重建(分布列、分区列、冷热策略、行列存储,业务逻辑主键)数据迁移:离线Hive数仓各层数据迁移(客户自己通过回退的方式把数据会退到PoloDB中,再通过gaussdb同步到DWS);实时听课数据通过DMS接进,然后通过flink消费,最后落进DWS。由于kudu数据不大客户自己写进DWS; PoloDB全量+增量数据通过gaussdb同步到DWS。历史数据的处理:数据的打宽,清洗作业迁移:设计所有业务的数据打宽,清洗逻辑重构,DGC作业的配置及调度数据以及性能的校验:1.历史数据的验证.2.实时增量数据的验,验证范围(所有表)3.实时流程性能验证,4.主要业务场景验证。5.Polo到gaussdb后记录数据量验证。割接:停止往Polo写数据,切换到gaussdb ,埋点数据写进DMS,停止阿里的离线作业,DWS同步正常,flink作业验证正常,观察业务运行状态,核对数据正确性,完成业务割接。
-
案例简介:XX公司成立于2015年,是目前全球UGC赛道最大的中国游戏公司,在全球拥有XX万注册用户,覆盖美国、新加坡、港澳台、法国、阿联酋、巴西等XX个国家。目前客户现网以AWS+GCP部署为主,目前在AWS一年消耗XXWUSD,主要为业务大厅服源站以及数据收集和分析功能,包含大数据、数据库等业务,GCP一年消耗XXUSD,主要为业务战斗服,包含服务器和流量业务,本次迁移包含DynamoDB(XX张表,XTB)需要跨云平台迁移。方案描述:数据迁移:1、在华为云申请ECS主机用于安装DynamoMigration;2、配置DynamoMigration参数文件;3、启动DynamoMigration进行全量迁移;4、全量迁移完成后,对数据进行抽检,检查数据一致性校验;5、数据校验通过后,停止DynamoMigration服务,业务连接华为云GaussDB for Cassandra实例开始对外提供业务。回退方案:1、AWS侧创建备用表,承接回退数据;2、配置DynamoMigration配置文件,建立华为云-AWS全量迁移链路;3、待全量迁移完成后,对数据一致性进行校验4、数据校验通过后,停止DynamoMigration服务,应用修改数据库链接为AWS 实例备用表,对外提供业务。
-
本文档包含以下四部分:1、XX应用系统架构和关联关系调研模板2、XX应用系统资源详细清单调研模板3、应用上云迁移调研访谈提纲和调研表汇总4、项目调研总结模板注:本文档全部或部份内容仅用于本迁移项目,供客户授权的华为工程师和客户内部授权人员参考,严禁用于其他任何用途或交与第三方。
-
迁移流程包括:前期客户调研、信息收集、迁移风险评估>制定迁移计划、迁移方案>迁移预实施(迁移工具测试、方案测试)>迁移实施>迁移后业务验证、数据校验>现场保障、运维交接>项目验收业务迁移实施顺序:基础服务--开放测试系统--办公系统--IT管理系统--业务系统迁移前作信息收集+风险容量评估(软硬件版本、规格、参数、性能容量、兼容性+迁移风险点等作信息收集)迁移方案制定(确定迁移方式、迁移工具、迁移团队、迁移时间、回退方案等) 迁移方式:P2P/P2V/V2P/V2V(根据客户实际场景决定)迁移预实施+整体逐步逐层实施(利用迁移方案预实施少量节点---分批次(业务系统最后)+分层次(数据层最后)进行整体迁移)迁移后业务测试+数据检验(对于迁移业务进行业务拉起和连通性测试+网络质量+数据完整度等)迁移现场保障+后期维保(迁移完成后需留场进行业务保障-后续业务在维保期继续关注)项目验收三大层次迁移工具或服务选择:数据层迁移若采用工具流:可使用HyperReplication/HyperMetro/LUN COPY/ eRplication…若采用公有云服务:可使用DES数据快递服务;平台层(数据库迁移为例)若采用工具流;Oracle Golden Gate/Data guard/Always On/数据库自带迁移工具等若采用公有云服务:DRS(偏同构数据库)+UGO(偏异构数据库-可翻译为GaussDB统一命令)应用层工具流:eBackup/Rainbow等…服务流:SMS主机迁移服务
-
使用公网迁移(rclone工具)按照这个文章操作,mount -t nfs -o vers=3,timeo=600,noresvport,nolock 本地NAS挂载地址 /mnt/src 这一步挂载一直超时失败,SFS可以挂载成功,请问下NAS本地挂载地址是指啥
-
一、数据迁移方式公有云服务:1、 可以使用公有云数据快递服务DES服务,是面向TB到数百TB级别数据上云的数据服务2、 若涉及数据库迁移部分,则可采用DRS3、异构数据库迁移,使用数据库和应用迁移服务UGO技术层工具流:1、 利用企业级存储hyperreplication+hyperMetro(复制+双活)+lun拷贝等特性2、 利用容灾数据复制工作(如Ereplication)3、oracle用ORACLE Golden Gate/MS Data Guard(DG)二、数据层、平台层、应用层迁移数据层迁移若采用工具流: 1、利用企业级存储hyperreplication+hyperMetro(复制+双活)+lun拷贝+eRplication等;公有云服务:1、可以使用公有云数据快递DES服务(数据快递服务(Data Express Service, DES)是面向TB到数百TB级数据上云的传输服务);平台层迁移若采用工具流: Oracle Golden/Data guard/Always On/数据库自带迁移工具等;若采用公有云服务:DRS(偏同构数据库)+UGO(偏异构数据库)应用层迁移工具流:eBackup/Rainbow等服务流:SMS主机迁移服务三、EVS、SFS、OBS迁移1、EVS公有云服务:1. 可以使用公有云数据快递DES服务(数据快递服务(Data Express Service,DES)是面向TB到数百TB级数据上云的传输服务)2. 若涉及到数据库迁移部分,则可采用DRS(数据复制服务)3、SMS主机迁移技术层工具流:1. 利用企业级存储hyperreplication+hyperMetro(复制+双活)+lun拷贝等特性2. 利用容灾数据复制工具(如Ereplication等)2、SFShttps://support.huaweicloud.com/bestpractice-sfs/sfs_03_0006.html1、通过mount方式挂载访问SFS Turbo,将本地NAS存储中的数据迁移至SFS Turbo。通过云专线迁移(rclone工具)、通过云专线迁移(rsync工具)。2、法打通网络直接挂载,可以通过公网访问华为云ECS绑定的EIP,也可进行传输迁移。使用公网迁移(rclone工具)。3、英方工具I2NAS3、OBScid:link_0https://support.huaweicloud.com/bestpractice-obs/obs_05_0220.html搬迁本地数据至OBS:OBS工具、CDM、DES、DES Teleport、云专线迁移第三方云厂商数据至OBS:OMS、CDM、镜像回源OBS之间数据迁移(跨帐号、跨区域以及同区域内数据迁移):OMS离线迁移:通过上传OBS四、各个迁移服务的区别https://support.huaweicloud.com/cdm_faq/cdm_01_0255.html#cdm_01_0255__section37162116176五、MYSQL、SQL Server、Oracle迁移1、MysqlMysql dump、DRSMysql dump步骤: 1.使用mysqldump导出自建数据库的数据2.将导出的两个文件上传到ECS实例上3.将导出的文件导入到目标RDS中4.导入成功后登录RDS实例数据库中查看数据是否正常。DRS:https://support.huaweicloud.com/bestpractice-drs/drs_02_0008.html2、SQL ServerSQL Server导入导出功能、DRS备份迁移SQL Server导入导出步骤:1.登录控制台,选择“数据库 > 云数据库 RDS”“实例管理”页面,选择目标实例,单击实例名称,进入实例的“基本信息”页签。2.在“基本信息”页签下单击“绑定”,在弹出框选择对应的弹性IP。3.在本地安装SQL Server客户端管理工具,通过弹性IP进行连接4.通过SQL Server自带的脚本生成工具,生成ECS上的数据库结构脚本5.在SSMS客户端中打开生成的脚本SQL文件,连接到RDS对应实例上。6.完成以上步骤后通过SQL Server自带的导入导出功能完成数据迁移。DRS备份迁移步骤:https://support.huaweicloud.com/backupmig-drs/drs_02_0009.html3、ORACLE采用工具流至云下或云上自建oracle:Oracle Golden Gate/Data guard/Always On/数据库自带迁移工具等;采用公有云服务迁移至云数据库GaussDB:UGO+DRS 采用公有云服务迁移至云数据仓库DEW:CDM(云数据迁移)、备份迁移迁移到裸金属上自建ORACLE:Golden Gate、Data Guard、Always on迁移到PostgreSql:CDM,UGO+DRSGolden Gate步骤:• 利用抽取进程(Extract Process)在源端数据库中读取Online Redo Log或者Archive Log,然后进行解析,只提取其中数据的变化信息,比如DML操作——增、删、改操作• 将抽取的信息转换为GoldenGate自定义的中间格式存放在队列文件(trail file)中• 再利用传输进程将队列文件(trail file)通过TCP/IP传送到目标系统。• 目标端有一个进程叫Server Collector,这个进程接受了从源端传输过来的数据变化信息• 把信息缓存到GoldenGate 队列文件(trail file)当中,等待目标端的复制进程读取数据。• GoldenGate 复制进程(replicat process)从队列文件(trail file)中读取数据变化信息,并创建对应的SQL语句,通过数据库的本地接口执行,提交到目标端数据库,提交成功后更新自己的检查点,记录已经完成复制的位置,数据的复制过程最终完成。UGO+DRS步骤:https://support.huaweicloud.com/bestpractice-ugo/ugo_06_0002.htmlCDM迁移步骤:https://support.huaweicloud.com/usermanual-cdm/cdm_01_0332.html六、迁移流程套话迁移分为迁移前调研、迁移上云评估、迁移方案制定、迁移方案测试(验证方案的正确性及可实施性,工具选择验证等)、迁移分级分布实施(先迁普通业务再迁核心业务)、迁移验收测试、迁移维保等阶段展开。1.迁移前作信息收集+风险点评估 信息收集:软硬件版本、规格、参数、性能容量、兼容性等参数收集; 风险评估:对系统软硬件环境进行评估是否适合迁移及迁移风险点。2.迁移方案制定 根据业务实际场景,确定迁移方式、迁移工具、迁移团队、分工界面、迁移时间、回退方案等关键点,形成具体的迁移方案和实施步骤。 其中迁移方式可根据实际的迁移场景,分为P2P/P2V/V2P/V2V。3.迁移预实施+整体逐批逐层实施 根据迁移方案预实施少量节点,对于重要业务提前进行应急预案演练,及时发现问题修改方案,确保迁移的顺利性;预实施完成后,分批次(业务系统最后)、分层次(数据层最后)进行系统整体迁移。4.迁移后业务测试+数据检验 对于迁移业务进行业务拉起和连通性测试,对系统网络质量和数据完整度等方面进行验证。5.迁移现场保障+后期维保 迁移完成后需留场进行业务保障,后续业务在维保期继续关注运行状态。6.项目验收七、在线迁移、离线迁移在线迁移:在系统不停机的情况下,将服务器或虚拟机上的系统、服务程序等从自建机房(IDC)或云平台等源环境迁移同步至云上,方便实现企业上云、跨云平台迁移、跨账号/区域迁移或部署混合云等业务需求。在线迁移无需制作镜像,直接在源端服务器运行迁移工具,即可将源端服务器迁移至指定的腾讯云云服务器。在线迁移服务:DRS实时迁移、SMS、OMS离线迁移:离线迁移需要先将源端服务器的系统盘或数据盘制作成镜像,再将镜像迁移至您指定的云服务器或云硬盘。(1)离线实例迁移:将系统盘镜像(若需同时迁移实例已挂载的数据盘,则可将系统盘镜像和数据盘镜像)迁入至指定的云服务器。(2)离线数据迁移:将数据盘镜像迁入至指定的云硬盘。离线迁移方法:DRS备份迁移、镜像导入到OBS再恢复、DES数据快递服务
上滑加载中
推荐直播
-
DTT年度收官盛典:华为开发者空间大咖汇,共探云端开发创新
2025/01/08 周三 16:30-18:00
Yawei 华为云开发工具和效率首席专家 Edwin 华为开发者空间产品总监
数字化转型进程持续加速,驱动着技术革新发展,华为开发者空间如何巧妙整合鸿蒙、昇腾、鲲鹏等核心资源,打破平台间的壁垒,实现跨平台协同?在科技迅猛发展的今天,开发者们如何迅速把握机遇,实现高效、创新的技术突破?DTT 年度收官盛典,将与大家共同探索华为开发者空间的创新奥秘。
去报名 -
GaussDB应用实战:手把手带你写SQL
2025/01/09 周四 16:00-18:00
Steven 华为云学堂技术讲师
本期直播将围绕数据库中常用的数据类型、数据库对象、系统函数及操作符等内容展开介绍,帮助初学者掌握SQL入门级的基础语法。同时在线手把手教你写好SQL。
去报名
热门标签