- 问题描述cdm新建kafka连接，点测试或者保存 提示 系统错误。 (Cdm.0000)问题分析1.排查网络问题用户kafka 集群和CDM集群在一个VPC下，并且kafka所在安全组的入方向规则已针对CDM集群全部放通，CDM所在安全组出方向规则全部放通，排除网络问题2.排查权限，经分析是用户使用的账户没有ssl没权限 使用其他账号测试，ok，最中确定是客户ROOT用户没有SSL权限，另外... 问题描述cdm新建kafka连接，点测试或者保存 提示 系统错误。 (Cdm.0000)问题分析1.排查网络问题用户kafka 集群和CDM集群在一个VPC下，并且kafka所在安全组的入方向规则已针对CDM集群全部放通，CDM所在安全组出方向规则全部放通，排除网络问题2.排查权限，经分析是用户使用的账户没有ssl没权限 使用其他账号测试，ok，最中确定是客户ROOT用户没有SSL权限，另外...
- 简介CDM在文件到文件的迁移过程中，目的端默认与源端目录结构保持一致。然而，有些客户想按照一定规则设置目的端的目录结构。接下来本篇博客将教你如何自定义目的端目录结构。需求场景用户想将源端的文件迁移到自定义的目的端目录中，目录结构对应关系如下：解决方案点击新建作业，点击目的端配置的高级配置找到层次目录配置，可以看到自定义目录层次的输入窗口。目录层次有三个重要功能可以通过inputPath这个预... 简介CDM在文件到文件的迁移过程中，目的端默认与源端目录结构保持一致。然而，有些客户想按照一定规则设置目的端的目录结构。接下来本篇博客将教你如何自定义目的端目录结构。需求场景用户想将源端的文件迁移到自定义的目的端目录中，目录结构对应关系如下：解决方案点击新建作业，点击目的端配置的高级配置找到层次目录配置，可以看到自定义目录层次的输入窗口。目录层次有三个重要功能可以通过inputPath这个预...
- 简介CDM支持对源端的文件进行正则表达式，通配符过滤，以此来满足客户迁移源端部分数据的需求。配置指导点击新建作业，选择文件类连接器如obs，sftp, hdfs 等，点击高级配置通配符过滤假设用户想过滤 输入目录下所有后缀为.csv 或者的文件则可以设置过滤器为*.csv。正则表达式过滤通配符不一定满足客户的所有场景，所以cdm还提供了正则表达式过滤。假设用户想匹配文件名为数字，后缀为log... 简介CDM支持对源端的文件进行正则表达式，通配符过滤，以此来满足客户迁移源端部分数据的需求。配置指导点击新建作业，选择文件类连接器如obs，sftp, hdfs 等，点击高级配置通配符过滤假设用户想过滤 输入目录下所有后缀为.csv 或者的文件则可以设置过滤器为*.csv。正则表达式过滤通配符不一定满足客户的所有场景，所以cdm还提供了正则表达式过滤。假设用户想匹配文件名为数字，后缀为log...
- CDM支持将第三方云上对象存储的数据直接迁移到OBS，无需中转和写代码，实现数据直传。这里以迁移阿里云OSS的文件到OBS为例，介绍CDM的使用方法，流程如下：准备数据l 阿里云OSS的外网访问域名，例如：oss-cn-hangzhou.aliyuncs.com。l 阿里云OSS的访问密钥，或者临时访问密钥、安全令牌。l OBS的访问域名、端口和AK、SK。创建CDM集群并绑定E... CDM支持将第三方云上对象存储的数据直接迁移到OBS，无需中转和写代码，实现数据直传。这里以迁移阿里云OSS的文件到OBS为例，介绍CDM的使用方法，流程如下：准备数据l 阿里云OSS的外网访问域名，例如：oss-cn-hangzhou.aliyuncs.com。l 阿里云OSS的访问密钥，或者临时访问密钥、安全令牌。l OBS的访问域名、端口和AK、SK。创建CDM集群并绑定E...
- 在迁移文件到文件系统时，CDM支持对文件进行AES-256-GCM或KMS加密AES-256-GCM加密简介目前只支持AES-256-GCM（NoPadding）。该加密算法在目的端为加密，在源端为解密，支持的源端与目的端数据源如下。源端支持的数据源：OBS、FTP、SFTP、NAS、SFS、HDFS（使用二进制格式传输时支持）、HTTP（适用于OBS共享文件的下载场景）。目的端支持的数据源... 在迁移文件到文件系统时，CDM支持对文件进行AES-256-GCM或KMS加密AES-256-GCM加密简介目前只支持AES-256-GCM（NoPadding）。该加密算法在目的端为加密，在源端为解密，支持的源端与目的端数据源如下。源端支持的数据源：OBS、FTP、SFTP、NAS、SFS、HDFS（使用二进制格式传输时支持）、HTTP（适用于OBS共享文件的下载场景）。目的端支持的数据源...
- 迁移模式CDM数据迁移以抽取-写入模式进行，CDM首先从源端抽取数据，然后将数据写入到目的端。在迁移文件到OBS时，迁移模式下图所示。在这个过程中，CDM支持使用MD5检验文件一致性，配置参数如图9-14所示。抽取时1）校验CDM抽取的文件，是否与源文件一致。2）能由源端作业参数“MD5文件名后缀”控制，配置为源端文件系统中的MD5文件名后缀。3）端数据文件同一目录下有对应后缀的保存md5值... 迁移模式CDM数据迁移以抽取-写入模式进行，CDM首先从源端抽取数据，然后将数据写入到目的端。在迁移文件到OBS时，迁移模式下图所示。在这个过程中，CDM支持使用MD5检验文件一致性，配置参数如图9-14所示。抽取时1）校验CDM抽取的文件，是否与源文件一致。2）能由源端作业参数“MD5文件名后缀”控制，配置为源端文件系统中的MD5文件名后缀。3）端数据文件同一目录下有对应后缀的保存md5值...
- 通过CDM将DWS的数据归档到OBS上 通过CDM将DWS的数据归档到OBS上
- MySQL整库迁移到云上RDS服务操作场景本章节介绍使用CDM整库迁移功能，将本地MySQL数据库迁移到云服务RDS中。当前CDM支持将本地MySQL数据库，整库迁移到RDS上的MySQL、PostgreSQL或者Microsoft SQL Server任意一种数据库中。这里以整库迁移到RDS上的MySQL数据库（云数据库 MySQL）为例进行介绍，使用流程如下：1）创建CDM集群并绑定EI... MySQL整库迁移到云上RDS服务操作场景本章节介绍使用CDM整库迁移功能，将本地MySQL数据库迁移到云服务RDS中。当前CDM支持将本地MySQL数据库，整库迁移到RDS上的MySQL、PostgreSQL或者Microsoft SQL Server任意一种数据库中。这里以整库迁移到RDS上的MySQL数据库（云数据库 MySQL）为例进行介绍，使用流程如下：1）创建CDM集群并绑定EI...
- MySQL数据库迁移到云上MRS Hive分区表简介MapReduce服务（MapReduce Service，简称MRS）是华为云提供的企业级大数据集群云服务，里面包含HDFS、Hive、Spark等组件，适用于企业海量数据分析。其中Hive提供类SQL查询语言，帮助用户对大规模的数据进行提取、转换和加载，即通常所称的ETL（Extraction，Transformation，and Lo... MySQL数据库迁移到云上MRS Hive分区表简介MapReduce服务（MapReduce Service，简称MRS）是华为云提供的企业级大数据集群云服务，里面包含HDFS、Hive、Spark等组件，适用于企业海量数据分析。其中Hive提供类SQL查询语言，帮助用户对大规模的数据进行提取、转换和加载，即通常所称的ETL（Extraction，Transformation，and Lo...
- OBS到DLI迁移介绍操作场景数据湖探索（DLI）提供大数据查询服务，本章节介绍使用CDM将OBS的数据迁移到DLI，使用流程如下：前提条件已经开通了OBS和DLI。已经在DLI服务中创建好资源队列、数据库和表。迁移流程1.创建CDM集群登录CDM管理控制台，根据实际情况选择操作：如果您已拥有CDM集群，则直接单击集群后的“作业管理”，继续创建连接即可。如果没有，则单击“购买云数据迁移服务”... OBS到DLI迁移介绍操作场景数据湖探索（DLI）提供大数据查询服务，本章节介绍使用CDM将OBS的数据迁移到DLI，使用流程如下：前提条件已经开通了OBS和DLI。已经在DLI服务中创建好资源队列、数据库和表。迁移流程1.创建CDM集群登录CDM管理控制台，根据实际情况选择操作：如果您已拥有CDM集群，则直接单击集群后的“作业管理”，继续创建连接即可。如果没有，则单击“购买云数据迁移服务”...
- 数据库增量迁移功能简介CDM支持对关系型数据库进行增量迁移，全量迁移完成之后，可以增量迁移指定字段值以上的数据（例如每次启动作业时只导出“date”值大于“2017-10-16 19:00:00”的数据），或者增量迁移指定时间段内的数据（例如每天晚上0点导出前一天新增的数据）。主要功能增量迁移大于指定字段值的数据适用场景：源端和目的端都为关系型数据库。关键配置：续传标记字段+5.6 配置定时... 数据库增量迁移功能简介CDM支持对关系型数据库进行增量迁移，全量迁移完成之后，可以增量迁移指定字段值以上的数据（例如每次启动作业时只导出“date”值大于“2017-10-16 19:00:00”的数据），或者增量迁移指定时间段内的数据（例如每天晚上0点导出前一天新增的数据）。主要功能增量迁移大于指定字段值的数据适用场景：源端和目的端都为关系型数据库。关键配置：续传标记字段+5.6 配置定时...
- 文件增量迁移文件增量迁移是指：筛选源端的部分数据迁移到目的端，目前cdm支持使用时间宏、通配符和正则表达式的筛选方式。增量迁移方式增量导出全部新增的文件适用场景：源端和目的端数据源都为文件类型（OBS/OSS/HDFS/FTP/SFTP/NAS）。关键配置：跳过重复文件+5.6 配置定时任务。前提条件：无。增量导出指定目录的文件适用场景：源端数据源为文件类型（OBS/OSS/HDFS/FTP... 文件增量迁移文件增量迁移是指：筛选源端的部分数据迁移到目的端，目前cdm支持使用时间宏、通配符和正则表达式的筛选方式。增量迁移方式增量导出全部新增的文件适用场景：源端和目的端数据源都为文件类型（OBS/OSS/HDFS/FTP/SFTP/NAS）。关键配置：跳过重复文件+5.6 配置定时任务。前提条件：无。增量导出指定目录的文件适用场景：源端数据源为文件类型（OBS/OSS/HDFS/FTP...
- 1、背景场景：账户A在obsbrowser上授权某个目录folder1可以被其子用户poc-user1访问。现在账户B需要通过CDM把账户A这个目录的数据迁移到自己桶的目标目录中。防止账户B知道账户A的信息，所以账户A将这个目录授权给了自己的子用户poc-user1，然后账户B就可以利用账户A子用户的AKSK来迁移账户A目录的数据到自己桶中。2、验证问题经过抽象分析，现模拟以下场景进行测试：... 1、背景场景：账户A在obsbrowser上授权某个目录folder1可以被其子用户poc-user1访问。现在账户B需要通过CDM把账户A这个目录的数据迁移到自己桶的目标目录中。防止账户B知道账户A的信息，所以账户A将这个目录授权给了自己的子用户poc-user1，然后账户B就可以利用账户A子用户的AKSK来迁移账户A目录的数据到自己桶中。2、验证问题经过抽象分析，现模拟以下场景进行测试：...
- 数据湖工厂服务（Data Lake Factory，简称DLF）是华为云大数据重要的平台产品，它可管理多种大数据服务，提供一站式的大数据开发环境、全托管的大数据调度能力，极大降低用户使用大数据的门槛，帮助用户快速构建大数据处理中心。 数据湖工厂服务（Data Lake Factory，简称DLF）是华为云大数据重要的平台产品，它可管理多种大数据服务，提供一站式的大数据开发环境、全托管的大数据调度能力，极大降低用户使用大数据的门槛，帮助用户快速构建大数据处理中心。
- sdfsdf 准备数据：手工将测试数据数据上传到OBS 在云搜索服务创建搜索 在数据迁移服务，创建云搜索服务连接。 在数据迁移服务下，创建导入从OBS导入数据到云搜索服务作业。 在云搜索服务下，搜索导入结果。 sdfsdf 准备数据：手工将测试数据数据上传到OBS 在云搜索服务创建搜索 在数据迁移服务，创建云搜索服务连接。 在数据迁移服务下，创建导入从OBS导入数据到云搜索服务作业。 在云搜索服务下，搜索导入结果。
上滑加载中
推荐直播
-
2024创原会年度技术峰会2024/12/20 周五 09:00-12:00
华为云讲师团
2024创原会年度技术峰会将于12月20日在海南万宁石梅湾威斯汀酒店举办，本次大会将以“智能・进化”为主题探讨从Cloud Native到AI Native的新阶段企业如何通过AI技术重塑企业应用，围绕AI如何在千行万业落地进行深入交流，探索可以先行先试先成功的创新场景和实现路径。
回顾中 -
华为云开发者日·2024年度创享峰会2024/12/23 周一 14:00-16:00
华为云讲师团
华为云开发者日HDC.Cloud Day是面向全球开发者的旗舰活动，汇聚来自千行百业、高校及科研院所的开发人员。致力于打造开发者专属的技术盛宴，全方位服务与赋能开发者围绕华为云生态“知、学、用、创、商”的成长路径。通过前沿的技术分享、场景化的动手体验、优秀的应用创新推介，为开发者提供沉浸式学习与交流平台。开放创新，与开发者共创、共享、共赢未来。
去报名 -
GaussDB管理平台TPOPS，DBA高效运维的一站式解决方案2024/12/24 周二 16:30-18:00
Leo 华为云数据库DTSE技术布道师
数据库的复杂运维，是否让你感到头疼不已？今天，华为云GaussDB管理平台将彻底来改观！本期直播，我们将深入探索GaussDB管理平台的TPOPS功能，带你感受一键式部署安装的便捷，和智能化运维管理的高效，让复杂的运维、管理变得简单，让简单变得可靠。
去报名
热门标签