- CDM文件到表迁移时难免受脏数据干扰，导致迁移任务失败。为了规避脏数据干扰，配置任务时在高级属性配置（是否写入脏数据选填是）脏数据归档相关信息。 CDM文件到表迁移时难免受脏数据干扰，导致迁移任务失败。为了规避脏数据干扰，配置任务时在高级属性配置（是否写入脏数据选填是）脏数据归档相关信息。
- 问题描述cdm新建kafka连接，点测试或者保存 提示 系统错误。 (Cdm.0000)问题分析1.排查网络问题用户kafka 集群和CDM集群在一个VPC下，并且kafka所在安全组的入方向规则已针对CDM集群全部放通，CDM所在安全组出方向规则全部放通，排除网络问题2.排查权限，经分析是用户使用的账户没有ssl没权限 使用其他账号测试，ok，最中确定是客户ROOT用户没有SSL权限，另外... 问题描述cdm新建kafka连接，点测试或者保存 提示 系统错误。 (Cdm.0000)问题分析1.排查网络问题用户kafka 集群和CDM集群在一个VPC下，并且kafka所在安全组的入方向规则已针对CDM集群全部放通，CDM所在安全组出方向规则全部放通，排除网络问题2.排查权限，经分析是用户使用的账户没有ssl没权限 使用其他账号测试，ok，最中确定是客户ROOT用户没有SSL权限，另外...
- 简介CDM在文件到文件的迁移过程中，目的端默认与源端目录结构保持一致。然而，有些客户想按照一定规则设置目的端的目录结构。接下来本篇博客将教你如何自定义目的端目录结构。需求场景用户想将源端的文件迁移到自定义的目的端目录中，目录结构对应关系如下：解决方案点击新建作业，点击目的端配置的高级配置找到层次目录配置，可以看到自定义目录层次的输入窗口。目录层次有三个重要功能可以通过inputPath这个预... 简介CDM在文件到文件的迁移过程中，目的端默认与源端目录结构保持一致。然而，有些客户想按照一定规则设置目的端的目录结构。接下来本篇博客将教你如何自定义目的端目录结构。需求场景用户想将源端的文件迁移到自定义的目的端目录中，目录结构对应关系如下：解决方案点击新建作业，点击目的端配置的高级配置找到层次目录配置，可以看到自定义目录层次的输入窗口。目录层次有三个重要功能可以通过inputPath这个预...
- 简介CDM支持对源端的文件进行正则表达式，通配符过滤，以此来满足客户迁移源端部分数据的需求。配置指导点击新建作业，选择文件类连接器如obs，sftp, hdfs 等，点击高级配置通配符过滤假设用户想过滤 输入目录下所有后缀为.csv 或者的文件则可以设置过滤器为*.csv。正则表达式过滤通配符不一定满足客户的所有场景，所以cdm还提供了正则表达式过滤。假设用户想匹配文件名为数字，后缀为log... 简介CDM支持对源端的文件进行正则表达式，通配符过滤，以此来满足客户迁移源端部分数据的需求。配置指导点击新建作业，选择文件类连接器如obs，sftp, hdfs 等，点击高级配置通配符过滤假设用户想过滤 输入目录下所有后缀为.csv 或者的文件则可以设置过滤器为*.csv。正则表达式过滤通配符不一定满足客户的所有场景，所以cdm还提供了正则表达式过滤。假设用户想匹配文件名为数字，后缀为log...
- CDM支持将第三方云上对象存储的数据直接迁移到OBS，无需中转和写代码，实现数据直传。这里以迁移阿里云OSS的文件到OBS为例，介绍CDM的使用方法，流程如下：准备数据l 阿里云OSS的外网访问域名，例如：oss-cn-hangzhou.aliyuncs.com。l 阿里云OSS的访问密钥，或者临时访问密钥、安全令牌。l OBS的访问域名、端口和AK、SK。创建CDM集群并绑定E... CDM支持将第三方云上对象存储的数据直接迁移到OBS，无需中转和写代码，实现数据直传。这里以迁移阿里云OSS的文件到OBS为例，介绍CDM的使用方法，流程如下：准备数据l 阿里云OSS的外网访问域名，例如：oss-cn-hangzhou.aliyuncs.com。l 阿里云OSS的访问密钥，或者临时访问密钥、安全令牌。l OBS的访问域名、端口和AK、SK。创建CDM集群并绑定E...
- 在迁移文件到文件系统时，CDM支持对文件进行AES-256-GCM或KMS加密AES-256-GCM加密简介目前只支持AES-256-GCM（NoPadding）。该加密算法在目的端为加密，在源端为解密，支持的源端与目的端数据源如下。源端支持的数据源：OBS、FTP、SFTP、NAS、SFS、HDFS（使用二进制格式传输时支持）、HTTP（适用于OBS共享文件的下载场景）。目的端支持的数据源... 在迁移文件到文件系统时，CDM支持对文件进行AES-256-GCM或KMS加密AES-256-GCM加密简介目前只支持AES-256-GCM（NoPadding）。该加密算法在目的端为加密，在源端为解密，支持的源端与目的端数据源如下。源端支持的数据源：OBS、FTP、SFTP、NAS、SFS、HDFS（使用二进制格式传输时支持）、HTTP（适用于OBS共享文件的下载场景）。目的端支持的数据源...
- 迁移模式CDM数据迁移以抽取-写入模式进行，CDM首先从源端抽取数据，然后将数据写入到目的端。在迁移文件到OBS时，迁移模式下图所示。在这个过程中，CDM支持使用MD5检验文件一致性，配置参数如图9-14所示。抽取时1）校验CDM抽取的文件，是否与源文件一致。2）能由源端作业参数“MD5文件名后缀”控制，配置为源端文件系统中的MD5文件名后缀。3）端数据文件同一目录下有对应后缀的保存md5值... 迁移模式CDM数据迁移以抽取-写入模式进行，CDM首先从源端抽取数据，然后将数据写入到目的端。在迁移文件到OBS时，迁移模式下图所示。在这个过程中，CDM支持使用MD5检验文件一致性，配置参数如图9-14所示。抽取时1）校验CDM抽取的文件，是否与源文件一致。2）能由源端作业参数“MD5文件名后缀”控制，配置为源端文件系统中的MD5文件名后缀。3）端数据文件同一目录下有对应后缀的保存md5值...
- 通过CDM将DWS的数据归档到OBS上 通过CDM将DWS的数据归档到OBS上
- MySQL整库迁移到云上RDS服务操作场景本章节介绍使用CDM整库迁移功能，将本地MySQL数据库迁移到云服务RDS中。当前CDM支持将本地MySQL数据库，整库迁移到RDS上的MySQL、PostgreSQL或者Microsoft SQL Server任意一种数据库中。这里以整库迁移到RDS上的MySQL数据库（云数据库 MySQL）为例进行介绍，使用流程如下：1）创建CDM集群并绑定EI... MySQL整库迁移到云上RDS服务操作场景本章节介绍使用CDM整库迁移功能，将本地MySQL数据库迁移到云服务RDS中。当前CDM支持将本地MySQL数据库，整库迁移到RDS上的MySQL、PostgreSQL或者Microsoft SQL Server任意一种数据库中。这里以整库迁移到RDS上的MySQL数据库（云数据库 MySQL）为例进行介绍，使用流程如下：1）创建CDM集群并绑定EI...
- MySQL数据库迁移到云上MRS Hive分区表简介MapReduce服务（MapReduce Service，简称MRS）是华为云提供的企业级大数据集群云服务，里面包含HDFS、Hive、Spark等组件，适用于企业海量数据分析。其中Hive提供类SQL查询语言，帮助用户对大规模的数据进行提取、转换和加载，即通常所称的ETL（Extraction，Transformation，and Lo... MySQL数据库迁移到云上MRS Hive分区表简介MapReduce服务（MapReduce Service，简称MRS）是华为云提供的企业级大数据集群云服务，里面包含HDFS、Hive、Spark等组件，适用于企业海量数据分析。其中Hive提供类SQL查询语言，帮助用户对大规模的数据进行提取、转换和加载，即通常所称的ETL（Extraction，Transformation，and Lo...
- OBS到DLI迁移介绍操作场景数据湖探索（DLI）提供大数据查询服务，本章节介绍使用CDM将OBS的数据迁移到DLI，使用流程如下：前提条件已经开通了OBS和DLI。已经在DLI服务中创建好资源队列、数据库和表。迁移流程1.创建CDM集群登录CDM管理控制台，根据实际情况选择操作：如果您已拥有CDM集群，则直接单击集群后的“作业管理”，继续创建连接即可。如果没有，则单击“购买云数据迁移服务”... OBS到DLI迁移介绍操作场景数据湖探索（DLI）提供大数据查询服务，本章节介绍使用CDM将OBS的数据迁移到DLI，使用流程如下：前提条件已经开通了OBS和DLI。已经在DLI服务中创建好资源队列、数据库和表。迁移流程1.创建CDM集群登录CDM管理控制台，根据实际情况选择操作：如果您已拥有CDM集群，则直接单击集群后的“作业管理”，继续创建连接即可。如果没有，则单击“购买云数据迁移服务”...
- 数据库增量迁移功能简介CDM支持对关系型数据库进行增量迁移，全量迁移完成之后，可以增量迁移指定字段值以上的数据（例如每次启动作业时只导出“date”值大于“2017-10-16 19:00:00”的数据），或者增量迁移指定时间段内的数据（例如每天晚上0点导出前一天新增的数据）。主要功能增量迁移大于指定字段值的数据适用场景：源端和目的端都为关系型数据库。关键配置：续传标记字段+5.6 配置定时... 数据库增量迁移功能简介CDM支持对关系型数据库进行增量迁移，全量迁移完成之后，可以增量迁移指定字段值以上的数据（例如每次启动作业时只导出“date”值大于“2017-10-16 19:00:00”的数据），或者增量迁移指定时间段内的数据（例如每天晚上0点导出前一天新增的数据）。主要功能增量迁移大于指定字段值的数据适用场景：源端和目的端都为关系型数据库。关键配置：续传标记字段+5.6 配置定时...
- 文件增量迁移文件增量迁移是指：筛选源端的部分数据迁移到目的端，目前cdm支持使用时间宏、通配符和正则表达式的筛选方式。增量迁移方式增量导出全部新增的文件适用场景：源端和目的端数据源都为文件类型（OBS/OSS/HDFS/FTP/SFTP/NAS）。关键配置：跳过重复文件+5.6 配置定时任务。前提条件：无。增量导出指定目录的文件适用场景：源端数据源为文件类型（OBS/OSS/HDFS/FTP... 文件增量迁移文件增量迁移是指：筛选源端的部分数据迁移到目的端，目前cdm支持使用时间宏、通配符和正则表达式的筛选方式。增量迁移方式增量导出全部新增的文件适用场景：源端和目的端数据源都为文件类型（OBS/OSS/HDFS/FTP/SFTP/NAS）。关键配置：跳过重复文件+5.6 配置定时任务。前提条件：无。增量导出指定目录的文件适用场景：源端数据源为文件类型（OBS/OSS/HDFS/FTP...
- 1、背景场景：账户A在obsbrowser上授权某个目录folder1可以被其子用户poc-user1访问。现在账户B需要通过CDM把账户A这个目录的数据迁移到自己桶的目标目录中。防止账户B知道账户A的信息，所以账户A将这个目录授权给了自己的子用户poc-user1，然后账户B就可以利用账户A子用户的AKSK来迁移账户A目录的数据到自己桶中。2、验证问题经过抽象分析，现模拟以下场景进行测试：... 1、背景场景：账户A在obsbrowser上授权某个目录folder1可以被其子用户poc-user1访问。现在账户B需要通过CDM把账户A这个目录的数据迁移到自己桶的目标目录中。防止账户B知道账户A的信息，所以账户A将这个目录授权给了自己的子用户poc-user1，然后账户B就可以利用账户A子用户的AKSK来迁移账户A目录的数据到自己桶中。2、验证问题经过抽象分析，现模拟以下场景进行测试：...
- 数据湖工厂服务（Data Lake Factory，简称DLF）是华为云大数据重要的平台产品，它可管理多种大数据服务，提供一站式的大数据开发环境、全托管的大数据调度能力，极大降低用户使用大数据的门槛，帮助用户快速构建大数据处理中心。 数据湖工厂服务（Data Lake Factory，简称DLF）是华为云大数据重要的平台产品，它可管理多种大数据服务，提供一站式的大数据开发环境、全托管的大数据调度能力，极大降低用户使用大数据的门槛，帮助用户快速构建大数据处理中心。
上滑加载中
推荐直播
-
探秘仓颉编程语言：华为开发者空间的创新利器2025/02/22 周六 15:00-16:30
华为云讲师团
本期直播将与您一起探秘颉编程语言上线华为开发者空间后，显著提升开发效率，在智能化开发支持、全场景跨平台适配能力、工具链与生态完备性、语言简洁与高性能特性等方面展现出的独特优势。直播看点： 1.java转仓颉的小工具 2.仓颉动画三方库lottie 3.开发者空间介绍及如何在空间用仓颉编程语言开发
回顾中 -
大模型Prompt工程深度实践2025/02/24 周一 16:00-17:30
盖伦 华为云学堂技术讲师
如何让大模型精准理解开发需求并生成可靠输出？本期直播聚焦大模型Prompt工程核心技术：理解大模型推理基础原理，关键采样参数定义，提示词撰写关键策略及Prompt工程技巧分享。
去报名 -
华为云 x DeepSeek：AI驱动云上应用创新2025/02/26 周三 16:00-18:00
华为云 AI专家大咖团
在 AI 技术飞速发展之际，DeepSeek 备受关注。它凭借哪些技术与理念脱颖而出？华为云与 DeepSeek 合作，将如何重塑产品与应用模式，助力企业数字化转型？在华为开发者空间，怎样高效部署 DeepSeek，搭建专属服务器？基于华为云平台，又该如何挖掘 DeepSeek 潜力，实现智能化升级？本期直播围绕DeepSeek在云上的应用案例，与DTSE布道师们一起探讨如何利用AI 驱动云上应用创新。
去报名
热门标签