- 在使用CDM连接关系型数据库抽取或写入数据时，遇到这样的报错 "IO Error: Socket read timed out" 并不稀奇，这种异常产生的原因可能是服务端负载较高导致，也可能是客户端测抽取的数据较稀少，导致服务端需要遍历较多的数据才可以抽取到符合条件的数据（作业中配置了where条件），目前CDM在连接几种常见的数据库——MySQL、Oracle、Postgr... 在使用CDM连接关系型数据库抽取或写入数据时，遇到这样的报错 "IO Error: Socket read timed out" 并不稀奇，这种异常产生的原因可能是服务端负载较高导致，也可能是客户端测抽取的数据较稀少，导致服务端需要遍历较多的数据才可以抽取到符合条件的数据（作业中配置了where条件），目前CDM在连接几种常见的数据库——MySQL、Oracle、Postgr...
- 虽然自研替代的呼声一直很高，但自研改造的过程从来不是一蹴而就的，软硬件迁移也是如此。个中的艰辛，也只有身在局中的人最有体会。 数据库迁移，首选华为云RDS 贺奎先后参与福彩快开乐系统路由设备开发，华为欧拉操作系统升级、以及监控告警代码的开发与维护工作。这一次的工作算是比较特殊的：承担数据库迁移方案的设计与实施，包括组件编译、适配、部署、测试等，协助客户将数据库迁移到华为云鲲鹏服务器，从... 虽然自研替代的呼声一直很高，但自研改造的过程从来不是一蹴而就的，软硬件迁移也是如此。个中的艰辛，也只有身在局中的人最有体会。 数据库迁移，首选华为云RDS 贺奎先后参与福彩快开乐系统路由设备开发，华为欧拉操作系统升级、以及监控告警代码的开发与维护工作。这一次的工作算是比较特殊的：承担数据库迁移方案的设计与实施，包括组件编译、适配、部署、测试等，协助客户将数据库迁移到华为云鲲鹏服务器，从...
- 本篇简单介绍一些在CDM使用过程中的界面展示报错码的排查策略，希望能对您在使用CDM 的过程中产生帮助。下面是CDM界面报错举例：1.CDM.0941现象：无法连接服务器，请检查IP、主机名、端口填写是否正确，检查网络安全组和防火墙配置是否正确。请检查： 1.看看客户的网络通不通 进入数据库ping一下 2.CDM需要在同一个安全组 和VPC下... 本篇简单介绍一些在CDM使用过程中的界面展示报错码的排查策略，希望能对您在使用CDM 的过程中产生帮助。下面是CDM界面报错举例：1.CDM.0941现象：无法连接服务器，请检查IP、主机名、端口填写是否正确，检查网络安全组和防火墙配置是否正确。请检查： 1.看看客户的网络通不通 进入数据库ping一下 2.CDM需要在同一个安全组 和VPC下...
- CDM 集群点击响应失败分析思路 CDM 集群点击响应失败分析思路
- 华为云遇到网络不通、权限不够等问题的解决方案。 华为云遇到网络不通、权限不够等问题的解决方案。
- 在创建表/文件迁移作业的字段映射界面，可新建字段转换器，如 图1所示。CDM可以在迁移过程中对字段进行转换，目前支持以下字段转换器：脱敏去前后空格字符串反转字符串替换去换行表达式转换脱敏隐藏字符串中的关键信息，例如要将 “12345678910”转换为 “123****8910”，则配置如下：“起始保留长度”为“3”。“结尾保留长度”为“4”.。“替换字符”为“*”。去前后空格自动去字符串前... 在创建表/文件迁移作业的字段映射界面，可新建字段转换器，如 图1所示。CDM可以在迁移过程中对字段进行转换，目前支持以下字段转换器：脱敏去前后空格字符串反转字符串替换去换行表达式转换脱敏隐藏字符串中的关键信息，例如要将 “12345678910”转换为 “123****8910”，则配置如下：“起始保留长度”为“3”。“结尾保留长度”为“4”.。“替换字符”为“*”。去前后空格自动去字符串前...
- 从FTP/SFTP/NAS/OBS/OSS/KODO/SFS导出文件时，CDM支持文件列表迁移，用户可以单次迁移多个指定的文件（最多50个），导出的多个文件只能写到目的端的同一个目录。在创建表/文件迁移的作业时，如果源端数据源为FTP/SFTP/NAS/OBS/OSS/KODO/SFS，CDM源端的作业参数“源目录或文件”支持输入多个文件名（最多50个），文件名之间默认使用“|”分隔，您也可... 从FTP/SFTP/NAS/OBS/OSS/KODO/SFS导出文件时，CDM支持文件列表迁移，用户可以单次迁移多个指定的文件（最多50个），导出的多个文件只能写到目的端的同一个目录。在创建表/文件迁移的作业时，如果源端数据源为FTP/SFTP/NAS/OBS/OSS/KODO/SFS，CDM源端的作业参数“源目录或文件”支持输入多个文件名（最多50个），文件名之间默认使用“|”分隔，您也可...
- CDM的事务模式迁移，是指当CDM作业执行失败时，将数据回滚到作业开始之前的状态，自动清理目的表中的数据。参数位置：创建表/文件迁移的作业时，如果目的端为关系型数据库，在目的端作业配置的高级属性中，可以通过“先导入阶段表”参数选择是否启用事务模式。参数原理：如果启用，在作业执行时CDM会自动创建临时表，先将数据导入到该临时表，导入成功后再通过数据库的事务模式将数据迁移到目标表中；导入失败则将... CDM的事务模式迁移，是指当CDM作业执行失败时，将数据回滚到作业开始之前的状态，自动清理目的表中的数据。参数位置：创建表/文件迁移的作业时，如果目的端为关系型数据库，在目的端作业配置的高级属性中，可以通过“先导入阶段表”参数选择是否启用事务模式。参数原理：如果启用，在作业执行时CDM会自动创建临时表，先将数据导入到该临时表，导入成功后再通过数据库的事务模式将数据迁移到目标表中；导入失败则将...
- 问题背景在一些客户使用专线迁移数据的场景，cdm默认会吃满专线的带宽。因此，CDM利用Agent管理帮助客户限制CDM迁移数据的速率。使用流程新建Agent登录CDM管理控制台。单击左侧导航上的“集群管理”，选择CDM集群后的“作业管理 > Agent管理 > 新建Agent”，配置Agent相关信息，如图3所示。图3 配置AgentIP地址：配置为源端网络中部署Agent的机器IP。端口：... 问题背景在一些客户使用专线迁移数据的场景，cdm默认会吃满专线的带宽。因此，CDM利用Agent管理帮助客户限制CDM迁移数据的速率。使用流程新建Agent登录CDM管理控制台。单击左侧导航上的“集群管理”，选择CDM集群后的“作业管理 > Agent管理 > 新建Agent”，配置Agent相关信息，如图3所示。图3 配置AgentIP地址：配置为源端网络中部署Agent的机器IP。端口：...
- 问题背景cdm集群跨VPC连接RDS失败，用户已经配了对等连接。分析cdm的网卡分配策略：1）CDM集群所在VPC网段为192.168.0.0/24，则CDM集群在创立的时候网卡分与网段对应关系如下管理面~eth0 ~ 172.16.0.0/24，业务面 ~ eth1 ~ 192.168.0.0/24 2) CDM集群所在VPC网段为172.16.0.0/24，则CDM集群在创立的时候网卡分... 问题背景cdm集群跨VPC连接RDS失败，用户已经配了对等连接。分析cdm的网卡分配策略：1）CDM集群所在VPC网段为192.168.0.0/24，则CDM集群在创立的时候网卡分与网段对应关系如下管理面~eth0 ~ 172.16.0.0/24，业务面 ~ eth1 ~ 192.168.0.0/24 2) CDM集群所在VPC网段为172.16.0.0/24，则CDM集群在创立的时候网卡分...
- CDM集群升级踩坑1. 通配符过滤器版本：187 –>2.1.1，2.3.0，2.3.1，2.5.0，2.6.0；作业类型：文件到文件；高级配置：源端配置了通配符过滤器兼容问题：对比如下 解决方案：在1.8.7的作业json中加入{ "name":"fromJobConfig.useWildCard", "value":"false"},2. 时间过滤器版本：18... CDM集群升级踩坑1. 通配符过滤器版本：187 –>2.1.1，2.3.0，2.3.1，2.5.0，2.6.0；作业类型：文件到文件；高级配置：源端配置了通配符过滤器兼容问题：对比如下 解决方案：在1.8.7的作业json中加入{ "name":"fromJobConfig.useWildCard", "value":"false"},2. 时间过滤器版本：18...
- Agent管理对于HDFS和关系型数据库类型的数据源，不方便暴露节点的场景，可选择在源端网络中部署Agent。CDM通过Agent拉取客户内部数据源的数据，但不支持写入数据。图1-1 场景图 图1-2 Agent使用流程 前提条件已创建集群。新建Agent 步骤 1 登录CDM管理控制台。 ... Agent管理对于HDFS和关系型数据库类型的数据源，不方便暴露节点的场景，可选择在源端网络中部署Agent。CDM通过Agent拉取客户内部数据源的数据，但不支持写入数据。图1-1 场景图 图1-2 Agent使用流程 前提条件已创建集群。新建Agent 步骤 1 登录CDM管理控制台。 ...
- MyCat简介什么是MyCatMyCat是目前最流行的基于Java语言编写的数据库中间件，是一个实现了MySql协议的服务器，其核心功能是分库分表。配合数据库的主从模式还可以实现读写分离。 MyCat官网：http://www.mycat.io/ MyCat配置配置：--bin 启动目录--conf 配置目录存放配置文件： --server.xml：是Mycat服务器参数调整和用户授... MyCat简介什么是MyCatMyCat是目前最流行的基于Java语言编写的数据库中间件，是一个实现了MySql协议的服务器，其核心功能是分库分表。配合数据库的主从模式还可以实现读写分离。 MyCat官网：http://www.mycat.io/ MyCat配置配置：--bin 启动目录--conf 配置目录存放配置文件： --server.xml：是Mycat服务器参数调整和用户授...
- 问题背景使用CDM迁移华为Gauss DB A的数据，建立连接时报错，网络已打通。问题分析GaussDB 是基于PG的，PG数据库默认只允许本机通过访问数据库，CDM作为远程客户端无法访问。问题解决1. 修改postgresql.conf在pg的安装目录下找到postgresql.conf 文件，打开该文件并找到如下一行将其修改为listen_addresses='*' # 允许任意ip访... 问题背景使用CDM迁移华为Gauss DB A的数据，建立连接时报错，网络已打通。问题分析GaussDB 是基于PG的，PG数据库默认只允许本机通过访问数据库，CDM作为远程客户端无法访问。问题解决1. 修改postgresql.conf在pg的安装目录下找到postgresql.conf 文件，打开该文件并找到如下一行将其修改为listen_addresses='*' # 允许任意ip访...
- CDM配合DLF补数据功能，根据日期或者递增ID，配置作业自动分片迁移 CDM配合DLF补数据功能，根据日期或者递增ID，配置作业自动分片迁移
上滑加载中
推荐直播
-
探秘仓颉编程语言：华为开发者空间的创新利器2025/02/22 周六 15:00-16:30
华为云讲师团
本期直播将与您一起探秘颉编程语言上线华为开发者空间后，显著提升开发效率，在智能化开发支持、全场景跨平台适配能力、工具链与生态完备性、语言简洁与高性能特性等方面展现出的独特优势。直播看点： 1.java转仓颉的小工具 2.仓颉动画三方库lottie 3.开发者空间介绍及如何在空间用仓颉编程语言开发
回顾中 -
大模型Prompt工程深度实践2025/02/24 周一 16:00-17:30
盖伦 华为云学堂技术讲师
如何让大模型精准理解开发需求并生成可靠输出？本期直播聚焦大模型Prompt工程核心技术：理解大模型推理基础原理，关键采样参数定义，提示词撰写关键策略及Prompt工程技巧分享。
去报名 -
华为云 x DeepSeek：AI驱动云上应用创新2025/02/26 周三 16:00-18:00
华为云 AI专家大咖团
在 AI 技术飞速发展之际，DeepSeek 备受关注。它凭借哪些技术与理念脱颖而出？华为云与 DeepSeek 合作，将如何重塑产品与应用模式，助力企业数字化转型？在华为开发者空间，怎样高效部署 DeepSeek，搭建专属服务器？基于华为云平台，又该如何挖掘 DeepSeek 潜力，实现智能化升级？本期直播围绕DeepSeek在云上的应用案例，与DTSE布道师们一起探讨如何利用AI 驱动云上应用创新。
去报名
热门标签