- 虽然自研替代的呼声一直很高，但自研改造的过程从来不是一蹴而就的，软硬件迁移也是如此。个中的艰辛，也只有身在局中的人最有体会。 数据库迁移，首选华为云RDS 贺奎先后参与福彩快开乐系统路由设备开发，华为欧拉操作系统升级、以及监控告警代码的开发与维护工作。这一次的工作算是比较特殊的：承担数据库迁移方案的设计与实施，包括组件编译、适配、部署、测试等，协助客户将数据库迁移到华为云鲲鹏服务器，从... 虽然自研替代的呼声一直很高，但自研改造的过程从来不是一蹴而就的，软硬件迁移也是如此。个中的艰辛，也只有身在局中的人最有体会。 数据库迁移，首选华为云RDS 贺奎先后参与福彩快开乐系统路由设备开发，华为欧拉操作系统升级、以及监控告警代码的开发与维护工作。这一次的工作算是比较特殊的：承担数据库迁移方案的设计与实施，包括组件编译、适配、部署、测试等，协助客户将数据库迁移到华为云鲲鹏服务器，从...
- 本篇简单介绍一些在CDM使用过程中的界面展示报错码的排查策略，希望能对您在使用CDM 的过程中产生帮助。下面是CDM界面报错举例：1.CDM.0941现象：无法连接服务器，请检查IP、主机名、端口填写是否正确，检查网络安全组和防火墙配置是否正确。请检查： 1.看看客户的网络通不通 进入数据库ping一下 2.CDM需要在同一个安全组 和VPC下... 本篇简单介绍一些在CDM使用过程中的界面展示报错码的排查策略，希望能对您在使用CDM 的过程中产生帮助。下面是CDM界面报错举例：1.CDM.0941现象：无法连接服务器，请检查IP、主机名、端口填写是否正确，检查网络安全组和防火墙配置是否正确。请检查： 1.看看客户的网络通不通 进入数据库ping一下 2.CDM需要在同一个安全组 和VPC下...
- CDM 集群点击响应失败分析思路 CDM 集群点击响应失败分析思路
- 华为云遇到网络不通、权限不够等问题的解决方案。 华为云遇到网络不通、权限不够等问题的解决方案。
- 在创建表/文件迁移作业的字段映射界面，可新建字段转换器，如 图1所示。CDM可以在迁移过程中对字段进行转换，目前支持以下字段转换器：脱敏去前后空格字符串反转字符串替换去换行表达式转换脱敏隐藏字符串中的关键信息，例如要将 “12345678910”转换为 “123****8910”，则配置如下：“起始保留长度”为“3”。“结尾保留长度”为“4”.。“替换字符”为“*”。去前后空格自动去字符串前... 在创建表/文件迁移作业的字段映射界面，可新建字段转换器，如 图1所示。CDM可以在迁移过程中对字段进行转换，目前支持以下字段转换器：脱敏去前后空格字符串反转字符串替换去换行表达式转换脱敏隐藏字符串中的关键信息，例如要将 “12345678910”转换为 “123****8910”，则配置如下：“起始保留长度”为“3”。“结尾保留长度”为“4”.。“替换字符”为“*”。去前后空格自动去字符串前...
- 从FTP/SFTP/NAS/OBS/OSS/KODO/SFS导出文件时，CDM支持文件列表迁移，用户可以单次迁移多个指定的文件（最多50个），导出的多个文件只能写到目的端的同一个目录。在创建表/文件迁移的作业时，如果源端数据源为FTP/SFTP/NAS/OBS/OSS/KODO/SFS，CDM源端的作业参数“源目录或文件”支持输入多个文件名（最多50个），文件名之间默认使用“|”分隔，您也可... 从FTP/SFTP/NAS/OBS/OSS/KODO/SFS导出文件时，CDM支持文件列表迁移，用户可以单次迁移多个指定的文件（最多50个），导出的多个文件只能写到目的端的同一个目录。在创建表/文件迁移的作业时，如果源端数据源为FTP/SFTP/NAS/OBS/OSS/KODO/SFS，CDM源端的作业参数“源目录或文件”支持输入多个文件名（最多50个），文件名之间默认使用“|”分隔，您也可...
- CDM的事务模式迁移，是指当CDM作业执行失败时，将数据回滚到作业开始之前的状态，自动清理目的表中的数据。参数位置：创建表/文件迁移的作业时，如果目的端为关系型数据库，在目的端作业配置的高级属性中，可以通过“先导入阶段表”参数选择是否启用事务模式。参数原理：如果启用，在作业执行时CDM会自动创建临时表，先将数据导入到该临时表，导入成功后再通过数据库的事务模式将数据迁移到目标表中；导入失败则将... CDM的事务模式迁移，是指当CDM作业执行失败时，将数据回滚到作业开始之前的状态，自动清理目的表中的数据。参数位置：创建表/文件迁移的作业时，如果目的端为关系型数据库，在目的端作业配置的高级属性中，可以通过“先导入阶段表”参数选择是否启用事务模式。参数原理：如果启用，在作业执行时CDM会自动创建临时表，先将数据导入到该临时表，导入成功后再通过数据库的事务模式将数据迁移到目标表中；导入失败则将...
- 问题背景在一些客户使用专线迁移数据的场景，cdm默认会吃满专线的带宽。因此，CDM利用Agent管理帮助客户限制CDM迁移数据的速率。使用流程新建Agent登录CDM管理控制台。单击左侧导航上的“集群管理”，选择CDM集群后的“作业管理 > Agent管理 > 新建Agent”，配置Agent相关信息，如图3所示。图3 配置AgentIP地址：配置为源端网络中部署Agent的机器IP。端口：... 问题背景在一些客户使用专线迁移数据的场景，cdm默认会吃满专线的带宽。因此，CDM利用Agent管理帮助客户限制CDM迁移数据的速率。使用流程新建Agent登录CDM管理控制台。单击左侧导航上的“集群管理”，选择CDM集群后的“作业管理 > Agent管理 > 新建Agent”，配置Agent相关信息，如图3所示。图3 配置AgentIP地址：配置为源端网络中部署Agent的机器IP。端口：...
- 问题背景cdm集群跨VPC连接RDS失败，用户已经配了对等连接。分析cdm的网卡分配策略：1）CDM集群所在VPC网段为192.168.0.0/24，则CDM集群在创立的时候网卡分与网段对应关系如下管理面~eth0 ~ 172.16.0.0/24，业务面 ~ eth1 ~ 192.168.0.0/24 2) CDM集群所在VPC网段为172.16.0.0/24，则CDM集群在创立的时候网卡分... 问题背景cdm集群跨VPC连接RDS失败，用户已经配了对等连接。分析cdm的网卡分配策略：1）CDM集群所在VPC网段为192.168.0.0/24，则CDM集群在创立的时候网卡分与网段对应关系如下管理面~eth0 ~ 172.16.0.0/24，业务面 ~ eth1 ~ 192.168.0.0/24 2) CDM集群所在VPC网段为172.16.0.0/24，则CDM集群在创立的时候网卡分...
- CDM集群升级踩坑1. 通配符过滤器版本：187 –>2.1.1，2.3.0，2.3.1，2.5.0，2.6.0；作业类型：文件到文件；高级配置：源端配置了通配符过滤器兼容问题：对比如下 解决方案：在1.8.7的作业json中加入{ "name":"fromJobConfig.useWildCard", "value":"false"},2. 时间过滤器版本：18... CDM集群升级踩坑1. 通配符过滤器版本：187 –>2.1.1，2.3.0，2.3.1，2.5.0，2.6.0；作业类型：文件到文件；高级配置：源端配置了通配符过滤器兼容问题：对比如下 解决方案：在1.8.7的作业json中加入{ "name":"fromJobConfig.useWildCard", "value":"false"},2. 时间过滤器版本：18...
- Agent管理对于HDFS和关系型数据库类型的数据源，不方便暴露节点的场景，可选择在源端网络中部署Agent。CDM通过Agent拉取客户内部数据源的数据，但不支持写入数据。图1-1 场景图 图1-2 Agent使用流程 前提条件已创建集群。新建Agent 步骤 1 登录CDM管理控制台。 ... Agent管理对于HDFS和关系型数据库类型的数据源，不方便暴露节点的场景，可选择在源端网络中部署Agent。CDM通过Agent拉取客户内部数据源的数据，但不支持写入数据。图1-1 场景图 图1-2 Agent使用流程 前提条件已创建集群。新建Agent 步骤 1 登录CDM管理控制台。 ...
- MyCat简介什么是MyCatMyCat是目前最流行的基于Java语言编写的数据库中间件，是一个实现了MySql协议的服务器，其核心功能是分库分表。配合数据库的主从模式还可以实现读写分离。 MyCat官网：http://www.mycat.io/ MyCat配置配置：--bin 启动目录--conf 配置目录存放配置文件： --server.xml：是Mycat服务器参数调整和用户授... MyCat简介什么是MyCatMyCat是目前最流行的基于Java语言编写的数据库中间件，是一个实现了MySql协议的服务器，其核心功能是分库分表。配合数据库的主从模式还可以实现读写分离。 MyCat官网：http://www.mycat.io/ MyCat配置配置：--bin 启动目录--conf 配置目录存放配置文件： --server.xml：是Mycat服务器参数调整和用户授...
- 问题背景使用CDM迁移华为Gauss DB A的数据，建立连接时报错，网络已打通。问题分析GaussDB 是基于PG的，PG数据库默认只允许本机通过访问数据库，CDM作为远程客户端无法访问。问题解决1. 修改postgresql.conf在pg的安装目录下找到postgresql.conf 文件，打开该文件并找到如下一行将其修改为listen_addresses='*' # 允许任意ip访... 问题背景使用CDM迁移华为Gauss DB A的数据，建立连接时报错，网络已打通。问题分析GaussDB 是基于PG的，PG数据库默认只允许本机通过访问数据库，CDM作为远程客户端无法访问。问题解决1. 修改postgresql.conf在pg的安装目录下找到postgresql.conf 文件，打开该文件并找到如下一行将其修改为listen_addresses='*' # 允许任意ip访...
- CDM配合DLF补数据功能，根据日期或者递增ID，配置作业自动分片迁移 CDM配合DLF补数据功能，根据日期或者递增ID，配置作业自动分片迁移
- CDM文件到表迁移时难免受脏数据干扰，导致迁移任务失败。为了规避脏数据干扰，配置任务时在高级属性配置（是否写入脏数据选填是）脏数据归档相关信息。 CDM文件到表迁移时难免受脏数据干扰，导致迁移任务失败。为了规避脏数据干扰，配置任务时在高级属性配置（是否写入脏数据选填是）脏数据归档相关信息。
上滑加载中
推荐直播
-
手把手教你在 CodeArts 上部署敏捷流水线2024/12/31 周二 16:30-18:00
Jerry 华为云生态技术讲师
CodeArts的适用场景以及如何从CodeArts Pipeline出发，一步步添加关联工具，最后让整个流水线流动起来，一起来动手试试吧。
即将直播 -
GaussDB数据库介绍2025/01/07 周二 16:00-18:00
Steven 华为云学堂技术讲师
本期直播将介绍GaussDB数据库的发展历程、优势、架构、关键特性和部署模式等，旨在帮助开发者了解GaussDB数据库，并通过手把手实验教大家如何在华为云部署GaussDB数据库和使用gsql连接GaussDB数据库。
去报名
热门标签