- 1. 背景介绍多个局点均部署多套集群，集群间存在大量基础数据同步和访问，实现跨集群同步有两种方式，基于EC和协同分析，高并发时会使源端数据再CN实例产生较高负载，因此需要提供一种高效便捷的跨集群互联互通方法，可以支持大批量、多任务的互访需求，减少数据物理搬迁，充分利用集群算力，提高效率。通过gds外表结合管道实现此需求，且近在招行局点受限商用，满足客户全量数据同步、过滤条件数据同步。2... 1. 背景介绍多个局点均部署多套集群，集群间存在大量基础数据同步和访问，实现跨集群同步有两种方式，基于EC和协同分析，高并发时会使源端数据再CN实例产生较高负载，因此需要提供一种高效便捷的跨集群互联互通方法，可以支持大批量、多任务的互访需求，减少数据物理搬迁，充分利用集群算力，提高效率。通过gds外表结合管道实现此需求，且近在招行局点受限商用，满足客户全量数据同步、过滤条件数据同步。2...
- 对于经典的行转列问题，如果行数不定导致输出的列数不定，标准的答案就是使用动态SQL, 但GaussDB(DWS)不支持PIVOT和UNPIVOT，那该怎么办，一起来探究下吧。 对于经典的行转列问题，如果行数不定导致输出的列数不定，标准的答案就是使用动态SQL, 但GaussDB(DWS)不支持PIVOT和UNPIVOT，那该怎么办，一起来探究下吧。
- 华为云GaussDB亮相DAMS峰会，构建开放生态与数据库国产化经验分享 华为云GaussDB亮相DAMS峰会，构建开放生态与数据库国产化经验分享
- ROACH/交互测试/存储/集群管理OM/sql/安全；交互测试可以最大程度地提升特性在实际系统运行过程中的稳定性。本文对ROACH常见的交互特性，分类介绍各个特性的基础概念和交互方法以及交互观察点。 ROACH/交互测试/存储/集群管理OM/sql/安全；交互测试可以最大程度地提升特性在实际系统运行过程中的稳定性。本文对ROACH常见的交互特性，分类介绍各个特性的基础概念和交互方法以及交互观察点。
- 华为云TechWave数据专题日|11月5日相约解锁数据要素 华为云TechWave数据专题日|11月5日相约解锁数据要素
- 使用Gaussdb（DWS）集群过程中经常会因为一些网络、磁盘等故障造成集群降级甚至不可用的情况；也会经常碰到实例状态出现catchup；某个实例xlog目录占用几百G甚至上T空间。本篇总结现网碰到以上问题处理套路，以便应急处理。 使用Gaussdb（DWS）集群过程中经常会因为一些网络、磁盘等故障造成集群降级甚至不可用的情况；也会经常碰到实例状态出现catchup；某个实例xlog目录占用几百G甚至上T空间。本篇总结现网碰到以上问题处理套路，以便应急处理。
- 在上一节讲述中，我们封装了Python操作MySQL数据库的自定义类，存为MySQLOperation.py文件；本节内容操作数据库部分，将会调用MySQLOperation中的方法，以及pandas.to_sql和pandas.read_sql的操作。以股票列表为例，讲解数据落库步骤及源代码封装。源代码见文章附件。 在上一节讲述中，我们封装了Python操作MySQL数据库的自定义类，存为MySQLOperation.py文件；本节内容操作数据库部分，将会调用MySQLOperation中的方法，以及pandas.to_sql和pandas.read_sql的操作。以股票列表为例，讲解数据落库步骤及源代码封装。源代码见文章附件。
- 我们清楚Roach的备份管理采用多进程模式，但是每个进程都是有多个线程组成的，每个线程都有两个状态管理变量，一个是线程状态，另一个是fork进程状态。线程状态管理相对好理解，那什么是fork进程管理？有什么作用，为什么要引入它。首先我们可以看到它有四个状态位，FORK_NOT_IN_PROGRESS，ABOUT_TO_FORK, READY_TO_FORK, FORK_DONE，即没有在fo... 我们清楚Roach的备份管理采用多进程模式，但是每个进程都是有多个线程组成的，每个线程都有两个状态管理变量，一个是线程状态，另一个是fork进程状态。线程状态管理相对好理解，那什么是fork进程管理？有什么作用，为什么要引入它。首先我们可以看到它有四个状态位，FORK_NOT_IN_PROGRESS，ABOUT_TO_FORK, READY_TO_FORK, FORK_DONE，即没有在fo...
- cm_agent组件具备日志文件压缩和回收的能力，避免日志占用过多的磁盘空间。本篇博文对cm_agent组件的日志压缩删除功能及常见问题的规避定位进行了介绍。 cm_agent组件具备日志文件压缩和回收的能力，避免日志占用过多的磁盘空间。本篇博文对cm_agent组件的日志压缩删除功能及常见问题的规避定位进行了介绍。
- 一、背景： HDFS已支持联邦，现场HDFS切换成联邦模式，对应hdfs上数据目录及namenode地址发生变化导致原GaussDB(DWS)外表无法正常访问。客户通过重建server以及对应数据的目录，新增联邦配置文件，创建对应联邦namenode HDFS Server，新建外表，维护成本太高。 GaussDB(DWS)支持联邦后，通过指定多个router地址，访... 一、背景： HDFS已支持联邦，现场HDFS切换成联邦模式，对应hdfs上数据目录及namenode地址发生变化导致原GaussDB(DWS)外表无法正常访问。客户通过重建server以及对应数据的目录，新增联邦配置文件，创建对应联邦namenode HDFS Server，新建外表，维护成本太高。 GaussDB(DWS)支持联邦后，通过指定多个router地址，访...
- 1. 协议安全机制SSL/TLS协议是业界常用的加密通信协议，通过该协议可以完成通信双方身份认证，会话密钥协商，通信内容加密和完整性保护。SSL/TLS协议的算法套件包含4种算法：密钥交换、认证、加密、MAC算法。如TLS_DHE_RSA_WITH_AES_128_CBC_SHA256算法套件，DHE是密钥交换算法，RSA是认证算法，AES_128_CBC是对称加密算法，SHA25... 1. 协议安全机制SSL/TLS协议是业界常用的加密通信协议，通过该协议可以完成通信双方身份认证，会话密钥协商，通信内容加密和完整性保护。SSL/TLS协议的算法套件包含4种算法：密钥交换、认证、加密、MAC算法。如TLS_DHE_RSA_WITH_AES_128_CBC_SHA256算法套件，DHE是密钥交换算法，RSA是认证算法，AES_128_CBC是对称加密算法，SHA25...
- 为ROACH故障测试提供基本思路，方法。 为ROACH故障测试提供基本思路，方法。
- 一、数据仓库系统资源的监控与规划数据仓库系统的用户通常分为三种角色：管理员，开发人员以及使用人员。不同角色对于系统资源的关注点是不一样的。在实际的客户场景中，即便管理员也是分为平台管理员和应用管理员两个不同的方向。平台管理员：关注的是物理层面的资源使用信息，目的是保证整个平台的稳定性。所以对于系统资源的使用情况自底向上的层次递进关系为：SQL->CN/DN节点->服务器->集群，（如图1）。... 一、数据仓库系统资源的监控与规划数据仓库系统的用户通常分为三种角色：管理员，开发人员以及使用人员。不同角色对于系统资源的关注点是不一样的。在实际的客户场景中，即便管理员也是分为平台管理员和应用管理员两个不同的方向。平台管理员：关注的是物理层面的资源使用信息，目的是保证整个平台的稳定性。所以对于系统资源的使用情况自底向上的层次递进关系为：SQL->CN/DN节点->服务器->集群，（如图1）。...
- 1 GaussDB(DWS)外表支持的列存格式 GaussDB(DWS)通过SQL On Anywhere特性（参考博客“GaussDB DWS的SQL ON ANYWHERE技术解密”）访问HDFS或OBS上的数据。目前GaussDB(DWS)外表支持的外表格式如下表所示。新版本支持了OBS读Parquet文件。文件系统读支持写支持HDFSORC、ParquetORCOBSORC、CAR... 1 GaussDB(DWS)外表支持的列存格式 GaussDB(DWS)通过SQL On Anywhere特性（参考博客“GaussDB DWS的SQL ON ANYWHERE技术解密”）访问HDFS或OBS上的数据。目前GaussDB(DWS)外表支持的外表格式如下表所示。新版本支持了OBS读Parquet文件。文件系统读支持写支持HDFSORC、ParquetORCOBSORC、CAR...
- 一：环境参数适配1.修改全局参数-- 修改时，可以先手动登录控制台，然后使用F12观察消息里面的内容，将消息里面的内容填到jmeter中-- 注意：最后一个参数cookie要把cfLatestRecordTimestamp放在最后，同时把这个参数的值去掉，类似这样其中的clusterid2修改为实际环境中有的某个集群id -- 测试过程中这个集群不能删，后面的jmeter脚本会以这个为基础判... 一：环境参数适配1.修改全局参数-- 修改时，可以先手动登录控制台，然后使用F12观察消息里面的内容，将消息里面的内容填到jmeter中-- 注意：最后一个参数cookie要把cfLatestRecordTimestamp放在最后，同时把这个参数的值去掉，类似这样其中的clusterid2修改为实际环境中有的某个集群id -- 测试过程中这个集群不能删，后面的jmeter脚本会以这个为基础判...
上滑加载中
推荐直播
-
DeepSeek行业运用方案2025/02/25 周二 16:30-17:30
阿肯-华为云生态技术讲师
本期课程将带您揭秘DeepSeek在多行业的创新方案，手把手演示如何通过ModelArts在华为云上构建方案。
即将直播 -
华为云 x DeepSeek：AI驱动云上应用创新2025/02/26 周三 16:00-18:00
华为云 AI专家大咖团
在 AI 技术飞速发展之际，DeepSeek 备受关注。它凭借哪些技术与理念脱颖而出？华为云与 DeepSeek 合作，将如何重塑产品与应用模式，助力企业数字化转型？在华为开发者空间，怎样高效部署 DeepSeek，搭建专属服务器？基于华为云平台，又该如何挖掘 DeepSeek 潜力，实现智能化升级？本期直播围绕DeepSeek在云上的应用案例，与DTSE布道师们一起探讨如何利用AI 驱动云上应用创新。
去报名
热门标签