- 【摘要】在云原生环境，用户可以自由配置cup型号、内存、磁盘、带宽等资源，需要在计算和IO之间做平衡；如果计算和存储耦合，扩缩容时数据要在节点之间移动，同时还要对外提供计算，性能会大受影响。如果存算分离，计算出和存储层可以独立增加节点互不干扰，这其中一个关键点是做到数据共享。Bucket存储是数据共享中重要的一环，当前阶段，bucket存储可以将列存中的CU数据和DN节点解绑。 【摘要】在云原生环境，用户可以自由配置cup型号、内存、磁盘、带宽等资源，需要在计算和IO之间做平衡；如果计算和存储耦合，扩缩容时数据要在节点之间移动，同时还要对外提供计算，性能会大受影响。如果存算分离，计算出和存储层可以独立增加节点互不干扰，这其中一个关键点是做到数据共享。Bucket存储是数据共享中重要的一环，当前阶段，bucket存储可以将列存中的CU数据和DN节点解绑。
- 数据库的诞生，实际上是伴随着计算机的诞生，人类数据信息管理和处理方式的一种升级。但是数据库诞生之初，还是没有数仓的，数仓其实是在80年代以后，人们对于数据管理和处理的诉求进一步提升，数据量增加，数据分析的复杂度和维度变得更大了以后，才开始产生面向分析的负载，然后才有数据仓库的诞生。在我看来，数据仓库的诞生，它就代表人们不再满足于对数据做简单的存储和操作管理，而是尝试从数据中去挖掘价值，通过分... 数据库的诞生，实际上是伴随着计算机的诞生，人类数据信息管理和处理方式的一种升级。但是数据库诞生之初，还是没有数仓的，数仓其实是在80年代以后，人们对于数据管理和处理的诉求进一步提升，数据量增加，数据分析的复杂度和维度变得更大了以后，才开始产生面向分析的负载，然后才有数据仓库的诞生。在我看来，数据仓库的诞生，它就代表人们不再满足于对数据做简单的存储和操作管理，而是尝试从数据中去挖掘价值，通过分...
- 对于单个集群上数据体量非常庞大的用户，可以在数据备份恢复时做到有的放矢，大量节省存放备份集的空间和相应费用。并且在表数据丢失或人为误删后，可以做到单张或多张表的快速恢复。 对于单个集群上数据体量非常庞大的用户，可以在数据备份恢复时做到有的放矢，大量节省存放备份集的空间和相应费用。并且在表数据丢失或人为误删后，可以做到单张或多张表的快速恢复。
- 众所周知，JDBC(Java Database Connectivity)是应用程序访问数据库的统一标准接口， GaussDB(DWS)提供了对JDBC 4.0特性支持的JDBC驱动。客户应用使用JDBC连接数据库并执行SQL，最常见的问题就是各类报错和性能问题，这里整理汇总各类报错原因及对应处理方法供大家参考。 众所周知，JDBC(Java Database Connectivity)是应用程序访问数据库的统一标准接口， GaussDB(DWS)提供了对JDBC 4.0特性支持的JDBC驱动。客户应用使用JDBC连接数据库并执行SQL，最常见的问题就是各类报错和性能问题，这里整理汇总各类报错原因及对应处理方法供大家参考。
- 集群运行过程中，根据集群的综合负载和业务接入情况进行分析：增加CN可以适当降低CPU消耗，增大接入连接数，分散CN节点业务压力，根据实际情况来识别是否要增加CN,如果是提升集群容量和扩展比能力，建议进行扩容操作。 支持在线运维：在符合增加CN、删除CN界面的准入条件下，找低峰期时间窗进行操作。准入条件：1.增加CN要求集群状态正常（集群状态为Normal，非均衡，低性能状态）2.如果存在一个... 集群运行过程中，根据集群的综合负载和业务接入情况进行分析：增加CN可以适当降低CPU消耗，增大接入连接数，分散CN节点业务压力，根据实际情况来识别是否要增加CN,如果是提升集群容量和扩展比能力，建议进行扩容操作。 支持在线运维：在符合增加CN、删除CN界面的准入条件下，找低峰期时间窗进行操作。准入条件：1.增加CN要求集群状态正常（集群状态为Normal，非均衡，低性能状态）2.如果存在一个...
- 带你快速入门GDS导入导出，玩转PB级数仓GaussDB(DWS) 1、创建导入目标表CREATE TABLE tpcds_reasons( r_reason_sk integer not null, r_reason_id char(16) not null, r_reason_desc char(100)); 2、创建与目标表一致的外表#外表中配置了数据源格式信息、GDS服务的访... 带你快速入门GDS导入导出，玩转PB级数仓GaussDB(DWS) 1、创建导入目标表CREATE TABLE tpcds_reasons( r_reason_sk integer not null, r_reason_id char(16) not null, r_reason_desc char(100)); 2、创建与目标表一致的外表#外表中配置了数据源格式信息、GDS服务的访...
- 通常跑批加工场景下，都是大数量做关联操作，通常不建议使用索引。有些时候因为计划误判导致使用索引的可能会导致严重的性能问题。本文从一个典型的索引导致性能的场景重发，剖析此类问题的特征，定位方法和解决方法 通常跑批加工场景下，都是大数量做关联操作，通常不建议使用索引。有些时候因为计划误判导致使用索引的可能会导致严重的性能问题。本文从一个典型的索引导致性能的场景重发，剖析此类问题的特征，定位方法和解决方法
- 在实际应用中，可能存在某一个文件太大，需要拆分成多个文件发送的情况，那么，GDS是否可以同时将拆分后的这些文件一次性加载到数据库呢？ 下文对以上场景进行了验证。 结论1：一个GDS进程能够处理同一个目标表对应的同一个目录下的多个文件，这些文件通常使用通配符指定。 结论2：多个GDS进程能够同时处理同一个目标表的多个目录下的多个文件，文件可以使用通配符指定。 结论3：一个GDS进程不支持同时 在实际应用中，可能存在某一个文件太大，需要拆分成多个文件发送的情况，那么，GDS是否可以同时将拆分后的这些文件一次性加载到数据库呢？ 下文对以上场景进行了验证。 结论1：一个GDS进程能够处理同一个目标表对应的同一个目录下的多个文件，这些文件通常使用通配符指定。 结论2：多个GDS进程能够同时处理同一个目标表的多个目录下的多个文件，文件可以使用通配符指定。 结论3：一个GDS进程不支持同时
- 现网中遇到很多小伙伴不清楚字符串与进制之间的转换方法，其实在GaussDB(DWS)中，进制转换是非常方便的。这次就来对不同的场景一一进行解析，整理出来供大家翻阅参考。 现网中遇到很多小伙伴不清楚字符串与进制之间的转换方法，其实在GaussDB(DWS)中，进制转换是非常方便的。这次就来对不同的场景一一进行解析，整理出来供大家翻阅参考。
- DWS（gaussdb）设置CPU配额和限额 DWS（gaussdb）设置CPU配额和限额
- 这里会介绍数据仓库的理解，什么是数据仓库技术，数据仓库的作用。 数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。 为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。 我简单的做一个比喻，数据仓库就是可以理解就... 这里会介绍数据仓库的理解，什么是数据仓库技术，数据仓库的作用。 数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。 为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。 我简单的做一个比喻，数据仓库就是可以理解就...
- cgroup cgroup
- 欢迎DMS的小伙伴给建议 欢迎DMS的小伙伴给建议
- 编写写入DWS层业务代码DWS层主要是存放大宽表数据，此业务中主要是针对Kafka topic “KAFKA-DWD-BROWSE-LOG-TOPIC”中用户浏览商品日志数据关联HBase中“ODS_PRODUCT_CATEGORY”商品分类表与“ODS_PRODUCT_INFO”商品表维度数据获取浏览商品主题大宽表。Flink在读取Kafka 用户浏览商品数据与HBase中维度数据进行关... 编写写入DWS层业务代码DWS层主要是存放大宽表数据，此业务中主要是针对Kafka topic “KAFKA-DWD-BROWSE-LOG-TOPIC”中用户浏览商品日志数据关联HBase中“ODS_PRODUCT_CATEGORY”商品分类表与“ODS_PRODUCT_INFO”商品表维度数据获取浏览商品主题大宽表。Flink在读取Kafka 用户浏览商品数据与HBase中维度数据进行关...
- 企业只有把数据用起来了，才能反向推动数据治理和数据标准类似的工作，而数据治理的推进也会让数据服务化更好，让业务更好的使用数据，这其实也是企业数字化转型的方向和重要目标：让数据用起来。 企业只有把数据用起来了，才能反向推动数据治理和数据标准类似的工作，而数据治理的推进也会让数据服务化更好，让业务更好的使用数据，这其实也是企业数字化转型的方向和重要目标：让数据用起来。
上滑加载中
推荐直播
-
昇腾AI算法挑战赛-核心算子如何优化？专家带你深度解析2025/11/17 周一 16:00-17:00
王老师 华为算子专家
昇腾AI算法挑战赛进阶赛战鼓催征！本期直播间，我们特邀华为算子专家王老师，为你深度剖析Matmul、wholereducesum等核心算子的底层原理与优化技巧，直击赛题核心。想提升代码效率、冲击更高排名？锁定直播，带你破局！
回顾中 -
AI编码实干派，“码”力全开2026/02/26 周四 15:00-16:30
谈宗玮/于邦旭/丁俊卿/陈云亮/王一男
【中国，深圳，2026年2月26日】，以“AI编码实干派，码力全开”为主题的华为云码道（CodeArts）代码智能体新春发布会在线上成功召开。华为云码道公测版正式发布，为开发者和企业提供具备工程化能力的智能编码解决方案。
回顾中 -
华为云码道-玩转OpenClaw，在线养虾2026/03/11 周三 19:00-21:00
刘昱，华为云高级工程师/谈心，华为云技术专家/李海仑，上海圭卓智能科技有限公司CEO
OpenClaw 火爆开发者圈，华为云码道最新推出 Skill ——开发者只需输入一句口令，即可部署一个功能完整的「小龙虾」智能体。直播带你玩转华为云码道，玩转OpenClaw
回顾中
热门标签