- 一、数据湖概念的提出 数据湖这一概念，最早是在2011年由CITO Research网站的CTO和作家Dan Woods首次提出。其比喻是：如果我们把数据比作大自然的水，那么各个江川河流的水未经加工，源源不断地汇聚到数据湖中。业界便对数据湖一直有着广泛而不同的理解和定义。“数据湖是一个集中化存储海量的、多个来源，多种类型数据，并可以对数据进行快速加工，分析的平台，本质上是一套先进的企业数据架... 一、数据湖概念的提出 数据湖这一概念，最早是在2011年由CITO Research网站的CTO和作家Dan Woods首次提出。其比喻是：如果我们把数据比作大自然的水，那么各个江川河流的水未经加工，源源不断地汇聚到数据湖中。业界便对数据湖一直有着广泛而不同的理解和定义。“数据湖是一个集中化存储海量的、多个来源，多种类型数据，并可以对数据进行快速加工，分析的平台，本质上是一套先进的企业数据架...
- 为了简化数据库SQL脚本的开发模式和执行环境，数据库一般会把数据库交互的功能封装在客户端工具中，用以增加SQL脚本的灵活性，提高脚本的开发效率。 GaussDB(DWS)数据库数据库客户端工具gsql的增强特性包含动态变量、逻辑控制、大小比较、循环体等。通过这些增强特性可以实现流程式的SQL开发，提升数据仓库的SQL作业开发效率。 为了简化数据库SQL脚本的开发模式和执行环境，数据库一般会把数据库交互的功能封装在客户端工具中，用以增加SQL脚本的灵活性，提高脚本的开发效率。 GaussDB(DWS)数据库数据库客户端工具gsql的增强特性包含动态变量、逻辑控制、大小比较、循环体等。通过这些增强特性可以实现流程式的SQL开发，提升数据仓库的SQL作业开发效率。
- 日期函数是数据库非常重要的函数类型，我们从TD迁移到GaussDB(DWS)时，有很多TD特有的日期函数，GaussDB(DWS)没有的，这些日期函数需要在GaussDB(DWS)建一些自定义函数做迁移适配。本文描述了一次迁移过程中遇到的日期函数，并描述了如何通过自定义函数来适配脚本迁移。 日期函数是数据库非常重要的函数类型，我们从TD迁移到GaussDB(DWS)时，有很多TD特有的日期函数，GaussDB(DWS)没有的，这些日期函数需要在GaussDB(DWS)建一些自定义函数做迁移适配。本文描述了一次迁移过程中遇到的日期函数，并描述了如何通过自定义函数来适配脚本迁移。
- 在对列存表进行小批量数据插入时，会产生小CU，影响列存储的性能，对此，需要用一个依附于列存表的delta表来进行存储，并且定期将delta表的数据合入列存表中，这样既能发挥列存储的优势，又能兼顾各种使用场景。 在对列存表进行小批量数据插入时，会产生小CU，影响列存储的性能，对此，需要用一个依附于列存表的delta表来进行存储，并且定期将delta表的数据合入列存表中，这样既能发挥列存储的优势，又能兼顾各种使用场景。
- 摘要：对于inlist2join优化的原理和结果展示。 摘要：对于inlist2join优化的原理和结果展示。
- GaussDB(DWS) ESL版本使用FusionInsight Manager管理平台提供集群状态监控，告警管理，监控采集等功能。集群安装完成后，登录管理平台即可查看集群的状态监控指标，针对这些监控指标做简单介绍。 GaussDB(DWS) ESL版本使用FusionInsight Manager管理平台提供集群状态监控，告警管理，监控采集等功能。集群安装完成后，登录管理平台即可查看集群的状态监控指标，针对这些监控指标做简单介绍。
- 随着数据的持续增长，数据存储的高性价比是云上数据仓库的核心竞争力之一，GaussDB(DWS)目前支持特性冷热数据管理。 随着数据的持续增长，数据存储的高性价比是云上数据仓库的核心竞争力之一，GaussDB(DWS)目前支持特性冷热数据管理。
- 以下都以两类租户作为例子：用于生成特定报告的用户report分析用户做分析的用户analyze步骤如下：一、使用gs_cgroup工具配置控制组1.1配置逻辑集群资源配额配置报告的多租户控制组,父租户80%cpu配额（GaussDB 8.0及以下版本默认只能用整个集群80% ）、自主分析控制组 class2:analyze 50%cpu（根据需求调整）配额，标准报告控制组class1:sta... 以下都以两类租户作为例子：用于生成特定报告的用户report分析用户做分析的用户analyze步骤如下：一、使用gs_cgroup工具配置控制组1.1配置逻辑集群资源配额配置报告的多租户控制组,父租户80%cpu配额（GaussDB 8.0及以下版本默认只能用整个集群80% ）、自主分析控制组 class2:analyze 50%cpu（根据需求调整）配额，标准报告控制组class1:sta...
- Stream算子作为SQL join操作时频繁发生的执行算子，负责CN节点GATHER数据，DN节点REDISTRIBUTE和BROACAST数据。大集群高并发场景下，Stream算子过多可能会导致通信的性能瓶颈，引起性能劣化（2000个stream同时启动，进程初始化耗时从ms级劣化到s级），因此需要尽可能减少Stream算子。但是在某些现场环境下，存在数据倾斜、join查询不包含必要分布... Stream算子作为SQL join操作时频繁发生的执行算子，负责CN节点GATHER数据，DN节点REDISTRIBUTE和BROACAST数据。大集群高并发场景下，Stream算子过多可能会导致通信的性能瓶颈，引起性能劣化（2000个stream同时启动，进程初始化耗时从ms级劣化到s级），因此需要尽可能减少Stream算子。但是在某些现场环境下，存在数据倾斜、join查询不包含必要分布...
- 有一条INSERT INTO … SELECT …语句，SELECT的查询结果有36W，只执行查询语句约耗时10秒，执行INSERT … SELECT…语句，耗时10分钟左右，过程中没有报错。该表设置了3个分布健，使用语句"select table_skewness(‘tablename’)"查看数据分布，也没有数据倾斜的情况。请问下这种SQL执行慢应该怎么进行排查。 分析insert... 有一条INSERT INTO … SELECT …语句，SELECT的查询结果有36W，只执行查询语句约耗时10秒，执行INSERT … SELECT…语句，耗时10分钟左右，过程中没有报错。该表设置了3个分布健，使用语句"select table_skewness(‘tablename’)"查看数据分布，也没有数据倾斜的情况。请问下这种SQL执行慢应该怎么进行排查。 分析insert...
- 定时任务在数据库运维的很多场景下，是一个十分重要的工具，例如用户希望周期性地执行某个运维操作，或者为了不影响白天的正常业务，希望将某个运维操作放到深夜自动执行。针对这些场景，GaussDB(DWS) 内置了定时任务功能。用户创建的定时任务能够周期性地自动触发，从而减少了用户的工作量。 如何使用？GaussDB(DWS) 中对定时任务的各种操作，被封装成了函数，放在 DBMS_JOB 高级包中... 定时任务在数据库运维的很多场景下，是一个十分重要的工具，例如用户希望周期性地执行某个运维操作，或者为了不影响白天的正常业务，希望将某个运维操作放到深夜自动执行。针对这些场景，GaussDB(DWS) 内置了定时任务功能。用户创建的定时任务能够周期性地自动触发，从而减少了用户的工作量。 如何使用？GaussDB(DWS) 中对定时任务的各种操作，被封装成了函数，放在 DBMS_JOB 高级包中...
- 1、概述 GDS是DWS的并行加载工具。原理是通过gds与dn建立连接、发送数据到dn端，然后dn端再通过hash算法对数据进行redistribute，从而实现数据入库，核心思想是充分利用所有节点的计算能力和I/O能力，以提升性能。GaussDB(DWS)的数据并行导入实现了对指定格式（支持CSV/TEXT格式）的外部数据高速、并行入库。所谓高速、并行入库是和传统的使用INSERT语句... 1、概述 GDS是DWS的并行加载工具。原理是通过gds与dn建立连接、发送数据到dn端，然后dn端再通过hash算法对数据进行redistribute，从而实现数据入库，核心思想是充分利用所有节点的计算能力和I/O能力，以提升性能。GaussDB(DWS)的数据并行导入实现了对指定格式（支持CSV/TEXT格式）的外部数据高速、并行入库。所谓高速、并行入库是和传统的使用INSERT语句...
- GaussDB(DWS) 的负荷诊断报告（Workload Diagnosis Report，以下简称WDR）功能，可以提供指定时间段内的性能数据，以html网页报告的形式呈现给用户。通过分析该报告，能够帮助用户发现异常、诊断问题、优化性能等，其内容丰富直观，是数据库调优的利器。本文对WDR的原理和使用方法进行简要介绍。通过本文，读者可知晓什么是WDR，如何创建性能数据快照生成报告。 GaussDB(DWS) 的负荷诊断报告（Workload Diagnosis Report，以下简称WDR）功能，可以提供指定时间段内的性能数据，以html网页报告的形式呈现给用户。通过分析该报告，能够帮助用户发现异常、诊断问题、优化性能等，其内容丰富直观，是数据库调优的利器。本文对WDR的原理和使用方法进行简要介绍。通过本文，读者可知晓什么是WDR，如何创建性能数据快照生成报告。
- GaussDB(DWS) ESL版本使用FusionInsight Manager提供集群状态监控，告警管理，监控采集等功能， 针对这些功能进行简单介绍。 GaussDB(DWS) ESL版本使用FusionInsight Manager提供集群状态监控，告警管理，监控采集等功能， 针对这些功能进行简单介绍。
- 在上节云计算行业应用—大数据@音视频（一）中，我们探讨了随着企业业务发展和产生消费数据量级的增加，大数据技术不断打破原有极限，相关技术不断演进，新的大数据架构层出不穷。本节我们将深入大数据行业应用，从上节讨论到的数据湖出发，结合音视频行业相关业务场景和相关大数据架构，更进一步的理解大数据技术和华为云相关服务的应用。1. 数据湖基本架构 数据湖是伴随企业业余和数据... 在上节云计算行业应用—大数据@音视频（一）中，我们探讨了随着企业业务发展和产生消费数据量级的增加，大数据技术不断打破原有极限，相关技术不断演进，新的大数据架构层出不穷。本节我们将深入大数据行业应用，从上节讨论到的数据湖出发，结合音视频行业相关业务场景和相关大数据架构，更进一步的理解大数据技术和华为云相关服务的应用。1. 数据湖基本架构 数据湖是伴随企业业余和数据...
上滑加载中
推荐直播
-
AI编码实干派，“码”力全开2026/02/26 周四 15:00-16:30
谈宗玮/于邦旭/丁俊卿/陈云亮/王一男
【中国，深圳，2026年2月26日】，以“AI编码实干派，码力全开”为主题的华为云码道（CodeArts）代码智能体新春发布会在线上成功召开。华为云码道公测版正式发布，为开发者和企业提供具备工程化能力的智能编码解决方案。
回顾中 -
华为云码道-玩转OpenClaw，在线养虾2026/03/11 周三 19:00-21:00
刘昱，华为云高级工程师/谈心，华为云技术专家/李海仑，上海圭卓智能科技有限公司CEO
OpenClaw 火爆开发者圈，华为云码道最新推出 Skill ——开发者只需输入一句口令，即可部署一个功能完整的「小龙虾」智能体。直播带你玩转华为云码道，玩转OpenClaw
回顾中 -
华为云码道-AI时代应用开发利器2026/03/18 周三 19:00-20:00
童得力，华为云开发者生态运营总监/姚圣伟，华为云HCDE开发者专家
本次直播由华为专家带你实战应用开发，看华为云码道(CodeArts)代码智能体如何在AI时代让你的创意应用快速落地。更有华为云HCDE开发者专家带你用码道玩转JiuwenClaw，让小艺成为你的AI助理。
回顾中
热门标签