- 日期函数是数据库非常重要的函数类型,我们从TD迁移到GaussDB(DWS)时,有很多TD特有的日期函数,GaussDB(DWS)没有的,这些日期函数需要在GaussDB(DWS)建一些自定义函数做迁移适配。本文描述了一次迁移过程中遇到的日期函数,并描述了如何通过自定义函数来适配脚本迁移。 日期函数是数据库非常重要的函数类型,我们从TD迁移到GaussDB(DWS)时,有很多TD特有的日期函数,GaussDB(DWS)没有的,这些日期函数需要在GaussDB(DWS)建一些自定义函数做迁移适配。本文描述了一次迁移过程中遇到的日期函数,并描述了如何通过自定义函数来适配脚本迁移。
- 在对列存表进行小批量数据插入时,会产生小CU,影响列存储的性能,对此,需要用一个依附于列存表的delta表来进行存储,并且定期将delta表的数据合入列存表中,这样既能发挥列存储的优势,又能兼顾各种使用场景。 在对列存表进行小批量数据插入时,会产生小CU,影响列存储的性能,对此,需要用一个依附于列存表的delta表来进行存储,并且定期将delta表的数据合入列存表中,这样既能发挥列存储的优势,又能兼顾各种使用场景。
- 摘要:对于inlist2join优化的原理和结果展示。 摘要:对于inlist2join优化的原理和结果展示。
- GaussDB(DWS) ESL版本使用FusionInsight Manager管理平台提供集群状态监控,告警管理,监控采集等功能。集群安装完成后,登录管理平台即可查看集群的状态监控指标,针对这些监控指标做简单介绍。 GaussDB(DWS) ESL版本使用FusionInsight Manager管理平台提供集群状态监控,告警管理,监控采集等功能。集群安装完成后,登录管理平台即可查看集群的状态监控指标,针对这些监控指标做简单介绍。
- 随着数据的持续增长,数据存储的高性价比是云上数据仓库的核心竞争力之一,GaussDB(DWS)目前支持特性冷热数据管理。 随着数据的持续增长,数据存储的高性价比是云上数据仓库的核心竞争力之一,GaussDB(DWS)目前支持特性冷热数据管理。
- 以下都以两类租户作为例子:用于生成特定报告的用户report分析用户做分析的用户analyze步骤如下:一、使用gs_cgroup工具配置控制组1.1配置逻辑集群资源配额配置报告的多租户控制组,父租户80%cpu配额(GaussDB 8.0及以下版本默认只能用整个集群80% )、自主分析控制组 class2:analyze 50%cpu(根据需求调整)配额,标准报告控制组class1:sta... 以下都以两类租户作为例子:用于生成特定报告的用户report分析用户做分析的用户analyze步骤如下:一、使用gs_cgroup工具配置控制组1.1配置逻辑集群资源配额配置报告的多租户控制组,父租户80%cpu配额(GaussDB 8.0及以下版本默认只能用整个集群80% )、自主分析控制组 class2:analyze 50%cpu(根据需求调整)配额,标准报告控制组class1:sta...
- Stream算子作为SQL join操作时频繁发生的执行算子,负责CN节点GATHER数据,DN节点REDISTRIBUTE和BROACAST数据。大集群高并发场景下,Stream算子过多可能会导致通信的性能瓶颈,引起性能劣化(2000个stream同时启动,进程初始化耗时从ms级劣化到s级),因此需要尽可能减少Stream算子。但是在某些现场环境下,存在数据倾斜、join查询不包含必要分布... Stream算子作为SQL join操作时频繁发生的执行算子,负责CN节点GATHER数据,DN节点REDISTRIBUTE和BROACAST数据。大集群高并发场景下,Stream算子过多可能会导致通信的性能瓶颈,引起性能劣化(2000个stream同时启动,进程初始化耗时从ms级劣化到s级),因此需要尽可能减少Stream算子。但是在某些现场环境下,存在数据倾斜、join查询不包含必要分布...
- 有一条INSERT INTO … SELECT …语句,SELECT的查询结果有36W,只执行查询语句约耗时10秒,执行INSERT … SELECT…语句,耗时10分钟左右,过程中没有报错。该表设置了3个分布健,使用语句"select table_skewness(‘tablename’)"查看数据分布,也没有数据倾斜的情况。请问下这种SQL执行慢应该怎么进行排查。 分析insert... 有一条INSERT INTO … SELECT …语句,SELECT的查询结果有36W,只执行查询语句约耗时10秒,执行INSERT … SELECT…语句,耗时10分钟左右,过程中没有报错。该表设置了3个分布健,使用语句"select table_skewness(‘tablename’)"查看数据分布,也没有数据倾斜的情况。请问下这种SQL执行慢应该怎么进行排查。 分析insert...
- 定时任务在数据库运维的很多场景下,是一个十分重要的工具,例如用户希望周期性地执行某个运维操作,或者为了不影响白天的正常业务,希望将某个运维操作放到深夜自动执行。针对这些场景,GaussDB(DWS) 内置了定时任务功能。用户创建的定时任务能够周期性地自动触发,从而减少了用户的工作量。 如何使用?GaussDB(DWS) 中对定时任务的各种操作,被封装成了函数,放在 DBMS_JOB 高级包中... 定时任务在数据库运维的很多场景下,是一个十分重要的工具,例如用户希望周期性地执行某个运维操作,或者为了不影响白天的正常业务,希望将某个运维操作放到深夜自动执行。针对这些场景,GaussDB(DWS) 内置了定时任务功能。用户创建的定时任务能够周期性地自动触发,从而减少了用户的工作量。 如何使用?GaussDB(DWS) 中对定时任务的各种操作,被封装成了函数,放在 DBMS_JOB 高级包中...
- 1、概述 GDS是DWS的并行加载工具。原理是通过gds与dn建立连接、发送数据到dn端,然后dn端再通过hash算法对数据进行redistribute,从而实现数据入库,核心思想是充分利用所有节点的计算能力和I/O能力,以提升性能。GaussDB(DWS)的数据并行导入实现了对指定格式(支持CSV/TEXT格式)的外部数据高速、并行入库。所谓高速、并行入库是和传统的使用INSERT语句... 1、概述 GDS是DWS的并行加载工具。原理是通过gds与dn建立连接、发送数据到dn端,然后dn端再通过hash算法对数据进行redistribute,从而实现数据入库,核心思想是充分利用所有节点的计算能力和I/O能力,以提升性能。GaussDB(DWS)的数据并行导入实现了对指定格式(支持CSV/TEXT格式)的外部数据高速、并行入库。所谓高速、并行入库是和传统的使用INSERT语句...
- GaussDB(DWS) 的负荷诊断报告(Workload Diagnosis Report,以下简称WDR)功能,可以提供指定时间段内的性能数据,以html网页报告的形式呈现给用户。通过分析该报告,能够帮助用户发现异常、诊断问题、优化性能等,其内容丰富直观,是数据库调优的利器。本文对WDR的原理和使用方法进行简要介绍。通过本文,读者可知晓什么是WDR,如何创建性能数据快照生成报告。 GaussDB(DWS) 的负荷诊断报告(Workload Diagnosis Report,以下简称WDR)功能,可以提供指定时间段内的性能数据,以html网页报告的形式呈现给用户。通过分析该报告,能够帮助用户发现异常、诊断问题、优化性能等,其内容丰富直观,是数据库调优的利器。本文对WDR的原理和使用方法进行简要介绍。通过本文,读者可知晓什么是WDR,如何创建性能数据快照生成报告。
- GaussDB(DWS) ESL版本使用FusionInsight Manager提供集群状态监控,告警管理,监控采集等功能, 针对这些功能进行简单介绍。 GaussDB(DWS) ESL版本使用FusionInsight Manager提供集群状态监控,告警管理,监控采集等功能, 针对这些功能进行简单介绍。
- 在上节云计算行业应用—大数据@音视频(一)中,我们探讨了随着企业业务发展和产生消费数据量级的增加,大数据技术不断打破原有极限,相关技术不断演进,新的大数据架构层出不穷。本节我们将深入大数据行业应用,从上节讨论到的数据湖出发,结合音视频行业相关业务场景和相关大数据架构,更进一步的理解大数据技术和华为云相关服务的应用。1. 数据湖基本架构 数据湖是伴随企业业余和数据... 在上节云计算行业应用—大数据@音视频(一)中,我们探讨了随着企业业务发展和产生消费数据量级的增加,大数据技术不断打破原有极限,相关技术不断演进,新的大数据架构层出不穷。本节我们将深入大数据行业应用,从上节讨论到的数据湖出发,结合音视频行业相关业务场景和相关大数据架构,更进一步的理解大数据技术和华为云相关服务的应用。1. 数据湖基本架构 数据湖是伴随企业业余和数据...
- 一、什么是分区表分区表是将数据基于范围映射到每一个分区,范围在是由创建时指定的分区键决定的,通常分区键采用时间、日期等。同时普通表无法转换为分区表,只能通过创建新的分区表将普通表中的数据导入到分区表中。所以需要根据业务提前规划是否使用分区表。二、分区表的优势分区表相比较普通表的优势十分显著,主要包括一些几个方面。改善查询性能:对分区对象的查询可以仅搜索自己关心的分区,很大程度上提高检索效率。 一、什么是分区表分区表是将数据基于范围映射到每一个分区,范围在是由创建时指定的分区键决定的,通常分区键采用时间、日期等。同时普通表无法转换为分区表,只能通过创建新的分区表将普通表中的数据导入到分区表中。所以需要根据业务提前规划是否使用分区表。二、分区表的优势分区表相比较普通表的优势十分显著,主要包括一些几个方面。改善查询性能:对分区对象的查询可以仅搜索自己关心的分区,很大程度上提高检索效率。
- 数值类型在数据库的计算中使用量极大,考虑到存储占用、精度要求等原因,数值类型会分为多种形式,这里有必要对数据类型进行总结。 数值类型在数据库的计算中使用量极大,考虑到存储占用、精度要求等原因,数值类型会分为多种形式,这里有必要对数据类型进行总结。
上滑加载中
推荐直播
-
大模型Prompt工程深度实践
2025/02/24 周一 16:00-17:30
盖伦 华为云学堂技术讲师
如何让大模型精准理解开发需求并生成可靠输出?本期直播聚焦大模型Prompt工程核心技术:理解大模型推理基础原理,关键采样参数定义,提示词撰写关键策略及Prompt工程技巧分享。
回顾中 -
华为云 x DeepSeek:AI驱动云上应用创新
2025/02/26 周三 16:00-18:00
华为云 AI专家大咖团
在 AI 技术飞速发展之际,DeepSeek 备受关注。它凭借哪些技术与理念脱颖而出?华为云与 DeepSeek 合作,将如何重塑产品与应用模式,助力企业数字化转型?在华为开发者空间,怎样高效部署 DeepSeek,搭建专属服务器?基于华为云平台,又该如何挖掘 DeepSeek 潜力,实现智能化升级?本期直播围绕DeepSeek在云上的应用案例,与DTSE布道师们一起探讨如何利用AI 驱动云上应用创新。
去报名
热门标签