- 本文介绍GaussDB(DWS)的数据库视图对象,我们将讨论使用数据库视图的优点和缺点,以及如何使用系统视图解决一些问题。 本文介绍GaussDB(DWS)的数据库视图对象,我们将讨论使用数据库视图的优点和缺点,以及如何使用系统视图解决一些问题。
- Roaring Bitmap(下文简称RBM)是一种高效优秀的位图压缩算法,通过位图能够快速定位一个数值是否在存在,适合大数据查询和关联计算,例如标签筛选、用户画像、去重等场景,目前也被广泛应用在部分大数据平台上。当前GaussDB(DWS)不支持,针对该场景可参考本文方法实现RoaringBitmap的场景替换,结合客户实际业务场景测试,性能也并不比RoaringBitmap差。 Roaring Bitmap(下文简称RBM)是一种高效优秀的位图压缩算法,通过位图能够快速定位一个数值是否在存在,适合大数据查询和关联计算,例如标签筛选、用户画像、去重等场景,目前也被广泛应用在部分大数据平台上。当前GaussDB(DWS)不支持,针对该场景可参考本文方法实现RoaringBitmap的场景替换,结合客户实际业务场景测试,性能也并不比RoaringBitmap差。
- 窗口函数是聚集函数的延伸,是更高级的SQL语言操作,主要用于AP场景下对数据进行一些分析、汇总、排序的功能。本文将从窗口函数的基本概念入手,介绍其常用SQL语法和主要的应用场景,同时会讲到在GaussDB(DWS)中使用窗口函数需要考虑的一些因素。 窗口函数是聚集函数的延伸,是更高级的SQL语言操作,主要用于AP场景下对数据进行一些分析、汇总、排序的功能。本文将从窗口函数的基本概念入手,介绍其常用SQL语法和主要的应用场景,同时会讲到在GaussDB(DWS)中使用窗口函数需要考虑的一些因素。
- GaussDB(for MySQL)并行查询为何快人一步?华为云数据库内核专家这样说 GaussDB(for MySQL)并行查询为何快人一步?华为云数据库内核专家这样说
- 一、用户场景与解决方案 随着业务的迅速增长,客户原有的生产集群部署的服务器性能会逐渐无法满足业务需求,由此客户可能会采购一批高配置的服务器搭建新集群,希望将生产集群的数据迁移到新集群。 先前客户通常使用GDS工具等方式,将生产集群数据先导出至中转服务器,然后从中转服务器再导入新集群。但这样周期很长,且需要客户提前准备大量机器用做GDS中转服务器。事实上,Gauss... 一、用户场景与解决方案 随着业务的迅速增长,客户原有的生产集群部署的服务器性能会逐渐无法满足业务需求,由此客户可能会采购一批高配置的服务器搭建新集群,希望将生产集群的数据迁移到新集群。 先前客户通常使用GDS工具等方式,将生产集群数据先导出至中转服务器,然后从中转服务器再导入新集群。但这样周期很长,且需要客户提前准备大量机器用做GDS中转服务器。事实上,Gauss...
- 本文将围绕WITH,以及更高阶的WITH RECURSIVE表达式介绍其语法特征和具体使用规范,以及在GaussDB(DWS)中如何进行WITH表达式的调优。同时,对Oracle的CONNECT BY语法进行探讨,研究其使用WITH RECURSIVE进行迁移改写的方法。 本文将围绕WITH,以及更高阶的WITH RECURSIVE表达式介绍其语法特征和具体使用规范,以及在GaussDB(DWS)中如何进行WITH表达式的调优。同时,对Oracle的CONNECT BY语法进行探讨,研究其使用WITH RECURSIVE进行迁移改写的方法。
- 一、 stream线程池实现设计Stream线程池中stream线程整体执行流程如下图所示:Stream线程池中stream线程整体执行流程如下图所示:图一、stream线程执行流程其中,GUC参数的设置逻辑为图八所示:父线程保存自己的guc_variables在syncGucVariables中,syncGucVariables是需要传递给stream的结构用以保证父子线程guc参数的一致... 一、 stream线程池实现设计Stream线程池中stream线程整体执行流程如下图所示:Stream线程池中stream线程整体执行流程如下图所示:图一、stream线程执行流程其中,GUC参数的设置逻辑为图八所示:父线程保存自己的guc_variables在syncGucVariables中,syncGucVariables是需要传递给stream的结构用以保证父子线程guc参数的一致...
- 一、外部接口1.1 新增接口介绍stream线程池新增GUC参数max_stream_pool,用于控制线程池中最大可用线程的个数。默认值:65535(整数最大值)取值范围:-1~INT_MAX;-1表示不开启stream线程池max_stream_pool支持reload更新,更新规则:设置max_stream_pool小于当前可用线程个数,支持线程个数实时减少;当设置max_stream... 一、外部接口1.1 新增接口介绍stream线程池新增GUC参数max_stream_pool,用于控制线程池中最大可用线程的个数。默认值:65535(整数最大值)取值范围:-1~INT_MAX;-1表示不开启stream线程池max_stream_pool支持reload更新,更新规则:设置max_stream_pool小于当前可用线程个数,支持线程个数实时减少;当设置max_stream...
- 一、数据结构设计stream线程池采用无锁队列实现,其目的是为了高效管理线程的出/入池操作。定义结构体ThreadSlot保存线程池中每一个线程的信息,包含:线程状态、线程号、线程对应的database oid、线程执行所需的信息StreamProducer,StreamProducer是父线程向子线程传递的唯一结构、线程唤醒所需的锁和条件变量。如下所示:typedef struct{ ... 一、数据结构设计stream线程池采用无锁队列实现,其目的是为了高效管理线程的出/入池操作。定义结构体ThreadSlot保存线程池中每一个线程的信息,包含:线程状态、线程号、线程对应的database oid、线程执行所需的信息StreamProducer,StreamProducer是父线程向子线程传递的唯一结构、线程唤醒所需的锁和条件变量。如下所示:typedef struct{ ...
- GDS、COPY、\COPY 是GaussDB(DWS)提供的数据导入导出工具,应用于数据迁移、数据同步、数据备份/恢复等场景,在数仓日常维护中使用频率较高,难免遇到性能、功能问题,如果能监控到 GDS 在干什么、业务进度如何,必然能为排故提供有效参考,提高排查效率。本文从系统视图、应用日志两个方面介绍导入导出监控方法,配合实例进行说明,最后对PostgreSQL的监控方法进行说明,扩展视野。 GDS、COPY、\COPY 是GaussDB(DWS)提供的数据导入导出工具,应用于数据迁移、数据同步、数据备份/恢复等场景,在数仓日常维护中使用频率较高,难免遇到性能、功能问题,如果能监控到 GDS 在干什么、业务进度如何,必然能为排故提供有效参考,提高排查效率。本文从系统视图、应用日志两个方面介绍导入导出监控方法,配合实例进行说明,最后对PostgreSQL的监控方法进行说明,扩展视野。
- 新时代在移动互联网、电商、IoT等场景会产生大量实时数据,以往的离线批量计算时效性较差,业务人员无法根据自己的即时性需要获取几分钟之前甚至实时数据,为了快速获取实时或者准实时数据,数据发生后尽快的达到用户的手中,释放实时或者准实时数据价值,实时数仓的系统性构建需求也应运而生,本文以MYSQL库为例实时同步GaussDB(DWS)场景,分享使用华为云模式下DRS(数据复制服务)构建快速数据接入方案。 新时代在移动互联网、电商、IoT等场景会产生大量实时数据,以往的离线批量计算时效性较差,业务人员无法根据自己的即时性需要获取几分钟之前甚至实时数据,为了快速获取实时或者准实时数据,数据发生后尽快的达到用户的手中,释放实时或者准实时数据价值,实时数仓的系统性构建需求也应运而生,本文以MYSQL库为例实时同步GaussDB(DWS)场景,分享使用华为云模式下DRS(数据复制服务)构建快速数据接入方案。
- 【摘要】 GaussDB(DWS)支持的UPSERT功能,可以实时进行数据导入,在出现主键或者唯一索引冲突时执行更新或者忽略操作。对于实时数仓是一项非常重要的技术。 【摘要】 GaussDB(DWS)支持的UPSERT功能,可以实时进行数据导入,在出现主键或者唯一索引冲突时执行更新或者忽略操作。对于实时数仓是一项非常重要的技术。
- 连接类型介绍想要通过SQL完成各种复杂的查询,则多表之间的连接是必不可少的。连接分为:内连接和外连接两大类,每大类中还可进行细分。为了能更好的说明各种连接之间的区别,下面通过具体示例进行各连接的展示。首先做如下表创建和设置:CREATE TABLE student( id INTEGER, name varchar(50));CREATE TABLE math_score( id IN... 连接类型介绍想要通过SQL完成各种复杂的查询,则多表之间的连接是必不可少的。连接分为:内连接和外连接两大类,每大类中还可进行细分。为了能更好的说明各种连接之间的区别,下面通过具体示例进行各连接的展示。首先做如下表创建和设置:CREATE TABLE student( id INTEGER, name varchar(50));CREATE TABLE math_score( id IN...
- 1 统一密码校验问题1.1 udns用户密码校验失败通过DMK更改udns用户密码,oc上未同步该密码导致oc平台校验不通过,重置密码之后校验依然不通过;登陆fcd后台重新注册该用户信息,oc上修正密码后校验通过1.2 nginx用户遇到同样的问题1.3 OpenStack可登录性校验失败通过更改密码、同步密码解决2 MOAgent安装失败问... 1 统一密码校验问题1.1 udns用户密码校验失败通过DMK更改udns用户密码,oc上未同步该密码导致oc平台校验不通过,重置密码之后校验依然不通过;登陆fcd后台重新注册该用户信息,oc上修正密码后校验通过1.2 nginx用户遇到同样的问题1.3 OpenStack可登录性校验失败通过更改密码、同步密码解决2 MOAgent安装失败问...
- 本文主要是自动重建功能与REPLACE的使用场景与使用方法的介绍。 本文主要是自动重建功能与REPLACE的使用场景与使用方法的介绍。
上滑加载中
推荐直播
-
华为云 x DeepSeek:AI驱动云上应用创新
2025/02/26 周三 16:00-18:00
华为云 AI专家大咖团
在 AI 技术飞速发展之际,DeepSeek 备受关注。它凭借哪些技术与理念脱颖而出?华为云与 DeepSeek 合作,将如何重塑产品与应用模式,助力企业数字化转型?在华为开发者空间,怎样高效部署 DeepSeek,搭建专属服务器?基于华为云平台,又该如何挖掘 DeepSeek 潜力,实现智能化升级?本期直播围绕DeepSeek在云上的应用案例,与DTSE布道师们一起探讨如何利用AI 驱动云上应用创新。
回顾中
热门标签