- Roaring Bitmap（下文简称RBM）是一种高效优秀的位图压缩算法，通过位图能够快速定位一个数值是否在存在，适合大数据查询和关联计算，例如标签筛选、用户画像、去重等场景，目前也被广泛应用在部分大数据平台上。当前GaussDB(DWS)不支持，针对该场景可参考本文方法实现RoaringBitmap的场景替换，结合客户实际业务场景测试，性能也并不比RoaringBitmap差。 Roaring Bitmap（下文简称RBM）是一种高效优秀的位图压缩算法，通过位图能够快速定位一个数值是否在存在，适合大数据查询和关联计算，例如标签筛选、用户画像、去重等场景，目前也被广泛应用在部分大数据平台上。当前GaussDB(DWS)不支持，针对该场景可参考本文方法实现RoaringBitmap的场景替换，结合客户实际业务场景测试，性能也并不比RoaringBitmap差。
- 一、外部接口1.1 新增接口介绍stream线程池新增GUC参数max_stream_pool，用于控制线程池中最大可用线程的个数。默认值：65535（整数最大值）取值范围：-1~INT_MAX；-1表示不开启stream线程池max_stream_pool支持reload更新，更新规则：设置max_stream_pool小于当前可用线程个数，支持线程个数实时减少；当设置max_stream... 一、外部接口1.1 新增接口介绍stream线程池新增GUC参数max_stream_pool，用于控制线程池中最大可用线程的个数。默认值：65535（整数最大值）取值范围：-1~INT_MAX；-1表示不开启stream线程池max_stream_pool支持reload更新，更新规则：设置max_stream_pool小于当前可用线程个数，支持线程个数实时减少；当设置max_stream...
- 一、数据结构设计stream线程池采用无锁队列实现，其目的是为了高效管理线程的出/入池操作。定义结构体ThreadSlot保存线程池中每一个线程的信息，包含：线程状态、线程号、线程对应的database oid、线程执行所需的信息StreamProducer，StreamProducer是父线程向子线程传递的唯一结构、线程唤醒所需的锁和条件变量。如下所示：typedef struct{ ... 一、数据结构设计stream线程池采用无锁队列实现，其目的是为了高效管理线程的出/入池操作。定义结构体ThreadSlot保存线程池中每一个线程的信息，包含：线程状态、线程号、线程对应的database oid、线程执行所需的信息StreamProducer，StreamProducer是父线程向子线程传递的唯一结构、线程唤醒所需的锁和条件变量。如下所示：typedef struct{ ...
- GDS、COPY、\COPY 是GaussDB(DWS)提供的数据导入导出工具，应用于数据迁移、数据同步、数据备份/恢复等场景，在数仓日常维护中使用频率较高，难免遇到性能、功能问题，如果能监控到 GDS 在干什么、业务进度如何，必然能为排故提供有效参考，提高排查效率。本文从系统视图、应用日志两个方面介绍导入导出监控方法，配合实例进行说明，最后对PostgreSQL的监控方法进行说明，扩展视野。 GDS、COPY、\COPY 是GaussDB(DWS)提供的数据导入导出工具，应用于数据迁移、数据同步、数据备份/恢复等场景，在数仓日常维护中使用频率较高，难免遇到性能、功能问题，如果能监控到 GDS 在干什么、业务进度如何，必然能为排故提供有效参考，提高排查效率。本文从系统视图、应用日志两个方面介绍导入导出监控方法，配合实例进行说明，最后对PostgreSQL的监控方法进行说明，扩展视野。
- 新时代在移动互联网、电商、IoT等场景会产生大量实时数据，以往的离线批量计算时效性较差，业务人员无法根据自己的即时性需要获取几分钟之前甚至实时数据，为了快速获取实时或者准实时数据，数据发生后尽快的达到用户的手中，释放实时或者准实时数据价值，实时数仓的系统性构建需求也应运而生，本文以MYSQL库为例实时同步GaussDB(DWS)场景，分享使用华为云模式下DRS（数据复制服务）构建快速数据接入方案。 新时代在移动互联网、电商、IoT等场景会产生大量实时数据，以往的离线批量计算时效性较差，业务人员无法根据自己的即时性需要获取几分钟之前甚至实时数据，为了快速获取实时或者准实时数据，数据发生后尽快的达到用户的手中，释放实时或者准实时数据价值，实时数仓的系统性构建需求也应运而生，本文以MYSQL库为例实时同步GaussDB(DWS)场景，分享使用华为云模式下DRS（数据复制服务）构建快速数据接入方案。
- 【摘要】 GaussDB(DWS)支持的UPSERT功能，可以实时进行数据导入，在出现主键或者唯一索引冲突时执行更新或者忽略操作。对于实时数仓是一项非常重要的技术。 【摘要】 GaussDB(DWS)支持的UPSERT功能，可以实时进行数据导入，在出现主键或者唯一索引冲突时执行更新或者忽略操作。对于实时数仓是一项非常重要的技术。
- 连接类型介绍想要通过SQL完成各种复杂的查询，则多表之间的连接是必不可少的。连接分为：内连接和外连接两大类，每大类中还可进行细分。为了能更好的说明各种连接之间的区别，下面通过具体示例进行各连接的展示。首先做如下表创建和设置：CREATE TABLE student( id INTEGER, name varchar(50));CREATE TABLE math_score( id IN... 连接类型介绍想要通过SQL完成各种复杂的查询，则多表之间的连接是必不可少的。连接分为：内连接和外连接两大类，每大类中还可进行细分。为了能更好的说明各种连接之间的区别，下面通过具体示例进行各连接的展示。首先做如下表创建和设置：CREATE TABLE student( id INTEGER, name varchar(50));CREATE TABLE math_score( id IN...
- 1 统一密码校验问题1.1 udns用户密码校验失败通过DMK更改udns用户密码，oc上未同步该密码导致oc平台校验不通过，重置密码之后校验依然不通过；登陆fcd后台重新注册该用户信息，oc上修正密码后校验通过1.2 nginx用户遇到同样的问题1.3 OpenStack可登录性校验失败通过更改密码、同步密码解决2 MOAgent安装失败问... 1 统一密码校验问题1.1 udns用户密码校验失败通过DMK更改udns用户密码，oc上未同步该密码导致oc平台校验不通过，重置密码之后校验依然不通过；登陆fcd后台重新注册该用户信息，oc上修正密码后校验通过1.2 nginx用户遇到同样的问题1.3 OpenStack可登录性校验失败通过更改密码、同步密码解决2 MOAgent安装失败问...
- 本文主要是自动重建功能与REPLACE的使用场景与使用方法的介绍。 本文主要是自动重建功能与REPLACE的使用场景与使用方法的介绍。
- 该文章从内核角度介绍负载管控逻辑。重点介绍内存和并发管控。 该文章从内核角度介绍负载管控逻辑。重点介绍内存和并发管控。
- 数据库智能运维（DMS）是一个为GaussDB（DWS）数据库提供多维度监控服务的系统，能够对数据库运行所依赖的磁盘、网络、操作系统及其运行的关键性能指标进行收集和监控，再经过综合分析和处理，将数据库各类原子指标、派生指标和组合指标呈现给用户，并对数据库主机、实例、业务SQL等进行诊断，及时暴露出数据库中关键故障及性能问题，指导用户进行优化和解决。 数据库智能运维（DMS）是一个为GaussDB（DWS）数据库提供多维度监控服务的系统，能够对数据库运行所依赖的磁盘、网络、操作系统及其运行的关键性能指标进行收集和监控，再经过综合分析和处理，将数据库各类原子指标、派生指标和组合指标呈现给用户，并对数据库主机、实例、业务SQL等进行诊断，及时暴露出数据库中关键故障及性能问题，指导用户进行优化和解决。
- 在部署dws中，常规方案一般是pod区+rds数据库，本次部署使用了，pod区+dbm数据库部署的方式，相对特殊。 在部署dws中，常规方案一般是pod区+rds数据库，本次部署使用了，pod区+dbm数据库部署的方式，相对特殊。
- 由于历史原因，在集群做增量备份的场景下，CN仍然采用全量的备份方式。这样随着数据量的增加，CN总是以全量进行备份必然会成为容灾性能的短板。因此，为了解决Roach的性能问题，提出了CN增量备份手段，从而达到进一步优化RPO目的. 由于历史原因，在集群做增量备份的场景下，CN仍然采用全量的备份方式。这样随着数据量的增加，CN总是以全量进行备份必然会成为容灾性能的短板。因此，为了解决Roach的性能问题，提出了CN增量备份手段，从而达到进一步优化RPO目的.
- Nodeagent是GaussDB(DWS)管理系统Fi Manager采集数据节点状态信息，运维操作（如启停集群、启停实例）下发命令到数据节点的重要工作线程。 Controller按30秒周期检测NodeAgent心跳。当Controller未接收到某一个NodeAgent的心跳，则尝试重启该NodeAgent进程，如果连续三次重启失败，认为该节点产生故障。 Nodeagent是GaussDB(DWS)管理系统Fi Manager采集数据节点状态信息，运维操作（如启停集群、启停实例）下发命令到数据节点的重要工作线程。 Controller按30秒周期检测NodeAgent心跳。当Controller未接收到某一个NodeAgent的心跳，则尝试重启该NodeAgent进程，如果连续三次重启失败，认为该节点产生故障。
- 数据膨胀，指的是物理数据文件的大小明显高于实际存储的数据量。甚至某些特殊场景下，一个表中只有一条简单的数据，但是表对应的物理文件可能已经达到M级甚至G级。为了解决数据膨胀，GaussDB(DWS)通过vacuum和FSM来清理和重用物理空间。本文简单介绍FSM的设计和原理，并通过一个例子对FSM功能进行简单的测试和验证。 数据膨胀，指的是物理数据文件的大小明显高于实际存储的数据量。甚至某些特殊场景下，一个表中只有一条简单的数据，但是表对应的物理文件可能已经达到M级甚至G级。为了解决数据膨胀，GaussDB(DWS)通过vacuum和FSM来清理和重用物理空间。本文简单介绍FSM的设计和原理，并通过一个例子对FSM功能进行简单的测试和验证。
上滑加载中
推荐直播
-
让你的应用用上GaussDB2024/12/19 周四 16:30-18:00
Jerry 华为云生态技术讲师
GaussDB很受客户关注，伙伴们想知道什么时候该选用，开发者也跃跃欲试想尝鲜。课程会分享适用的场景，并一步步演示如何用上GaussDB。
即将直播 -
2024创原会年度技术峰会2024/12/20 周五 09:00-12:00
华为云讲师团
2024创原会年度技术峰会将于12月20日在海南万宁石梅湾威斯汀酒店举办，本次大会将以“智能・进化”为主题探讨从Cloud Native到AI Native的新阶段企业如何通过AI技术重塑企业应用，围绕AI如何在千行万业落地进行深入交流，探索可以先行先试先成功的创新场景和实现路径。
即将直播 -
华为云开发者日·2024年度创享峰会2024/12/23 周一 14:00-16:00
华为云讲师团
华为云开发者日HDC.Cloud Day是面向全球开发者的旗舰活动，汇聚来自千行百业、高校及科研院所的开发人员。致力于打造开发者专属的技术盛宴，全方位服务与赋能开发者围绕华为云生态“知、学、用、创、商”的成长路径。通过前沿的技术分享、场景化的动手体验、优秀的应用创新推介，为开发者提供沉浸式学习与交流平台。开放创新，与开发者共创、共享、共赢未来。
去报名
热门标签