- 数据膨胀,指的是物理数据文件的大小明显高于实际存储的数据量。甚至某些特殊场景下,一个表中只有一条简单的数据,但是表对应的物理文件可能已经达到M级甚至G级。为了解决数据膨胀,GaussDB(DWS)通过vacuum和FSM来清理和重用物理空间。本文简单介绍FSM的设计和原理,并通过一个例子对FSM功能进行简单的测试和验证。 数据膨胀,指的是物理数据文件的大小明显高于实际存储的数据量。甚至某些特殊场景下,一个表中只有一条简单的数据,但是表对应的物理文件可能已经达到M级甚至G级。为了解决数据膨胀,GaussDB(DWS)通过vacuum和FSM来清理和重用物理空间。本文简单介绍FSM的设计和原理,并通过一个例子对FSM功能进行简单的测试和验证。
- GaussDB(DWS)提供了丰富的视图用于SQL信息和状态监控,协助用户SQL运维及问题分析。其中负载管理也提供了专门的视图用于SQL运行状态监控,通过视图排查SQL排队原因,及时给出优化措施。本文重点介绍了负载管理常用视图,同时结合其他视图给出了视图应用案例。 GaussDB(DWS)提供了丰富的视图用于SQL信息和状态监控,协助用户SQL运维及问题分析。其中负载管理也提供了专门的视图用于SQL运行状态监控,通过视图排查SQL排队原因,及时给出优化措施。本文重点介绍了负载管理常用视图,同时结合其他视图给出了视图应用案例。
- 为了简化数据库SQL脚本的开发模式和执行环境,数据库一般会把数据库交互的功能封装在客户端工具中,用以增加SQL脚本的灵活性,提高脚本的开发效率。GaussDB(DWS)数据库数据库客户端工具gsql的增强特性包含动态变量、逻辑控制、大小比较、循环体等。通过这些增强特性可以实现流程式的SQL开发,提升数据仓库的SQL作业开发效率。 为了简化数据库SQL脚本的开发模式和执行环境,数据库一般会把数据库交互的功能封装在客户端工具中,用以增加SQL脚本的灵活性,提高脚本的开发效率。GaussDB(DWS)数据库数据库客户端工具gsql的增强特性包含动态变量、逻辑控制、大小比较、循环体等。通过这些增强特性可以实现流程式的SQL开发,提升数据仓库的SQL作业开发效率。
- 近年来,Transformer模型在自然语言处理(NLP)领域中横扫千军,以BERT、GPT为代表的模型屡屡屠榜,目前已经成为了该领域的标准模型。同时,在计算机视觉等领域中,Transformer模型也逐渐得到了重视,越来越多的研究工作开始将这类模型引入到算法中。本文基于2017年Google发表的论文,介绍Transformer模型的原理。 近年来,Transformer模型在自然语言处理(NLP)领域中横扫千军,以BERT、GPT为代表的模型屡屡屠榜,目前已经成为了该领域的标准模型。同时,在计算机视觉等领域中,Transformer模型也逐渐得到了重视,越来越多的研究工作开始将这类模型引入到算法中。本文基于2017年Google发表的论文,介绍Transformer模型的原理。
- GaussDB(DWS)产品不但提供了云上数据库,也提供可以部署在物理机集群上的ESL版本,本篇文章记录了如何部署一个ESL版本集群。 GaussDB(DWS)产品不但提供了云上数据库,也提供可以部署在物理机集群上的ESL版本,本篇文章记录了如何部署一个ESL版本集群。
- 故事的起因来源于我在优化他人c++源码的时候,想通过多线程的方式提升程序的运算效率,主要存在以下需求和难点:多个线程并行跑模型,看哪个模型跑的快,跑出来后结束其他线程,线程间独立运行无通信过程源码模型很复杂,函数调用较多,不好改动,因此不太适合通过信号或标志进行通信终止网上搜索了一下线程结束的几种方式:线程函数的return返回(建议)。这种退出线程的方式是最安全的,在线程函数return返... 故事的起因来源于我在优化他人c++源码的时候,想通过多线程的方式提升程序的运算效率,主要存在以下需求和难点:多个线程并行跑模型,看哪个模型跑的快,跑出来后结束其他线程,线程间独立运行无通信过程源码模型很复杂,函数调用较多,不好改动,因此不太适合通过信号或标志进行通信终止网上搜索了一下线程结束的几种方式:线程函数的return返回(建议)。这种退出线程的方式是最安全的,在线程函数return返...
- 本文主要简单介绍分布式场景下两表join的原理和几种典型场景,并提供几点减少stream算子的优化建议 本文主要简单介绍分布式场景下两表join的原理和几种典型场景,并提供几点减少stream算子的优化建议
- GaussDB(DWS) 的负荷诊断报告(Workload Diagnosis Report,以下简称WDR)功能,可以提供指定时间段内的性能数据,以html网页报告的形式呈现给用户。通过分析该报告,能够帮助用户发现异常、诊断问题、优化性能等,其内容丰富直观,是数据库调优的利器。本文对WDR的原理和使用方法进行简要介绍。通过本文,读者可知晓什么是WDR,如何创建性能数据快照生成报告。 GaussDB(DWS) 的负荷诊断报告(Workload Diagnosis Report,以下简称WDR)功能,可以提供指定时间段内的性能数据,以html网页报告的形式呈现给用户。通过分析该报告,能够帮助用户发现异常、诊断问题、优化性能等,其内容丰富直观,是数据库调优的利器。本文对WDR的原理和使用方法进行简要介绍。通过本文,读者可知晓什么是WDR,如何创建性能数据快照生成报告。
- 在项目交付中,经常会用到两级或者多级用户权限管理,例如系统用户分为省和市两级,省级用户包括1名省级管理员和N名省级普通用户,市级用户包括多名市级管理员(每个地市设置1名市级管理员)和N名普通用户。省级管理员对接管理省级用户和市级管理员用户,市级管理员对接管理市级用户,并进行分级用户和权限管理。 在项目交付中,经常会用到两级或者多级用户权限管理,例如系统用户分为省和市两级,省级用户包括1名省级管理员和N名省级普通用户,市级用户包括多名市级管理员(每个地市设置1名市级管理员)和N名普通用户。省级管理员对接管理省级用户和市级管理员用户,市级管理员对接管理市级用户,并进行分级用户和权限管理。
- 在通用目标检测算法,空洞卷积能有效地提升网络的感受野,进而提升算法的性能。本次解读的文章提出了一种空洞卷积变体及对应的空洞卷积搜索方法,充分探索空洞卷积的潜力,进一步提升网络模型的性能。 在通用目标检测算法,空洞卷积能有效地提升网络的感受野,进而提升算法的性能。本次解读的文章提出了一种空洞卷积变体及对应的空洞卷积搜索方法,充分探索空洞卷积的潜力,进一步提升网络模型的性能。
- 前言元数据不一致问题往往会导致业务上的报错,在现网环境中,“元数据不一致”一词常常让客户、一线、二线甚至研发兄弟们谈虎色变,但是很多人其实并不清楚“元数据不一致”到底是什么,该如何处理。元数据不一致真的有那么可怕吗?接下来本文将以一种常见的元数据不一致场景为例,带领读者揭开元数据不一致的神秘面纱声明1.此系列博文的初衷是构建更加强大的生态社区,提升大家对GaussDB(DWS)的认识,在现网... 前言元数据不一致问题往往会导致业务上的报错,在现网环境中,“元数据不一致”一词常常让客户、一线、二线甚至研发兄弟们谈虎色变,但是很多人其实并不清楚“元数据不一致”到底是什么,该如何处理。元数据不一致真的有那么可怕吗?接下来本文将以一种常见的元数据不一致场景为例,带领读者揭开元数据不一致的神秘面纱声明1.此系列博文的初衷是构建更加强大的生态社区,提升大家对GaussDB(DWS)的认识,在现网...
- 1.1 分析导图 1.2 Topic的describe信息异常,出现大量的leader -1或者leader为none通过1.4章节查看集群节点是否完整。查看kafka集群的节点是否有非常规退服。详情见4.1.14章节。如果出现这种情况,topic只能强制删除后重新创建,方法见维护宝典《如何手动删除topic》。节点信息正常但是出现大量的leader出现-1或者none,需要... 1.1 分析导图 1.2 Topic的describe信息异常,出现大量的leader -1或者leader为none通过1.4章节查看集群节点是否完整。查看kafka集群的节点是否有非常规退服。详情见4.1.14章节。如果出现这种情况,topic只能强制删除后重新创建,方法见维护宝典《如何手动删除topic》。节点信息正常但是出现大量的leader出现-1或者none,需要...
- 在项目交付中,经常有人会问“如何在数据库中查询表的创建时间?” ,那么究竟如何在GaussDB(DWS)中查找对象的创建时间呢?本文提供3种方法作为参考,包括dba_objecs视图查看方法、审计日志查看方法和CN日志查看方法。 在项目交付中,经常有人会问“如何在数据库中查询表的创建时间?” ,那么究竟如何在GaussDB(DWS)中查找对象的创建时间呢?本文提供3种方法作为参考,包括dba_objecs视图查看方法、审计日志查看方法和CN日志查看方法。
- GaussDB(DWS)备份恢复工具roach支持单表、多表、schema级别、database级别的逻辑备份,满足客户不同使用需求。本次介绍database级逻辑备份。1. Database级备份: $GPHOME/script/GaussRoach.py -t backup --dbname test_database --agent-port 8888 --metadata-d... GaussDB(DWS)备份恢复工具roach支持单表、多表、schema级别、database级别的逻辑备份,满足客户不同使用需求。本次介绍database级逻辑备份。1. Database级备份: $GPHOME/script/GaussRoach.py -t backup --dbname test_database --agent-port 8888 --metadata-d...
- 离线重分布与在线重分布原理。 离线重分布与在线重分布原理。
上滑加载中