- 数仓系统容灾及可靠性的必要性进入云时代数据仓库系统已经不是之前大家理解的对于可靠性没有特别的要求，当前金融，电力等头部公司的分析业务对于实时性，可用性都在不断的提高。要求在极端情况下能快速恢复，快速提供服务。所以做为云时代的数仓，是否有容灾能力成为一个产品成熟度，可用度的一个重要指标。业务常用的容灾方案从GaussDB(DWS)的角度去分析业界目前几种通用的容灾方案： 日志同步技术： 列存数... 数仓系统容灾及可靠性的必要性进入云时代数据仓库系统已经不是之前大家理解的对于可靠性没有特别的要求，当前金融，电力等头部公司的分析业务对于实时性，可用性都在不断的提高。要求在极端情况下能快速恢复，快速提供服务。所以做为云时代的数仓，是否有容灾能力成为一个产品成熟度，可用度的一个重要指标。业务常用的容灾方案从GaussDB(DWS)的角度去分析业界目前几种通用的容灾方案： 日志同步技术： 列存数...
- 1.LLVM是什么？LLVM这个名字最早源于底层虚拟机（Low Level VirTual Machine）的首字母缩写，但随着LLVM项目的演进，底层虚拟机的含义已经不再适用于LLVM。现在谈到LLVM，广义上讲就是指LLVM本身，它是一套用于开发编译前段与后端的工具套件，狭义上讲LLVM就是指整个编译套件的优化器及后端，而CLANG可以认为是C/C++的前端。 2.LLVM的优势？传统... 1.LLVM是什么？LLVM这个名字最早源于底层虚拟机（Low Level VirTual Machine）的首字母缩写，但随着LLVM项目的演进，底层虚拟机的含义已经不再适用于LLVM。现在谈到LLVM，广义上讲就是指LLVM本身，它是一套用于开发编译前段与后端的工具套件，狭义上讲LLVM就是指整个编译套件的优化器及后端，而CLANG可以认为是C/C++的前端。 2.LLVM的优势？传统...
- 该文章从内核角度介绍负载管控逻辑。重点介绍内存和并发管控。 该文章从内核角度介绍负载管控逻辑。重点介绍内存和并发管控。
- 数据库智能运维（DMS）是一个为GaussDB（DWS）数据库提供多维度监控服务的系统，能够对数据库运行所依赖的磁盘、网络、操作系统及其运行的关键性能指标进行收集和监控，再经过综合分析和处理，将数据库各类原子指标、派生指标和组合指标呈现给用户，并对数据库主机、实例、业务SQL等进行诊断，及时暴露出数据库中关键故障及性能问题，指导用户进行优化和解决。 数据库智能运维（DMS）是一个为GaussDB（DWS）数据库提供多维度监控服务的系统，能够对数据库运行所依赖的磁盘、网络、操作系统及其运行的关键性能指标进行收集和监控，再经过综合分析和处理，将数据库各类原子指标、派生指标和组合指标呈现给用户，并对数据库主机、实例、业务SQL等进行诊断，及时暴露出数据库中关键故障及性能问题，指导用户进行优化和解决。
- 在部署dws中，常规方案一般是pod区+rds数据库，本次部署使用了，pod区+dbm数据库部署的方式，相对特殊。 在部署dws中，常规方案一般是pod区+rds数据库，本次部署使用了，pod区+dbm数据库部署的方式，相对特殊。
- 由于历史原因，在集群做增量备份的场景下，CN仍然采用全量的备份方式。这样随着数据量的增加，CN总是以全量进行备份必然会成为容灾性能的短板。因此，为了解决Roach的性能问题，提出了CN增量备份手段，从而达到进一步优化RPO目的. 由于历史原因，在集群做增量备份的场景下，CN仍然采用全量的备份方式。这样随着数据量的增加，CN总是以全量进行备份必然会成为容灾性能的短板。因此，为了解决Roach的性能问题，提出了CN增量备份手段，从而达到进一步优化RPO目的.
- GaussDB(DWS）作为一款运行在华为云上的核心数据仓库，客户大量的数据存储在DWS的数据节点中，DWS不仅拥有海量数据查询的极致性能，在安全方面还需要有加固防护措施。当前数据库都是多个用户共同访问数据，这些数据都具有重要价值，关系到用户的核心资产和用户隐私，如何禁止别有用心的用户窃取以及黑客攻击，本课程给您提供数据的安全管理方法。云数仓安全层层防护云数仓外部：由华为云的云安全管理产品保... GaussDB(DWS）作为一款运行在华为云上的核心数据仓库，客户大量的数据存储在DWS的数据节点中，DWS不仅拥有海量数据查询的极致性能，在安全方面还需要有加固防护措施。当前数据库都是多个用户共同访问数据，这些数据都具有重要价值，关系到用户的核心资产和用户隐私，如何禁止别有用心的用户窃取以及黑客攻击，本课程给您提供数据的安全管理方法。云数仓安全层层防护云数仓外部：由华为云的云安全管理产品保...
- Nodeagent是GaussDB(DWS)管理系统Fi Manager采集数据节点状态信息，运维操作（如启停集群、启停实例）下发命令到数据节点的重要工作线程。 Controller按30秒周期检测NodeAgent心跳。当Controller未接收到某一个NodeAgent的心跳，则尝试重启该NodeAgent进程，如果连续三次重启失败，认为该节点产生故障。 Nodeagent是GaussDB(DWS)管理系统Fi Manager采集数据节点状态信息，运维操作（如启停集群、启停实例）下发命令到数据节点的重要工作线程。 Controller按30秒周期检测NodeAgent心跳。当Controller未接收到某一个NodeAgent的心跳，则尝试重启该NodeAgent进程，如果连续三次重启失败，认为该节点产生故障。
- 数据膨胀，指的是物理数据文件的大小明显高于实际存储的数据量。甚至某些特殊场景下，一个表中只有一条简单的数据，但是表对应的物理文件可能已经达到M级甚至G级。为了解决数据膨胀，GaussDB(DWS)通过vacuum和FSM来清理和重用物理空间。本文简单介绍FSM的设计和原理，并通过一个例子对FSM功能进行简单的测试和验证。 数据膨胀，指的是物理数据文件的大小明显高于实际存储的数据量。甚至某些特殊场景下，一个表中只有一条简单的数据，但是表对应的物理文件可能已经达到M级甚至G级。为了解决数据膨胀，GaussDB(DWS)通过vacuum和FSM来清理和重用物理空间。本文简单介绍FSM的设计和原理，并通过一个例子对FSM功能进行简单的测试和验证。
- GaussDB(DWS)提供了丰富的视图用于SQL信息和状态监控，协助用户SQL运维及问题分析。其中负载管理也提供了专门的视图用于SQL运行状态监控，通过视图排查SQL排队原因，及时给出优化措施。本文重点介绍了负载管理常用视图，同时结合其他视图给出了视图应用案例。 GaussDB(DWS)提供了丰富的视图用于SQL信息和状态监控，协助用户SQL运维及问题分析。其中负载管理也提供了专门的视图用于SQL运行状态监控，通过视图排查SQL排队原因，及时给出优化措施。本文重点介绍了负载管理常用视图，同时结合其他视图给出了视图应用案例。
- 对于更新和删除操作频繁的表，会存在大量垃圾数据，导致磁盘空间的浪费和查询扫描时额外的IO开销，需要定期执行清理操作(vacuum)来控制行存表以及表上索引的膨胀。本文将对vacuum的原理以及影响vacuum效果的因素进行简单介绍。 对于更新和删除操作频繁的表，会存在大量垃圾数据，导致磁盘空间的浪费和查询扫描时额外的IO开销，需要定期执行清理操作(vacuum)来控制行存表以及表上索引的膨胀。本文将对vacuum的原理以及影响vacuum效果的因素进行简单介绍。
- 为了简化数据库SQL脚本的开发模式和执行环境，数据库一般会把数据库交互的功能封装在客户端工具中，用以增加SQL脚本的灵活性，提高脚本的开发效率。GaussDB(DWS)数据库数据库客户端工具gsql的增强特性包含动态变量、逻辑控制、大小比较、循环体等。通过这些增强特性可以实现流程式的SQL开发，提升数据仓库的SQL作业开发效率。 为了简化数据库SQL脚本的开发模式和执行环境，数据库一般会把数据库交互的功能封装在客户端工具中，用以增加SQL脚本的灵活性，提高脚本的开发效率。GaussDB(DWS)数据库数据库客户端工具gsql的增强特性包含动态变量、逻辑控制、大小比较、循环体等。通过这些增强特性可以实现流程式的SQL开发，提升数据仓库的SQL作业开发效率。
- 数据库智能运维（DMS）是GaussDB(DWS)为客户数据库快速、稳定运行提供保驾护航的能力，对业务数据库所使用磁盘、网络、OS指标数据，集群运行关键性能指标进行收集、监控、分析。通过综合收集到的多种类型数据，对数据库主机、实例、业务SQL进行诊断，及时暴露数据库中关键故障及性能问题，指导客户进行优化解决。 数据库智能运维（DMS）是GaussDB(DWS)为客户数据库快速、稳定运行提供保驾护航的能力，对业务数据库所使用磁盘、网络、OS指标数据，集群运行关键性能指标进行收集、监控、分析。通过综合收集到的多种类型数据，对数据库主机、实例、业务SQL进行诊断，及时暴露数据库中关键故障及性能问题，指导客户进行优化解决。
- GaussDB(DWS)产品不但提供了云上数据库，也提供可以部署在物理机集群上的ESL版本，本篇文章记录了如何部署一个ESL版本集群。 GaussDB(DWS)产品不但提供了云上数据库，也提供可以部署在物理机集群上的ESL版本，本篇文章记录了如何部署一个ESL版本集群。
- 本文主要简单介绍分布式场景下两表join的原理和几种典型场景，并提供几点减少stream算子的优化建议 本文主要简单介绍分布式场景下两表join的原理和几种典型场景，并提供几点减少stream算子的优化建议
上滑加载中
推荐直播
-
华为云 x DeepSeek：AI驱动云上应用创新2025/02/26 周三 16:00-18:00
华为云 AI专家大咖团
在 AI 技术飞速发展之际，DeepSeek 备受关注。它凭借哪些技术与理念脱颖而出？华为云与 DeepSeek 合作，将如何重塑产品与应用模式，助力企业数字化转型？在华为开发者空间，怎样高效部署 DeepSeek，搭建专属服务器？基于华为云平台，又该如何挖掘 DeepSeek 潜力，实现智能化升级？本期直播围绕DeepSeek在云上的应用案例，与DTSE布道师们一起探讨如何利用AI 驱动云上应用创新。
回顾中 -
热门标签