- GTM全称为全局事务管理器，是系统中的常驻进程，主要作用是分发xid(事务ID)、snapshot(快照)、sequence（序列）等信息。为了保证事务标识的一致性和全局唯一性，在集群中只有一个主GTM提供服务，并采用了主备方式，从而实现了高可用。在连接方面，GTM是被动连接的，它不关心连接方的节点类型（是CN还是DN），只会根据接收到的报文信息，进行相应处理，并返回消息。 GTM全称为全局事务管理器，是系统中的常驻进程，主要作用是分发xid(事务ID)、snapshot(快照)、sequence（序列）等信息。为了保证事务标识的一致性和全局唯一性，在集群中只有一个主GTM提供服务，并采用了主备方式，从而实现了高可用。在连接方面，GTM是被动连接的，它不关心连接方的节点类型（是CN还是DN），只会根据接收到的报文信息，进行相应处理，并返回消息。
- 运维管理模块是任何软件产品最基础和重要的一部分。是软件产品的门户，也是用户接触和使用软件产品的和前提和基础。如安装部署能让用户快速上手使用，升级能让产品平滑更新，扩容能让产品扩充能力，故障修复能让产品快速恢复，监控告警能让产品提前预知或及时排除故障。其在可用性，易用性，可靠性，可维护性、在线运维方面都有较高的要求。本文将详细介绍GaussDB(DWS)重要运维管理功能“升级”的原理和使用。 运维管理模块是任何软件产品最基础和重要的一部分。是软件产品的门户，也是用户接触和使用软件产品的和前提和基础。如安装部署能让用户快速上手使用，升级能让产品平滑更新，扩容能让产品扩充能力，故障修复能让产品快速恢复，监控告警能让产品提前预知或及时排除故障。其在可用性，易用性，可靠性，可维护性、在线运维方面都有较高的要求。本文将详细介绍GaussDB(DWS)重要运维管理功能“升级”的原理和使用。
- TPCDS是模拟OLAP应用的典型场景，因其贴近真实场景，且有工具直接生成数据，而成为SQL引擎测试组最常用的测试模型。，本文将从几个角度分别进行分析：模型、场景、语句、数据 TPCDS是模拟OLAP应用的典型场景，因其贴近真实场景，且有工具直接生成数据，而成为SQL引擎测试组最常用的测试模型。，本文将从几个角度分别进行分析：模型、场景、语句、数据
- 承接上一篇博客《GaussDB(DWS)性能调优系列基础篇一：万物之始analyze统计信息》，在GaussDB(DWS)的优化器根据analyze统计信息生成计划后，这里继续介绍如何详细解读计划以及计划的执行过程，从中发现可能存在的性能瓶颈点及其产生的原因。 承接上一篇博客《GaussDB(DWS)性能调优系列基础篇一：万物之始analyze统计信息》，在GaussDB(DWS)的优化器根据analyze统计信息生成计划后，这里继续介绍如何详细解读计划以及计划的执行过程，从中发现可能存在的性能瓶颈点及其产生的原因。
- 今天华为云服务器到期，已经做释放，原本想做文章推荐。但是因某种原因，目前暂时只做到离线文章画像。后期只能使用笔记本电脑来做。电脑配置cpu为4核8线程，内存32G，只能够开5台虚拟机和PyCharm。刚好能搭建一套高可用hadoop集群。虽然这次没完成，但还是使用很多软件，例如：1. 1.sible部署——2.docker——3. Keepalived——4. Proxy... 今天华为云服务器到期，已经做释放，原本想做文章推荐。但是因某种原因，目前暂时只做到离线文章画像。后期只能使用笔记本电脑来做。电脑配置cpu为4核8线程，内存32G，只能够开5台虚拟机和PyCharm。刚好能搭建一套高可用hadoop集群。虽然这次没完成，但还是使用很多软件，例如：1. 1.sible部署——2.docker——3. Keepalived——4. Proxy...
- 学完博客，您将能够 熟悉GaussDB(DWS)数据库安装补丁、升级、扩容流程 熟悉GaussDB(DWS)数据库安装补丁、升级、扩容前检查; 熟悉GaussDB(DWS)数据库安装补丁、升级、扩容具体过程; 熟悉GaussDB(DWS)数据库安装补丁、升级、扩容问题排查。 学完博客，您将能够 熟悉GaussDB(DWS)数据库安装补丁、升级、扩容流程 熟悉GaussDB(DWS)数据库安装补丁、升级、扩容前检查; 熟悉GaussDB(DWS)数据库安装补丁、升级、扩容具体过程; 熟悉GaussDB(DWS)数据库安装补丁、升级、扩容问题排查。
- 1. 采用的是Python黑马头条推荐系统项目这个案例，选择它是用python完成。相关视频可以哔哩哔哩上找到。新建文章数据库，存储文章数据、中间计算结果以及文章画像结果 2. 以为资源配置高，想把25个频道循环分频道做文章画像。因为pyspark下把变量传递到sql语句里，使用$是不行... 1. 采用的是Python黑马头条推荐系统项目这个案例，选择它是用python完成。相关视频可以哔哩哔哩上找到。新建文章数据库，存储文章数据、中间计算结果以及文章画像结果 2. 以为资源配置高，想把25个频道循环分频道做文章画像。因为pyspark下把变量传递到sql语句里，使用$是不行...
- GaussDB在执行SQL语句时，会对其性能表现进行分析和记录，通过视图和函数等手段呈现给用户。本文将简要介绍如何利用GaussDB提供的这些“第一手”数据，分析和定位SQL语句中存在的性能问题，识别和消除SQL中的“坏味道”。 GaussDB在执行SQL语句时，会对其性能表现进行分析和记录，通过视图和函数等手段呈现给用户。本文将简要介绍如何利用GaussDB提供的这些“第一手”数据，分析和定位SQL语句中存在的性能问题，识别和消除SQL中的“坏味道”。
- 1 什么是Unique SQL用户执行SQL语句时，每一个SQL语句文本都会进入解析器（Parser），生成“解析树”（parse tree）。遍历解析树中各个结点，忽略其中的常数值，以一定的算法结合树中的各结点，计算出来一个整数值，用来唯一标识这一类SQL，这个整数值被称为Unique SQL ID，Unique SQL ID相同的SQL语句属于同一个“Unique SQL”。例如，用户... 1 什么是Unique SQL用户执行SQL语句时，每一个SQL语句文本都会进入解析器（Parser），生成“解析树”（parse tree）。遍历解析树中各个结点，忽略其中的常数值，以一定的算法结合树中的各结点，计算出来一个整数值，用来唯一标识这一类SQL，这个整数值被称为Unique SQL ID，Unique SQL ID相同的SQL语句属于同一个“Unique SQL”。例如，用户...
- 1. 测试supervisorctl能否正常运行collect_click.sh脚本1. 上传数据到/user/hive/warehouse//opt/modules/hadoop/bin/hdfs dfs -put /opt/datas/backup/toutiao.db /user/hive/warehouse//opt/modules/hadoop/bin/hd... 1. 测试supervisorctl能否正常运行collect_click.sh脚本1. 上传数据到/user/hive/warehouse//opt/modules/hadoop/bin/hdfs dfs -put /opt/datas/backup/toutiao.db /user/hive/warehouse//opt/modules/hadoop/bin/hd...
- 关系型数据库or非关系型数据库，开源or自研，傻傻分不清楚。 关系型数据库or非关系型数据库，开源or自研，傻傻分不清楚。
- 1. 用户日志如何收集，配置flume，通过flume将业务数据服务器mas1的日志收集到hadoop服务器hdfs的hive中。通过向userClick.log数据进行测试安装Supervisor，出现无法在线安装。使用离线。先下载下来，再安装。启动脚本：2. 配置kafka 参照https://www.cnblogs.com/Dev0ps/p/11259324.h... 1. 用户日志如何收集，配置flume，通过flume将业务数据服务器mas1的日志收集到hadoop服务器hdfs的hive中。通过向userClick.log数据进行测试安装Supervisor，出现无法在线安装。使用离线。先下载下来，再安装。启动脚本：2. 配置kafka 参照https://www.cnblogs.com/Dev0ps/p/11259324.h...
- GaussDB(DWS)的表被视图引用的话，特定场景下，部分DDL操作是不能直接执行的，比如修改被视图引用的字段的类型，删除表等，而新增字段是可以操作，主要原因是视图引用了表的字段，修改的话视图也需要变化 GaussDB(DWS)的表被视图引用的话，特定场景下，部分DDL操作是不能直接执行的，比如修改被视图引用的字段的类型，删除表等，而新增字段是可以操作，主要原因是视图引用了表的字段，修改的话视图也需要变化
- 最近开始接触GaussDB(DWS)，在查询一些表信息的时候，总是忘记字典表是啥，虽然说用的多就记住了，但是还没记住的时候，总是要查询产品文档或之前的笔记，挺麻烦的。同时比如优化SQL的时候，总会需要综合多方面的信息，就需要多个字典表，比如表的分布列，分布方式，空间大小，倾斜率，有没收集统计信息等等，还需要统计一起，那就需要更多工作了。决定写一个shell脚本来减轻工作量。 最近开始接触GaussDB(DWS)，在查询一些表信息的时候，总是忘记字典表是啥，虽然说用的多就记住了，但是还没记住的时候，总是要查询产品文档或之前的笔记，挺麻烦的。同时比如优化SQL的时候，总会需要综合多方面的信息，就需要多个字典表，比如表的分布列，分布方式，空间大小，倾斜率，有没收集统计信息等等，还需要统计一起，那就需要更多工作了。决定写一个shell脚本来减轻工作量。
- 1.虽然提供的数据不需要使用sqoop来倒入到hive，但还是根据案例部署sqoop.启动sqoop出现上面情况，解决方法如下：方法一：方法二：https://wenda.chinahadoop.cn/question/2121 (本人没测试过)修改$SQOOP_HOME/bin/configure-sqoop注释掉HCatalog，Accumulo检查$HCAT_HOME$ACCUMUL... 1.虽然提供的数据不需要使用sqoop来倒入到hive，但还是根据案例部署sqoop.启动sqoop出现上面情况，解决方法如下：方法一：方法二：https://wenda.chinahadoop.cn/question/2121 (本人没测试过)修改$SQOOP_HOME/bin/configure-sqoop注释掉HCatalog，Accumulo检查$HCAT_HOME$ACCUMUL...
上滑加载中
推荐直播
-
在昇腾云上部署使用DeepSeek2025/02/14 周五 16:30-18:00
Hao-资深昇腾云解决方案专家
昇腾云上有多种方法部署DeepSeek，讲师一步步演示，解析配置参数的含义和推荐的选择。学完一起动手搭建自己的DeepSeek环境吧！
回顾中
热门标签