请问下DWS会自动清理日志文件吗，例如运行日志、审计日志等文件。是否有参数可控制该行为？

execute direct 执行语句时怎么转义单引号

背景DWS为多CN架构，建议在CN之上假设负载均衡组件。作用：将前端负载均匀分布到各个CN上，避免单个CN成为整个集群的瓶颈。配合CN自动剔除，可以支持单个CN故障后，不向故障CN发送任务，将CN故障对业务的影响降到最低。注意事项DWS搭配负载均衡组件时，负载均衡组件使用DR模式，客户端连接服务器时，首先会访问负载均衡服务器，负载均衡服务器将连接按照一定的算法（如轮询算法）分发到各个数据库服务器上（CN），数据返回时，不经过负载均衡服务器，直接返回到客户端。因此，如果客户端的访问请求流量较大，可能会将负载均衡服务器流量打满，而结果返回时，由于是直接返回客户端，不经过负载均衡服务器。DWS客户端访问可能导致流量大的操作场景主要是copy from、copy from任务。copy from、copy from命令用于将本地文件或数据流高效拷贝到数据库表中，因此会存在大量数据从客户端传送到服务端，如果配置了负载均衡服务器，数据会经过负载均衡服务器，当copy from、copy from任务要拷贝的文件较大、并发较高，超出了负载均衡服务器可承载的流量后，会导致负载均衡服务器成为瓶颈。因此，建议大流量的copy、copy任务直接连接固定CN IP执行。在此CN出现异常后，需要业务修改连接字符串中CN IP，将业务切换到其他CN执行。使用copy from、copy from的场景主要有：1.使用gsql客户端，调用copy from、 copy from命令向服务端传送数据。其中copy from命令只能在CN所在节点执行，copy from命令可以远程执行。示例如下：COPY tpcds.ship_mode_t1 FROM '/home/omm/ds_ship_mode.dat' WITH(format 'text', delimiter E' ', ignore_extra_data 'true', noescaping 'true'); 2.使用jdbc copy manager接口，或使用封装了jdbc copy manager接口的工具，向服务端传送数据。copy manager接口如下：CopyManager copyManager = new CopyManager((BaseConnection)connection);          fileInputStream = new FileInputStream(filePath);         copyManager.copyIn("COPY " + tableName + " FROM STDIN", fileInputStream); 3.sql on oracle, sql on other gaussdb, sql on spark这些也都是走CN和负载均衡的。若使用F5做负载均衡，请关注以上场景

搭建集群时的选择例如单DN节点有24块盘那么是选择做2组raid5（每组12块）还是做4组raid5（每组6块）。求助两种方案的读写效率对比

搭建集群时的选择例如单DN节点有24块盘那么是选择做2组raid5（每组12块）还是做4组raid5（每组6块）。求助两种方案的读写效率对比

例如单DN节点有24块盘那么是选择做2组raid5（每组12块）还是做4组raid5（每组6块）。求助两种方案的读写效率对比

【问题现象】审计日志pgxc_query_audit视图中query_id列记录重复，无法确定唯一性，影响行内审计统计【原因分析】1、query_id重复的记录，是非问题。原因是语句包含SQL language的UDF（函数：oreplace、td_month_end），审计日志在设置审计userfunc时，会审计此类UDF内的语句。2、现场audit_operation_exec参数设置为all，包含了userfunc【解决方案】可以修改audit_operation_exec不审计userfunc消除此类重复记录。【拓展】修改audit_operation_exec不审计userfunc后，它仍然会审计UDF的。比如select或者dml里涉及udf，只是UDF里的语句审计不到了，用以下例子说明：但是SELECT LAST_DAY($1)::DATE;  这条记录是因为语句里用了td_month_endselect to_char(td_month_end(to_date('20220720', 'yyyymmdd') + 1), 'yyyymmdd') as "end_of_month";修改audit_operation_exec消除了udf的记录的后，SELECT LAST_DAY($1)::DATE;这条记录就会没有，也就达到了审计目的

高斯版本8.1.1，在oracle可以支持range between n preceding and n following，但在高斯里只能支持unbounded，unbounded不满足要求。请问还有什么方法可以支持呢？

高斯版本8.1.1，在oracle可以支持range between n preceding and n following，但在高斯里只能支持unbounded，unbounded不满足要求。请问还有什么方法可以支持呢？

# 一、问题背景 在DWS生产环境创建HDFS外表后，查询产生如下报错： ``` ERROR: The number of partition columns defined of foreign table ~~xxx~~ is larger than it should be. ``` 不指定分布列时，查询外表不报错； # 二、排查步骤 1、HDFS侧表定义分区列是在partition by里指定，列定义时不需声明，DWS侧表定义侧列定义需声明，然后在partition by里指定； DWS侧获取外表定义（8.0以上版本可用） ``` select pg_get_tabledef(模式名.表名); ``` 2、对应HDFS侧表定义和DWS侧外表定义，定义列的顺序保持一致； 3、DWS侧不指定分布列时查询外表无报错，查询分区个数总共80个，在HDFS侧指定的外表路径下查询到分区有82个； ``` HDFS进入目录统计分区个数 DWS侧语句去重查询分区列 ``` 通过和HD侧确认，为源分区删除文件残留场景 # 三、解决方法 HDFS侧清理无效分区后，重新创建指定分布列外表，查询已无报错，查询到的分区数和HDFS侧保持一致； # 四、问题总结 该问题在生产环境较为少见，报错显示为分区列不匹配，遇到后可参考以上步骤排查，如有其它场景后续继续补充。

【功能模块】HCS-DWS8.1.1管控面“集群管理”，“容灾管理”升级完报错【操作步骤&问题现象】1、通过HCSU工具将HCS-DWS的8.1.0版本升级至8.1.1版本，升级过程中有四个子任务（具体子任务见截图信息1）没有检查通过，误操作点击了“跳过”。2、升级完成后做基本功能验证，发现DWS管控面的“集群管理”容灾管理“等均出现报错（报错截图见截图信息2）【截图信息】1、2、【日志信息】（可选，上传日志内容或者附件）

工作中需要同步GaussDB（for opengauss）中的档案数据到redis，有没有什么好的方案，华为有提供相应的工具吗？

近日，IDC发布了最新的《2021年下半年中国关系型数据库软件市场跟踪报告》。报告显示，在本地部署模式市场中，华为云GaussDB以12%的市场份额排名国内第一，这也是自2020H1至今，GaussDB连续四次斩获第一。IDC在报告中预测，“到2026年，中国关系型数据库软件市场规模将达到95.5亿美元，未来5年市场年复合增长率（CAGR）为28.1%。” 中国关系型数据库市场欣欣向荣的背后，是企业数字化转型的深入，以及数据库厂商的持续创新。 IDC在报告中提到，“关系型数据库正向着分布式、云原生、AI使能、HTAP（混合事务与分析型数据库）、多模等方向发展。”华为云GaussDB不仅立于时代浪潮之巅，而且在实际应用中锤炼出更多贴合客户业务场景的功能特性，为客户提供更专业、贴心、高效的服务。 在技术创新方面，华为云GaussDB深化云原生能力，优化云原生GaussDB架构，更好解决热点数据问题、故障秒恢复等难题；同时结合Serverless和华为云数据库提供的应用无损透明倒换技术 (ALT)，实现规格灵活变更，对应用基本无感；还深度融合OLTP和OLAP两者优势，推出云原生HTAP重大特性，提升数据处理的准确性，为企业提供实时精准的决策支持。目前该特性已正式商用。针对金融行业，华为云GaussDB重磅推出了Ustore存储引擎、基于Paxos协议的DCF高可用组件、同城双集群高可用等多个重大内核新特性，为企业级用户打造强稳定、高性能、高可用的内核能力，进一步推动企业智能升级。 在行业应用方面，华为云GaussDB目前已服务了2500+中大型企业，广泛应用于金融、政企、电商、制造业、交通、泛互联网等领域，历经关键行业的锤炼，并取得重大实践成果。 在邮储银行新一代个人业务分布式核心系统建设中，华为云GaussDB可容纳500TB以上数据，完美解决了海量数据存储容量和性能瓶颈问题，并实现毫秒级查询响应，稳定服务6亿多用户日均20亿笔交易。 在甘肃医保信息平台建设中，华为云GaussDB承载甘肃医保数十个业务系统的数字底座，门诊结算响应速度从5秒降低到0.9秒，入院办理响应时间从3秒降低到0.4秒，住院结算响应时间从10秒降低到 1.9秒，大幅度减少了群众就医结算的等待时间。 在助力中国一汽数字化升级中，华为云GaussDB提供海量数据存储、数据实时同步的商业数据智能分析，极大缩短复杂报表作业执行时间，从天到分钟，数据实时汇聚。助力一汽红旗ERP系统重构，高效支撑海量订单需求，可靠性达99.99%。 此外，华为云GaussDB广受业界认可，荣获众多荣誉奖项。比如在2022中国国际大数据产业博览会，华为云GaussDB荣获最高奖项“领先科技成果新产品奖”；第四届云原生产业大会，荣获“云原生技术创新领航者-云原生技术创新案例”大奖。在Gartner报告中，华为云GaussDB连续两年入选云数据库管理系统魔力象限，目前营收排名全球第9。 数据库作为企业数字化转型的坚实数据底座，肩负着守护企业核心数据资产的重任，华为云GaussDB必将利剑出鞘，携手千行百业客户，共同迈向数字化转型的最深处，共建智能美好的数字世界。 正如IDC中国企业软件市场分析师王楠所说：“在新兴数据库技术层面，中国本土数据库厂商与国际厂商的差距不大，部分领域还处于领先地位，产品性价比更有优势。在宏观层面，政策极大利好本土厂商，本土厂商的市场机会将会高于国际厂商。在数据库技术发展和宏观政策驱动的双重因素影响下，中国关系型数据库市场过去的格局正在被打破，变革即将到来。”面对变革，华为云GaussDB已做好准备。

GaussDB(DWS)存储过程报错后：exceptionwhen others then insert into 错误信息到日志表日志表中未记录日志信息。

【摘要】 用户画像存储是推荐业务核心，但开源Redis无法胜任。华为云高斯Redis是最佳存储选型，轻松降本60%，同时获得企业级高稳定性。本文分享自华为云社区《华为云GaussDB(for Redis)揭秘第23期：用GaussDB(for Redis)存画像，推荐业务轻松降本60%》，作者： 高斯Redis官方博客 。一、什么是推荐系统       不知道大家有没有过这样的经历，当你前脚刚在某电商网站买了一个手机，过两天之后你再打开该电商网站，显示在首页的上必定有耳机、手机壳和蓝牙音箱等手机配件。如果你买的不是手机，而是一件衣服的话，下次打开显示的必定是和该衣服非常搭配的裤子和鞋子等。聪明的你不禁要问，为何电商网站如此强大，竟然能提前预知你的偏好，并且给你推荐你可能喜欢的商品？其实在这背后，都离不开那强大的推荐系统。       什么是推荐系统呢？首先我们来看看维基百科对推荐系统的定义：推荐系统是一种信息过滤系统，可以根据用户历史行为用于预测用户对物品的“评分”或“偏好”。简单来说，如果你是一个电子发烧友，那么系统肯定会给你推荐各种新鲜出炉的3C产品，如果你是一个coder，那么你的页面肯定充斥各种编程大全的书籍。推荐系统近年来非常流行，应用于各行各业，它推荐的对象包括：电影、音乐、新闻、书籍、学术论文、搜索查询、分众分类、电商购物和游戏业务等。二、推荐系统的架构       了解了什么是推荐系统之后，接下来我们继续介绍下推荐系统的架构，以游戏行业为例，一个典型的游戏业务中的推荐系统架构设计如下：         推荐系统主要由3部分组成，分别是：行为日志收集、特征生产和特征消费。（1）行为日志收集         大数据业务收集用户的行为日志，分析获得用户画像，并且将这些用户画像保存在分布式文件系统HDFS中。（2）特征生产         工程业务负责为大数据业务提供一套接口调用，主要是“灌库”，即定时或按一定逻辑把HDFS中的用户画像加工成特征，灌入工程业务负责的“KV存储”。（3）特征消费         工程业务团队还负责将算法团队的推荐模型进行工程落地，他们开发线上推理组件，从KV存储中提取特征数据，分析计算，最终得出推荐结论，展示给用户。三、推荐系统的存储痛点       上一节中我们介绍了游戏行业中推荐系统的架构，这也是推荐系统的一个典型架构。从架构图可以看出，KV存储在整套链路中，承载着重要的承上启下作用。然而，推荐系统中的KV存储却存在着两个大的痛点，第一个是成本高，第二个是扩容慢。（1）成本高         首先第一个是成本高的问题。通常我们搭建KV存储的话首选都是选择自建一个开源Redis集群作为KV存储系统。一方面，开源Redis的数据全部放在内存中，众所周知内存的存储成本是非常昂贵的，内存只适合用于存储少量数据，如果数据量大的话，数据的存储成本将成为企业的负担；另一方面由于开源Redis在进行AOF文件重写的过程中，存在fork机制，导致开源Redis在AOF文件重写时，其内存利用率只有50%，这就进一步使增加了开源Redis的内存使用成本。（2）扩容慢       除了成本比较高，开源Redis还存在扩容慢的问题。在自建的开源Redis集群中，随着业务增长，KV存储的容量不得不进行扩容。但是由于原生Redis本身的架构特点，在扩容过程中难免要发生key的跨slot迁移，如下图所示：       如果发生slot迁移，需要耗时很久并且业务受影响时间长。四、为什么推荐高斯Redis       上一节中我们介绍了推荐系统的存储痛点，如何解决呢？要解决这两个痛点，无非是需要进行降本增效，而高斯Redis似乎就是为了解决这些问题而生。（1）降本       就降本而言，高斯Redis从两个方面降低KV数据的存储成本：       第一个方面，高斯Redis的所有数据全部落在磁盘，相比开源Redis存在内存中而言，其成本降低了75%~90%，拥有极大的价格优势。举个例子来说，一个512GB的开源Redis集群，其成本几乎要5w/月，而相同规格的实例，如果替换成高斯Redis，其成本节约40%以上，几乎节省了一个人力成本在里面。下面这张表格是不同层级的存储器之间的成本对比图。       另一方面，在推荐系统中，KV数据库主要存储的是用户画像的信息，而这些信息基本上都是经过Protobuf序列化后的信息，而高斯Redis自带的数据压缩功能，对序列化后的信息可以进行高压缩比的压缩，相对于开源Redis而言，存储空间仅仅为开源Redis的70%到85%，这又进一步降低了KV数据的存储成本。（2）增效       除了降本，另一方面就是增效了。众所周知，开源Redis的架构中，如下图所示，其存储和计算是不分离的，这就导致节点进行扩容的时候，会发生分片的迁移，从而导致业务会受到影响。        高斯Redis为了解决这个问题，采用了存算分离的架构，如下图所示：       在采用存算分离的架构下，底层数据可以被任意上层计算节点访问，扩容过程不发生数据拷贝搬迁，速度极快。节点扩容时，分钟级完成，业务只有秒级感知。容量扩容时，业务0感知。无论是扩节点还是扩磁盘容量，对业务造成的影响几乎为0。五、总结       本文简单介绍了推荐系统是什么，并且以游戏行业中的推荐系统为例，介绍了推荐系统的架构和其存在的存储痛点，并且介绍了高斯Redis如何解决该存储痛点。在这个大数据时代，推荐系统的应用会越来越多，作为推荐系统的数据存储，高斯Redis解决了开源Redis所存在的缺点，为推荐系统提供了有力的技术支撑。六、附录本文作者：华为云数据库GaussDB(for Redis)团队杭州/西安/深圳简历投递：yuwenlong4@huawei.com更多产品信息，欢迎访问官方博客：bbs.huaweicloud.com/blogs/248875