-
GaussDB能否通过配置,自动对数据进行归档
-
GaussDB数据量比较大的话,是否也需要像mysql一样去做分区分库
-
GaussDB有没有AES、3DES这种对称加密的原生函数
-
GaussDB 有没有计算MD5的函数
-
让技术触达每一个角落,赋能更多的人华为云数据库现推出【分享回帖赢好礼】活动在这里你可以呼朋引伴,一起来集赞也可以谈天论地,成为技术咖参与方式任你选快来邀你的小伙伴一起参加吧~活动时间:2024/5/28-6/17参与方式:方式1:呼朋引伴,来集赞步骤一:转发技术文《LLVM技术在GaussDB等数据库中的应用》到朋友圈,20人点赞;步骤二:将集赞的分享页截图, 在本帖下方盖楼互动;下方评论区回帖:华为云账号+朋友圈分享页面截图方式2:谈天论地,你是技术咖基于《LLVM技术在GaussDB等数据库中的应用》技术文,发表您的看法,在本帖下方进行提问或评论均可。注:以上2个参与方式,盖楼评奖相互独立(前提,方式2的有效回帖条数≥20),否则两种参与方式一起开奖;参与方式1截图回帖的用户,每个ID有效盖楼数量≤3条,超过3条的以前3条为准;开奖条件,有效盖楼数量≥100。活动奖励:奖励奖励及规则:1、盖楼≥100层,有效楼层数的5%、15%、25%、35%、45%、55%、65%、85%、95% 将会获得GaussDB字母笔/炫彩马卡龙指甲刀;2、盖楼>100层&盖楼≤200层,每增加10个楼层,增加一个抽奖名额,有效楼层数的1%、11%、21%、31%、41%、51%、61%、71%、81%、91%将会获得奖品新贵族系列中性笔/平装套芯笔记本;3、盖楼>200层&盖楼≤300层,每增加10个楼层,增加一个抽奖名额,有效楼层数的5%、10%、20%、30%、40%、50%、60%、70%、80%、90%,将会获得华为云定制短袖/卫衣;4、盖楼>300层,每增加20个楼层,增加一个抽奖名额,有效楼层数的10%、30%、50%、80%、90%将会获得HUAWEI mini蓝牙音箱_绮境森林/《华为数据之道》书籍;5、盖楼>400层,将随机抽取一名幸运用户,有效楼层数的88%将会获得华为定制背包一个;注:总有效楼层数乘以指定中奖百分比后,四舍五入,确定最终获奖楼层;例如:若总楼层数为199,中奖楼层为21%,199x 21%= 41.79,则四舍五入后中奖楼层为42楼。获奖楼层重复,按最高奖品进行发放,不重复奖励参与规则:1. 同一ID可参与两种活动方式,但两种方式各自的有效盖楼数量≤3次;2. 同一ID自问自答算一条有效盖楼;活动注意事项:1、请务必按照上述要求提交内容,灌水/无效/违规的内容不参与活动奖励;2、禁止复制他人内容,如发现根据发布时间优先的人获得奖励;3、活动结束后十五个工作日内公布积分排名情况及获奖名单,届时请及时关注并填写奖品收件信息;4、本活动最终解释权归华为云所有。
-
主备环境可以支持主备从和一主多备两种模式。主备从模式下,备机需要重做日志,可以升主,而从备只能接收日志,不可以升主。而在一主多备模式下,所有的备机都需要重做日志,都可以升主。主备从主要用于大数据分析类型的系统,能够节省一定的存储资源。而一主多备提供更高的容灾能力,更加适合于大批量事务处理的OLTP系统。主备之间可以通过switchover进行角色切换,主机故障后可以通过failover对备机进行升主。初始化安装或者备份恢复等场景中,需要根据主机重建备机的数据,此时需要build功能,将主机的数据和WAL日志发送到备机。主机故障后重新以备机的角色加入时,也需要build功能将其数据和日志与新主拉齐。另外,在在线扩容的场景中,需要通过build来同步元数据到新节点上的实例。Build包含全量build和增量build,全量build要全部依赖主机数据进行重建,拷贝的数据量比较大,耗时比较长,而增量build只拷贝差异文件,拷贝的数据量比较小,耗时比较短。一般情况下,优先选择增量build来进行故障恢复,如果增量build失败,再继续执行全量build,直至故障恢复。为了实现所有实例的高可用容灾能力,除了以上对DN设置主备多个副本,还提供了其他一些主备容灾能力,比如CN(互为备份)、GTM(一主多备)、CM Sever(一主多备)以及ETCD(一主多备)等,使得实例故障后可以尽可能快地恢复,不中断业务,将因为硬件、软件和人为造成的故障对业务的影响降到最低,以保证业务的连续性。
-
业务倒是不中断,在openGauss日志里面发现大量的连接数据库端口的error,想请问一下怎么回事呢
-
一、前言数据去重在数据库中是比较常见的操作。复杂的业务场景、多业务线的数据来源等等,都会带来重复数据的存储。本文以GaussDB数据库为实验平台,将为大家详细讲解如何去重。二、数据去重应用场景数据库管理(含备份):在数据库中进行数据去重可以避免数据重复存储、备份,提高数据库的存储效率、降低备份的存储成本。数据集成:在数据集成的过程中,需要合并多个数据源的数据,去重可以避免重复的数据对合并结果的影响。数据分析(或挖掘):在进行数据分析或数据挖掘时,去重可以避免重复的数据对分析或挖掘结果的干扰,提高分析的准确性。电商平台:在电商平台上进行商品去重可以避免重复上架相同的商品,提高平台的用户体验。金融风控:在金融风控领域,去重可以避免重复的数据对风控模型的影响,提高风控的准确性。三、数据去重案例(GaussDB)实战业务场景 + GaussDB数据库1、示例场景描述以保险行业的客户信息除重为例,为防止坐席重复联系客户(容易造成客户投诉),需要将客户进行唯一身份识别。存在以下两种情况,需要将其识别成一个人(唯一),这时候就需要进行数据去重的动作。情况一:同一个客户有不同的来源渠道:客户即购买了寿险、又购买了产险(两个不同的来源系统);情况二:同一个客户多次回流:客户在同一个渠道多次购买(续保或者购买同一险种的不同产品)。2、定义重复数据通过“姓名+证件类型+证件号”将其识别为一个人,即只要这三个字段重复,就认为这些数据行为重复数据。 (当然还有更复杂的场景,例如,“姓名+证件类型+证件号+手机号+车牌号”等,本次不做详细介绍)。3、制定去重规则1)多选一 随机:根据去重规则,随机保留一条数据。优先级:根据去重规则 + 业务逻辑,保留优先需要的一条数据。例如优先保留“是否有房、是否有车”。2)多合一将重复数据合并成一条数据,合并规则根据业务逻辑确定。4、创建测试数据(GaussDB)客户信息字段主要包含“姓名、性别、出生年月日、证件类型、证件号、来源、是否有车、是否有房、婚姻状态、手机号、……”等信息。--创建客户信息表CREATE TABLE customer(name VARCHAR(20),sex INT,birthday VARCHAR(10),ID_type INT,ID_number VARCHAR(20),source VARCHAR(10),IS_car INT,IS_house INT,marital_status INT,tel_number VARCHAR(15));--插入测试数据INSERT INTO customer VALUES('张三','1','1988-01-01','1','61010019880101****','寿险','1','1','1','');INSERT INTO customer VALUES('张三','1','1988-01-01','1','61010019880101****','车险','1','0','1','');INSERT INTO customer VALUES('张三','1','1988-01-01','1','61010019880101****','','','','','186****0701');INSERT INTO customer VALUES('李四','1','1989-01-02','1','61010019890102****','寿险','1','1','1','');INSERT INTO customer VALUES('李四','1','1989-01-02','1','61010019890102****','车险','1','0','1','');INSERT INTO customer VALUES('李四','1','1989-01-02','1','61010019890102****','','','','','186****0702');--查看结果SELECT * FROM customer;Tip: 部分为INT类型的字段值取字典表的值,此处省。5、编写去重方法(GaussDB)以下示例中不包含过多的数据清洗、数据脱敏、业务逻辑等的处理,这些步骤均建议进行“前置”处理。本次示例重点描述去重的过程。1)随机保留:根据业务逻辑,随机保留一条记录。SELECT *FROM (SELECT *,ROW_NUMBER() OVER (PARTITION BY name,id_type,id_number ) as row_numFROM customer)WHERE row_num = 1;说明:ROW_NUMBER(): 从第一行开始,依次为每一行分配一个唯一且连续的编号。PARTITION BY col1[, col2...]: 指定分区的列,例如去重的键“姓名、证件类型、证件号码”。WHERE row_num = 1:取ROW_NUMBER()生成的编号1。2)按优先级保留:根据业务逻辑,优先保留有手机号的一条记录,如果有多条记录含有手机号或有没有手机号,则在此基础上随机保留。--保留含有手机号的记录行SELECT t.*FROM (SELECT *,ROW_NUMBER() OVER (PARTITION BY name,id_type,id_number ORDER BY tel_number ASC) as row_numFROM customer) tWHERE t.row_num = 1;说明:ROW_NUMBER(): 从第一行开始,依次为每一行分配一个唯一且连续的号码。PARTITION BY col1[, col2...]: 指定分区的列,例如去重的键“姓名、证件类型、证件号码”。ORDER BY col [asc|desc]: 指定排序的列。升序( ASC )排列指只保留第一行,而降序排列( DESC )则指保留最后一行。WHERE row_num = 1:取ROW_NUMBER()生成的编号1。3)合并保留:根据业务逻辑,合并完整性高、准确性高的字段信息。例如优先将含有手机号的记录行进行补齐,需要补齐的字段有“是否有车、是否有房、婚姻状况”,其取值是来源为“车险”的对应记录。--合并保留SELECT t1.name,t1.sex,t1.birthday,t1.id_type,t1.id_number,t1.source,t2.is_car,t2.is_house,t2.marital_status,t1.tel_numberFROM(SELECT t.*FROM (SELECT *,ROW_NUMBER() OVER (PARTITION BY name,id_type,id_number ORDER BY tel_number ASC) as row_numFROM customer) tWHERE t.row_num = 1) t1LEFT JOIN(SELECT *FROM customerWHERE source ='车险' and is_car IS NOT NULL AND is_house IS NOT NULL AND marital_status IS NOT NULL) t2ON t1.name =t2.nameand t1.id_type=t2.id_typeand t1.id_number=t2.id_number说明:t1 表是优先保留含有手机的记录行(去重),并作为主表,t2表是需要补齐的字段来源表。两张表通过“姓名+证件类型+证件号码”进行关联,然后合并需要的信息。6、附:全字段去重在数据库应用时,例如,重复误操作、数据翻倍等原因造成的全字段重复,此时也要进行去重。 那除了前面介绍的3种方式外,大家还可以使用关键字DISTINCT、UNION 进行去重,但需要注意其数据量及SQL 性能。 (大家自行测试)1) DISTINCT (假设全部有如下三个字段)2) UNION(假设全部有如下三个字段)四、数据去重效率提升建议最好的去重其实是在数据源头就进行“拦截”。当然了, 因业务流转也不可能完全避免,但是我们可以提高去重的效率:选择合适的去重算法根据数据集的特点和规模,选择适合的去重算法,可以大大提高去重效率。优化数据存储结构采用合适的数据存储结构,如哈希表、B+树等,可以加快数据的查找和比较速度,从而提高去重效率。并行化处理采用并行化处理的方式,将数据集分成多个子集,分别进行去重处理,最后合并结果,可以大大加快去重速度。使用索引加速查找对数据集中的关键字段建立索引,可以加速查找和比较速度,从而提高去重效率。前置过滤采用前置过滤的方式,先对数据集进行一些简单的筛选和处理,如去除空值、去除无效字符等,可以减少比较次数,从而提高去重效率。去重结果缓存(临时表)对去重结果进行缓存,可以避免重复计算,从而提高去重效率。不建议重写(备份)涉及一些分区表,等不建议直接将去重后的结果集重写到生产表,创建临时换成,或进行备份后操作。五、总结数据去重涉及到的面非常广,包括重复数据的发现、去重规则的定义、去重的方法与效率、去重的困难与挑战等等。但是,去重原则只有一个,那就是以业务为导向。根据业务需求去定义重复数据、制定去重规则和方案。在GaussDB数据库的使用过程,我们同样会遇到去重的场景。本文从应用背景、案例、去重方案等方面给大家做了介绍,欢迎测试、交流。——结束
-
videoGaussDB数据库提供的两地三中心异地容灾解决方案,可以实现数据库故障后快速恢复,能够保证极端灾难情况下数据的安全性和可用性,今天酷哥就带大家了解一下~
-
videoGaussDB数据库的透明数据加密技术,对数据库中存储的数据进行加密,以保护敏感信息免受未经授权的访问,从而保护数据。今天酷哥带大家了解一下~
-
videoGaussDB数据库支持数据分区。今天酷哥带大家了解一下GaussDB数据库的分区表,了解什么是数据库分区?分区有什么作用及优点?
-
一、前言层次递归查询是一种常见的SQL查询方式,特别是在一些层次化的数据存储结构中经常用到。本文主要以GaussDB数据库为实验平台,为大家讲解其使用方法。二、GuassDB数据库层次递归查询概念层次化结构可以理解为树状数据结构,由节点构成。举个简单的例子,如下图所示,由子节点向上查询根节点,或者由根节点遍历所有子节点:递归查询是指查询中需要多次调用自身的查询方式。在递归查询中,查询会反复地递归进入到一个子查询中,直到查询得到满足条件的结果或遍历完整个查询范围。递归查询在数据库领域中有着重要的应用。方便数据处理,简化开发代码。在GaussDB数据库中,递归查询可以通过使用 “select…start with…connect by…prior…” 和“WITH RECURSIVE”语法来实现。三、GaussDB数据库层次递归查询实验示例1、创建实验表--创建实验表CREATE TABLE area(a_code VARCHAR(10),a_name VARCHAR(10),p_a_code VARCHAR(10),a_level INT);--插入测试数据INSERT INTO area VALUES('610000','陕西省','0','1');INSERT INTO area VALUES('610100','西安市','610000','2');INSERT INTO area VALUES('610101','市辖区','610100','3');INSERT INTO area VALUES('610102','新城区','610100','3');INSERT INTO area VALUES('610103','碑林区','610100','3');INSERT INTO area VALUES('610104','莲湖区','610100','3');INSERT INTO area VALUES('610111','灞桥区','610100','3');INSERT INTO area VALUES('610112','未央区','610100','3');INSERT INTO area VALUES('610113','雁塔区','610100','3');INSERT INTO area VALUES('610114','阎良区','610100','3');INSERT INTO area VALUES('610115','临潼区','610100','3');INSERT INTO area VALUES('610116','长安区','610100','3');INSERT INTO area VALUES('610122','蓝田县','610100','3');INSERT INTO area VALUES('610124','周至县','610100','3');INSERT INTO area VALUES('610125','鄠邑区','610100','3');INSERT INTO area VALUES('610126','高陵区','610100','3');--查看初始化结果SELECT * FROM area;2、sys_connect_by_path(col, separator)描述:返回从根节点到当前行的连接路径。参数:col为在路径中显示的列名,支持类型为CHAR/VARCHAR/NVARCHAR2/TEXT的列,参数separator为路径节点之间的分隔符。返回值类型:text示例:--返回从根节点到当前行的连接路径SELECT *, sys_connect_by_path(a_name, '-') FROM area start with a_code ='610000' connect by prior a_code = p_a_code;3、connect_by_root(col)描述:返回当前行的根节点值。参数:col为输出列的名称。返回值类型:即为所指定列col的数据类型。示例:--返回当前行的根节点值。SELECT *, connect_by_root(a_name) FROM area start with a_code ='610000' connect by prior a_code = p_a_code;4、WITH RECURSIVE使用WITH RECURSIVE 关键字,:--使用WITH RECURSIVEWITH RECURSIVE t_area AS (SELECT a_level,a_code,p_a_code,a_name, a_name ::varchar(50) AS path FROM area WHERE p_a_code = '0'UNION ALLSELECT t2.a_level+1,t1.a_code,t1.p_a_code, t1.a_name,CONCAT(t2.path, ',', t1.a_name) ::varchar(50) AS path FROM area t1 JOIN t_area t2 ON t1.p_a_code=t2.a_code) SELECT * FROM t_area;示例说明:这个查询使用了递归表达式来遍历省级行政区域关系。表达式使用了两个 SELECT 语句:第一个 SELECT 语句选取了所有父级代码为0的行政区域信息,并将它们添加到临时表 t_area 中。它们的层级选取初始化的a_level级,并且它们的路径被设置为它们的行政区名a_name。这个 SELECT 语句是递归查询的起点。第二个 SELECT 语句连接了 area表和t_area表。它选取了area表中所有具有父级行政区,并连接到t_area表中已经存在的行政区。对于每个连接的行,它们的层级是父级的层级加1,并且它们的路径是父级的路径加上逗号和它们自己的行政区。查询结果返回t_area表中所有的行政区信息。(“::varchar(50)” 是创建实验表时的字符长度不够,需要重新定义,二是两个SELECT 语句使用 UNION ALL 连接,需要保持类型长度一致)。四、递归查询的优缺点1、优点递归查询能够简化应用程序代码,方便对数据结构的处理。在一些复杂的查询场景中,递归查询能够更快地得到结果。适用于各种类型的树形结构。2、缺点递归查询有时可能会产生很多次递归调用,导致性能下降。算法通常比其他方法更复杂,编写比较困难。不适合处理大型数据集。五、总结递归查询是一种非常实用的查询方法,在处理分层数据、树形数据等复杂查询场景中非常广泛。但是,在使用递归查询时需要注意一些问题:必须合理控制递归深度,防止过度递归。最好不要在递归查询中执行复杂的计算和组合操作,避免占用过多资源。避免在递归查询中使用ORDER BY操作,这会大大降低性能。在使用递归查询时,应该谨慎处理好死循环问题。同样的, 在使用GaussDB等数据库时,只要正确合理的应用递归查询,就可以更好地提高查询效率和应用性能。——结束
-
GaussDB处理并发的策略是什么?是锁行还是锁表,还是排队单线程执行
-
GaussDB最大支持多少个并发
-
GaussDB(for MySQL)跟直接用 MySQL 有什么区别吗?性能上两者差多少
上滑加载中
推荐直播
-
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家;李炎-华为云码道产品专家;彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战,从0到1打通消息通道;码道鸿蒙端云一体化实战,快速搭建员工签到系统。
回顾中 -
华为云开发者AI素养直播课·第五期2026/09/04 周五 16:00-18:00
林华鼎-华为云AI开发者运营负责人;蒋春阳-华为云AI开发者案例开发专家
本期直播内容: AI工具体验营 · 第5-8课连讲。Agent-Team 多智能体协作完成毕业设计实践
回顾中 -
华为云开发者AI素养ClassRoom·第六期2026/09/08 周二 19:00-20:00
樊渊-2026华为软件挑战赛冠军
高手来了:看软挑高手解析二维排样问题—从工业难题到算法突破
回顾中
热门标签