• [技术解读] GaussDB任务管理
    您可以通过“任务中心”查看用户在控制台上提交的任务的执行进度和状态。说明:GaussDB支持查看和管理以下任务:创建GaussDB实例手动创建备份恢复到新实例分片扩容协调节点扩容恢复到已有实例恢复到当前实例磁盘扩容规格变更删除GaussDB实例停止备份实例形态变更升级待观察提交升级升级自动提交就地升级升级回退查看任务登录管理控制台。单击管理控制台左上角的,选择区域和项目。在页面左上角单击,选择“数据库 > 云数据库 GaussDB”,进入云数据库 GaussDB信息页面。在“任务中心”页面,选择目标任务,查看任务信息。通过任务名称/任务ID、实例名称/ID确定目标任务,或通过上方搜索框选择任务名称确定目标任务。支持查看某一时间段内的任务执行进度和状态,默认时长为7天。任务保留时长最多为30天。系统支持查看以下状态的任务:执行中完成失败查看任务创建时间和结束时间。删除任务对于不再需要展示的任务,您可以通过“任务中心”进行任务记录的删除。删除任务仅删除记录,不会删除数据库实例或者停止正在执行中的任务。须知:删除任务将无法恢复,请谨慎操作。登录管理控制台。单击管理控制台左上角的,选择区域和项目。在页面左上角单击,选择“数据库 > 云数据库 GaussDB”,进入云数据库 GaussDB信息页面。在“任务中心”页面,选择目标任务,单击操作列的“删除”,在弹出框中单击“确定”,删除任务。GaussDB服务支持删除以下状态的任务:完成失败
  • [技术解读] GaussDB任务管理
    您可以通过“任务中心”查看用户在控制台上提交的任务的执行进度和状态。说明:GaussDB支持查看和管理以下任务:创建GaussDB实例手动创建备份恢复到新实例分片扩容协调节点扩容恢复到已有实例恢复到当前实例磁盘扩容规格变更删除GaussDB实例停止备份实例形态变更升级待观察提交升级升级自动提交就地升级升级回退查看任务登录管理控制台。单击管理控制台左上角的,选择区域和项目。在页面左上角单击,选择“数据库 > 云数据库 GaussDB”,进入云数据库 GaussDB信息页面。在“任务中心”页面,选择目标任务,查看任务信息。通过任务名称/任务ID、实例名称/ID确定目标任务,或通过上方搜索框选择任务名称确定目标任务。支持查看某一时间段内的任务执行进度和状态,默认时长为7天。任务保留时长最多为30天。系统支持查看以下状态的任务:执行中完成失败查看任务创建时间和结束时间。删除任务对于不再需要展示的任务,您可以通过“任务中心”进行任务记录的删除。删除任务仅删除记录,不会删除数据库实例或者停止正在执行中的任务。须知:删除任务将无法恢复,请谨慎操作。登录管理控制台。单击管理控制台左上角的,选择区域和项目。在页面左上角单击,选择“数据库 > 云数据库 GaussDB”,进入云数据库 GaussDB信息页面。在“任务中心”页面,选择目标任务,单击操作列的“删除”,在弹出框中单击“确定”,删除任务。GaussDB服务支持删除以下状态的任务:完成失败
  • [问题求助] gaussdb数据库使用gs_loader导入数据时,文件字段长度大于数据库字段长度时报错,在ctl文件中截取长度对超长字段不起作用,表字段范围内的字段截取正常,怎么办
    gaussdb数据库使用gs_loader导入数据时,文件字段长度大于数据库字段长度时报错,在ctl文件中截取长度对超长字段不起作用,表字段范围内的字段截取正常,怎么办 filed to long
  • [技术解读] GaussDB安全配置建议
    最大连接数配置如果GaussDB连接数过高,会消耗服务器大量资源,导致操作响应变慢,可以修改max_connections参数进行优化,具体内容请参见连接设置。max_connections:允许和数据库连接的最大并发连接数,此参数会影响集群的并发能力。安全认证配置为了保证用户体验,同时为了防止账户被人通过暴力破解,GaussDB设置了账户登录重试次数及失败后自动解锁时间的保护措施,GaussDB针对账户提供了以下能力:failed_login_attempts:允许用户设置最大登录失败次数。password_lock_time:此参数允许用户修改账户被锁定后自动解锁时间,单位为天。若管理员发现某账户被盗、非法访问等异常情况,可手动锁定该账户。当管理员认为账户恢复正常后,可手动解锁该账户。以手动锁定和解锁用户joe为例,命令格式如下:手动锁定gaussdb=# ALTER USER joe ACCOUNT LOCK;ALTER ROLE手动解锁gaussdb=# ALTER USER joe ACCOUNT UNLOCK;ALTER ROLE用户密码的安全策略GaussDB为了客户账号的安全,GaussDB对用户密码进行了以下设置:用户密码存储在系统表pg_authid中,为防止用户密码泄露,GaussDB对用户密码进行加密存储,所采用的加密算法由配置参数password_encryption_type决定。GaussDB数据库用户的密码都有密码有效期,如果需要修改密码有效期,可以通过修改password_effect_time来更改。权限管理虚拟私有云可以为GaussDB实例构建隔离的、用户自主配置和管理的虚拟网络环境。子网提供与其他网络隔离的、可以独享的网络资源,以提高网络安全性,可以使用IAM为企业中的员工设置不同的访问权限,以达到不同员工之间的权限隔离,通过IAM进行精细的权限管理。具体内容请参见权限管理。保障数据库的安全性和稳定性在使用数据库实例之前务必先设置安全组,具体内容请参见设置安全组规则。为防止PUBLIC拥有CREATE权限,导致数据库任何账户都可以在PUBLIC模式下创建表或者其他数据库对象,其他用户也可以修改这些数据,可以如下SQL语句来查询:SELECT CAST(has_schema_privilege(‘public’,‘public’,‘CREATE’) AS TEXT);如果返回为TRUE,执行如下SQL语句进行修复:REVOKE CREATE ON SCHEMA public FROM PUBLIC;PUBLIC角色属于任何用户,如果将对象的所有权限授予PUBLIC角色,则任意用户都会继承此对象的所有权限,违背权限最小化原则,为了保障数据库数据的安全,此角色应该拥有尽可能少的权限。通过执行如下SQL语句来确定所有权限是否授权PUBLIC角色:SELECT relname,relacl FROM pg_class WHERE (CAST(relacl AS TEXT) LIKE ‘%,=arwdDxt/%}’ OR CAST(relacl AS TEXT) LIKE ‘{=arwdDxt/%}’) AND (CAST(relacl AS TEXT) LIKE ‘%,=APmiv/%}’ OR CAST(relacl AS TEXT) LIKE ‘{=APmiv/%}’);为空则说明已授权,如果已授权,可通过执行如下SQL语句来修复:REVOKE ALL ON <OBJECT_NAME> FROM PUBLIC;pg_catalog模式下的pg_authid系统表中包含了数据库中所有的角色信息。由于所有用户会继承PUBLIC角色的权限,为了防止敏感信息泄露或被更改,PUBLIC角色不允许拥有pg_authid系统表的任何权限,执行如下SQL语句,如果查询结果显示不为空,则已经被授权:SELECT relname,relacl FROM pg_class WHERE relname = ‘pg_authid’ AND CAST(relacl AS TEXT) LIKE ‘%,=%}’;如果已授权,通过执行如下SQL语句进行修复:REVOKE ALL ON pg_authid FROM PUBLIC;普通用户指用于执行普通业务操作的非管理员用户。作为普通用户,不应该拥有超出其正常权限范围的管理权限,例如创建角色权限,创建数据库权限,审计权限,监控权限,运维权限,安全策略权限等,在满足正常业务需求的前提下,为了确保普通用户权限最小化,应撤销普通用户非必须的管理权限。在创建函数时声明SECURITY DEFINER表示函数以创建它的用户权限执行,如果使用不当会导致函数执行者借助创建者的权限执行越权操作,所以一定确保这样的函数不被滥用。为了安全考虑,禁止PUBLIC角色执行SECURITY DEFINER类型的函数,执行如下SQL语句查询pubilc角色是否有SECURITY DEFINER类型的函数:SELECT a.proname, b.nspname FROM pg_proc a, pg_namespace b where a.pronamespace=b.oid and b.nspname <> ‘pg_catalog’ and a.prosecdef=‘t’;如果返回非空,执行如下SQL语句检查是否有执行权限:SELECT CAST(has_function_privilege(‘public’, ‘function_name([arg_type][, …])’, ‘EXECUTE’) AS TEXT);返回TRUE,则代表拥有,执行下面的SQL语句进行修复:REVOKE EXECUTE ON FUNCTION function_name([arg_type][, …]) FROM PUBLIC;SECURITY INVOKER函数是以调用它的用户的权限来执行,使用不当会导致函数创建者借助执行者的权限执行越权操作,所以在调用非自身创建的这类函数时,一定要先检查函数执行内容,避免造成函数创建者借助执行者的权限执行了越权的操作。数据库审计GaussDB可以记录实例相关的操作,但是仅针对支持的审计操作,请在操作前查询操作列表,具体内容请参见支持审计的关键操作列表。确保配置开启数据库对象的添加、删除、修改审计,具体内容请参见数据库审计。支持审计日志可视化查看,可开启LTS的能力,具体内容可参见LTS日志。WAL 归档配置WAL(Write Ahead Log)即预写式日志,也称为Xlog。wal_level决定了写入WAL的信息量。为了在备机上开启只读查询,wal_level需要在主机上设置成hot_standby,并且备机设置hot_standby参数为on。备份管理GaussDB支持数据库实例的备份和恢复,以保证数据可靠性。备份目前将以未加密的方式存储,防止客户误操作或者服务异常的情况下,因没有开启备份而造成数据丢失的情况,GaussDB针对备份提供了以下能力:提供了自动和手动的备份功能,具体内容请参见备份概述,在创建GaussDB实例时,系统默认开启实例级自动备份策略。实例创建成功后,您可根据业务需要修改实例级自动备份策略。提供了自动备份策略,定时定期对数据库进行备份。具体内容请参见设置自动备份策略。提供了导出备份文件的能力,具体内容请参见导出备份信息。
  • [技术干货] GaussDB支持的IOPS取决于云硬盘(Elastic Volume Service,简称EVS)的IO性能
    GaussDB支持的IOPS取决于云硬盘(Elastic Volume Service,简称EVS)的IO性能,具体请参见《云硬盘产品介绍》中“磁盘类型及性能介绍”的内容。测试数据实例类型:分布式版,集中式版。实例规格:16U128GB和32U256GB等。集群规模:分布式版:3CN,3分片,3副本;集中式版:1主2备。数据量:1000wh。压测时长:30min(预热5min)。指标测试  流量指标(Throughput,简称tpmC):按照TPC组织的定义,流量指标描述了系统在执行支付操作、订单状态查询、发货和库存状态查询这4种交易的同时,每分钟可以处理多少个新订单交易。所有交易的响应时间必须满足TPC-C测试规范的要求,且各种交易数量所占的比例也应该满足TPC-C测试规范的要求。在这种情况下,流量指标值越大说明系统的联机事务处理能力越高。
  • [技术干货] 【FAQ】2025年1月,数据库问答集合
    当前读和快照读有什么区别?https://bbs.huaweicloud.com/forum/thread-02108171696949107018-1-1.htmlMySQL 如何处理外键约束?https://bbs.huaweicloud.com/forum/thread-0248173013396474055-1-1.htmlMySQL 的复制(Replication)如何配置?https://bbs.huaweicloud.com/forum/thread-0296173013417361044-1-1.htmlGAUSSDB中,如何根据实际业务负载动态优化数据分片策略?https://bbs.huaweicloud.com/forum/thread-0296173113227095048-1-1.htmlInnoDB支持哪几种行格式?https://bbs.huaweicloud.com/forum/thread-0271172124311540006-1-1.html数据库如果发生了死锁,该如何解决?https://bbs.huaweicloud.com/forum/thread-02127172388806893016-1-1.htmlMySQL的行级锁锁的到底是什么?https://bbs.huaweicloud.com/forum/thread-0233171697074647018-1-1.html走了索引,但是还是很慢是什么原因?https://bbs.huaweicloud.com/forum/thread-02127172388751194015-1-1.html如何使用 MySQL 的全文索引(Full-text Index)?https://bbs.huaweicloud.com/forum/thread-0271173112993205041-1-1.html如何设计高效的数据库索引策略?https://bbs.huaweicloud.com/forum/thread-02127173013357231039-1-1.htmlmysql中操作同一条记录会发生死锁吗?https://bbs.huaweicloud.com/forum/thread-0272172388784686024-1-1.htmlMySQL 的查询缓存(Query Cache)如何工作?https://bbs.huaweicloud.com/forum/thread-02109173013451897048-1-1.htmlInnoDB的聚簇索引是按照表的主键创建一个B+树,但是如果我们在表结构中没有定义主键怎么办?https://bbs.huaweicloud.com/forum/thread-0251172210751495011-1-1.htmlInnoDB的一次更新事务是怎么实现的?https://bbs.huaweicloud.com/forum/thread-0272172124372272009-1-1.htmlmysql在InnoDB引擎下加索引,这个时候会锁表吗?https://bbs.huaweicloud.com/forum/thread-0251172210713869010-1-1.htmlmysql中如何减少回表,增加查询的性能?https://bbs.huaweicloud.com/forum/thread-0248172388725943017-1-1.html如何实现 MySQL 的多主复制?https://bbs.huaweicloud.com/forum/thread-0271173112973510040-1-1.htmlGaussDB分布式环境下,如何保证分布式事务的ACID属性?https://bbs.huaweicloud.com/forum/thread-02127173113185518041-1-1.htmlMySQL 数据库如何实现数据备份与恢复?https://bbs.huaweicloud.com/forum/thread-0251173013438331049-1-1.html如何避免 MySQL 中的死锁?https://bbs.huaweicloud.com/forum/thread-0296173013382284043-1-1.html
  • [问题求助] GAUSSDB中,如何根据实际业务负载动态优化数据分片策略?
    GAUSSDB中,如何根据实际业务负载动态优化数据分片策略?
  • [问题求助] GaussDB分布式环境下,如何保证分布式事务的ACID属性?
    GaussDB分布式环境下,如何保证分布式事务的ACID属性?
  • [技术解读] GaussDB模式匹配操作符详细介绍
    GaussDB模式匹配操作符详细介绍GaussDB数据库目前提供了三种独立的实现模式匹配的方法,分别为LIKE操作符、SIMILAR TO操作符和POSIX-风格的正则表达式 。除了这些基本的操作符外,还有一些函数可用于提取或替换匹配子串并在匹配位置分离一个串。1、likelike应该是我们经常使用的方式,判断字符串是否能匹配上LIKE后的模式字符串,如果匹配,则LIKE表达式返回为真(NOT LIKE表达式返回假),否则返回为假(NOT LIKE表达式返回真)。如果不添加%或_,即全部字符串匹配相当于=;如果要匹配在字符串内的任何位置,该模式必须以%开头和结尾。规则说明%任意字符串的通配符_(匹配)任何单个字符\\ 、%、\_转义字符,查询的内容中需要匹配%、_、\,需要在前面添加\like大小写敏感即区分大小写ilike大小写不敏感即不区分大小写通配符openGauss=# SELECT 'abc' LIKE 'abc' AS RESULT; result -------- t (1 row) openGauss=# SELECT 'abc' LIKE 'a%' AS RESULT; result -------- t (1 row) openGauss=# SELECT 'abc' LIKE '%b%' AS RESULT; result -------- t (1 row) openGauss=# SELECT 'abc' LIKE '_b_' AS RESULT; result -------- t (1 row) openGauss=# SELECT 'abc' LIKE 'c' AS RESULT; result -------- f (1 row) 是否区分大小写openGauss=# select 'abc' like 'A%' as result; result -------- f (1 row) openGauss=# select 'abc' ilike 'A%' as result; result -------- t (1 row) ESCAPE子句指定其他逃逸字符下面案例中的模式字符串’abc%%',第一个%由于自定义了逃逸字符,因此$%作为一个普通字符存在,只需要匹配查询的内容中包含有%;最后一个%则是通配符作用openGauss=# with tmp as (select 'abc%def' as result union all select 'abcdef' as result) openGauss-# select * from tmp where result like 'abc$%%' escape '$'; result --------- abc%def (1 row) 2、SIMILAR TOSIMILAR TO的用法和LIK非常类似,其结果也是根据匹配结果返回真假。另外比较特殊的就是支持使用SQL标准定义的正则表达式理解模式,支持的规则除了%和_之外,也支持下面这些从POSIX正则表达式借用的模式匹配元字符。元字符含义|表示选择(两个候选之一)*表示重复前面的项零次或更多次,可以理解为任意次+表示重复前面的项一次或更多次?表示重复前面的项零次或一次{m}表示重复前面的项刚好m次。{m,}表示重复前面的项m次或更多次{m,n}表示重复前面的项至少m次并且不超过n次()把多个项组合成一个逻辑项,就相当于把整个()内的内容作为匹配项[…]声明一个字符类,就像POSIX正则表达式一样针对上述描述重复的次数,是指元字符修饰的字符或者字符组重复多少次,不要理解为该字符或字符组可以和源字符串可以匹配多少次常见元字符使用--|元字符 openGauss=# SELECT 'abc' SIMILAR TO '%(af|bc)%' AS RESULT; result -------- t (1 row) --*元字符 --当前的*时,即使没有可匹配的内容,也返回的是true openGauss=# SELECT 'abc' SIMILAR TO '%(o)*%' AS RESULT; result -------- t (1 row) openGauss=# SELECT 'abcdefosp' SIMILAR TO '%(o)*%' AS RESULT; result -------- t (1 row) --+元字符,该示例由于一次也未匹配到,所以返回false openGauss=# SELECT 'abc' SIMILAR TO '%(o)+%' AS RESULT; result -------- f (1 row) --+元字符,该示例匹配到多次o,所以返回true openGauss=# SELECT 'abcdefooosp' SIMILAR TO '%(o)+%' AS RESULT; result -------- t (1 row) --?元字符,,该示例未匹配,返回结果也是true openGauss=# SELECT 'abc' SIMILAR TO '%(o)?%' AS RESULT; result -------- t (1 row) --{m,n}元字符,对于字符组oo,需要至少匹配2次,即为oooo,可知原字符串不符合结果,返回结果为false。 openGauss=# SELECT 'abcoodefoooosp' SIMILAR TO '%(oo){2,3}%' AS RESULT; result -------- f (1 row) SELECT 'abcoodefoooosp' SIMILAR TO '%(oo){2,3}%' AS RESULT; 3、POSIX正则表达式正则表达式是一个字符序列,它是定义一个串集合(一个正则集)的缩写。 如果一个串是正则表达式描述的正则集中的一员时, 我们就说这个串匹配该正则表达式。 POSIX正则表达式提供了比LIKE和SIMILAR TO操作符更强大的含义。列出了所有可用于POSIX正则表达式模式匹配的操作符。正则表达式匹配操作符操作符描述例子~匹配正则表达式,大小写敏感,等价与like‘thomas’ ~ ‘.thomas.’~*匹配正则表达式,大小写不敏感,等价与ilike‘thomas’ ~* ‘.Thomas.’!~不匹配正则表达式,大小写敏感,等价与not like‘thomas’ !~ ‘.Thomas.’!~*不匹配正则表达式,大小写不敏感,等价与not ilike‘thomas’ !~* ‘.vadim.’--匹配正则表达式,大小写敏感 openGauss=# SELECT 'abc' ~ 'Abc' AS RESULT; result -------- f (1 row) --匹配正则表达式,大小写不敏感 openGauss=# SELECT 'abc' ~* 'Abc' AS RESULT; result -------- t (1 row) --不匹配正则表达式,大小写敏感 openGauss=# SELECT 'abc' !~ 'Abc' AS RESULT; result -------- t (1 row) --不匹配正则表达式,大小写不敏感 openGauss=# SELECT 'abc'!~* 'Abc' AS RESULT; result -------- f (1 row) 匹配规则与LIKE不同,正则表达式允许匹配串里的任何位置,除非该正则表达式显式地挂接在串的开头或者结尾。除了上文提到的元字符外, POSIX正则表达式还支持下列模式匹配元字符。元字符含义\转义字符^表示串开头的匹配$表示串末尾的匹配.匹配任意单个字符(abc)把多个字符组合成一个匹配原子,就相当于把整个()内的内容作为匹配项[abc]匹配abc中的任何一个字符,内部可以嵌套(abc),然后这个做一个原子,比如:[abc(de)][^abc]负值字符集合。匹配未包含的任意字符。例如,[^abc]可以匹配“plain”中的“plin”任一字符。|表示选择(两个候选之一)例如: a|b\d匹配任何数字,就像 [[:digit:]]\s匹配任何空白字符,就像 [[:space:]] ,包括空格、制表符和换行\w匹配任何单词字符,就像 [[:word:]]\D匹配任何非数字,就像 [^[:digit:]]\S匹配任何非空白字符,就像 [^[:space:]]\W匹配任何非单词字符,就像 [^[:word:]]\A只在串开头匹配(与^的不同)\m只在一个词的开头匹配\M只在一个词的末尾匹配\y只在一个词的开头或末尾匹配\Y只在一个词的不是开头或末尾的点上匹配\Z只在串的末尾匹配(与$的不同)\r回车常见元字符使用--()匹配规则 openGauss=# select 'abc' ~ '(ab|ac)' as result; result -------- t (1 row) --[]匹配规则,其中的任何一个字符匹配到源字符串就返回true openGauss=# select 'abc' ~ '[bef]' as result; result -------- t (1 row) --[^abc],只要源字符串含有非限定范围的字符,就返回true openGauss=# select 'china' ~ '[^abc]' as result; result -------- t (1 row) --匹配空白字符 openGauss=# select 'china ' ~ '\s' as result; result -------- t (1 row) 匹配两个词组查询场景下面的案例主要就是查询数据库会话中使用is not null或者is null语法的场景--如果两个词组中间只包含空格,可以直接添加\s,另外还需要考虑有多个空白的时候,因此也需要添加量词来修饰,可以添加+ openGauss=# select 'select * from t1 where is not null' ~ '(is)\s+(not)' as result; result -------- t (1 row) --如果两个词组中间包含不固定的字符且至少有一个字符,可以添加 .+来指定任意字符; openGauss=# select 'select * from t1 where is not null' ~ '(is).*(null)' as result; result -------- t (1 row) --如果两个词组中间,可能存在not字符串且不存在其他字符串,可以适用((not)?\s+)修饰not字符串的匹配规则,外层的括号可以不需要。 --外层的括号只是为了方便区分匹配的分组 openGauss=# select 'select * from t1 where is not null' ~ '(is)\s+((not)?\s+)(null)' as result; result -------- t (1 row) --去掉括号后的结果和之前是一致的 openGauss=# select 'select * from t1 where is not null' ~ '(is)\s+(not)?\s+(null)' as result; result -------- t (1 row) 匹配规则,是否需要考虑换行匹配多个词组的时候,目前验证,对于空格、制表符、换行,都按照匹配任何空白字符处理即可。create table t1 (id int,context varchar(1000)); insert into t1 values(1,'select * from t1 where is not null'); insert into t1 values(2,'select * from t1 where is null'); insert into t1 values(3,'select * from t1 where 1=2'); insert into t1 values(4,'not else'); insert into t1 values(5,'ifnot else'); insert into t1 values(6,'notrr else'); insert into t1 values(7,'select * from t1 where is not null'); --查询 openGauss=> select * from t1 where regexp_like(context,'(is)\s+(not)?\s?(null)','i'); id | context ----+------------------------------------ 1 | select * from t1 \r + | where is \r + | not null 2 | select * from t1 where is \r + | null 7 | select * from t1 where is not null (3 rows) --插入 insert into t1 values(8,'where group by '); insert into t1 values(9,'where group by '); --匹配换行\r openGauss=> select * from t1 where regexp_like(context,'(group)\r+','i'); id | context ----+--------------- 8 | where group\r+ | by (1 row) --匹配任何空白字符\s,根据结果可知,\s是包含换行信息的 openGauss=> select * from t1 where regexp_like(context,'(group)\s+','i'); id | context ----+----------------- 8 | where group\r + | by 9 | where group by (2 rows) 按照词组匹配,精确查找我们在查询匹配关键字的时候,一般需要精确查找匹配,而不需要那些包含有查询关键字的数据行--通过正则表达式约束\m和\M来限定一个词的开头和结尾匹配 openGauss=> select * from t1 where regexp_like(context,'\mnot\M','i'); id | context ----+------------------------------------ 1 | select * from t1 \r + | where is \r + | not null 4 | not else 7 | select * from t1 where is not null (3 rows) --\m一个词的开头匹配 openGauss=> select * from t1 where regexp_like(context,'\mnot','i'); id | context ----+------------------------------------ 1 | select * from t1 \r + | where is \r + | not null 4 | not else 6 | notrr else 7 | select * from t1 where is not null (4 rows) --\M一个词的末尾匹配 openGauss=> select * from t1 where regexp_like(context,'not\M','i'); id | context ----+------------------------------------ 1 | select * from t1 \r + | where is \r + | not null 4 | not else 5 | ifnot else 7 | select * from t1 where is not null (4 rows) ?和*量词的区别在查询匹配场景下,我个人理解应该是一致的,但是对于一些替换场景则是有区别的--?是匹配0或1次,所以(o)?b匹配的子串为ob,替换为了foearbaz openGauss=> SELECT regexp_replace('foobarobaz', '(o)?b', 'e'); regexp_replace ---------------- foearobaz (1 row) --*是匹配0或更多次,所以(o)?b匹配的子串为oob,替换为了e,结果为fearbaz openGauss=> SELECT regexp_replace('foobarobaz', '(o)*b', 'e'); regexp_replace ---------------- fearobaz (1 row) --对于flat参数,i表示进行大小写无关的匹配,g表示替换每一个匹配的子字符串而不仅仅是第一个 openGauss=> SELECT regexp_replace('foobarobaz', '(o)*b', 'e','g'); regexp_replace ---------------- feareaz (1 row) 正则表达式支持的函数对于具体的正则函数的使用,本文不做详细介绍,后续再写文章详细介绍。正则表达式支持的函数如下,substring(string from pattern) 描述:截取匹配POSIX正则表达式的子字符串。如果没有匹配它返回空值,否则返回文本中匹配模式的那部分。 regexp_count(string text, pattern text [, position int [, flags text]]) 描述:获取满足匹配的子串个数 regexp_instr(string text, pattern text [, position int [, occurrence int [, return_opt int [, flags text]]]]) 描述:获取满足匹配条件的子串位置(从1开始)。如果没有匹配的子串,则返回0。 regexp_substr(string text, pattern text [, position int [, occurrence int [, flags text]]]) 描述:正则表达式的抽取子串函数。与substr功能相似,正则表达式出现多个并列的括号时,也全部处理 regexp_replace(string, pattern, replacement [,flags ]) 描述:替换匹配POSIX正则表达式的子字符串。如果没有匹配pattern,那么返回不加修改的string串。如果有匹配,则返回的string串里面的匹配子串将被replacement串替换掉。 replacement串可以包含\n,其中\n是1到9,表明string串里匹配模式里第n个圆括号子表达式的子串应该被插入,并且它可以包含\&表示应该插入匹配整个模式的子串。 可选的flags参数包含零个或多个改变函数行为的单字母标记。flags 支持的选项值及含义描述如表1 flags 支持的选项值所示。返回值类型:varchar regexp_matches(string text, pattern text [, flags text]) 描述:返回string中所有匹配POSIX正则表达式的子字符串。如果pattern不匹配,该函数不返回行。如果模式不包含圆括号子表达式,则每一个被返回的行都是一个单一元素的文本数组,其中包括匹配整个模式的子串。如果模式包含圆括号子表达式,该函数返回一个文本数组,它的第n个元素是匹配模式的第n个圆括号子表达式的子串。 flags参数为可选参数,包含零个或多个改变函数行为的单字母标记。i表示进行大小写无关的匹配,g表示替换每一个匹配的子字符串而不仅仅是第一个。 regexp_split_to_array(string text, pattern text [, flags text ]) 描述:用POSIX正则表达式作为分隔符,分隔string。和regexp_split_to_table相同,不过regexp_split_to_array会把它的结果以一个text数组的形式返回。返回值类型:text[] regexp_split_to_table(string text, pattern text [, flags text]) 描述:用POSIX正则表达式作为分隔符,分隔string。如果没有与pattern的匹配,该函数返回string。如果有至少有一个匹配,对每一个匹配它都返回从上一个匹配的末尾(或者串的开头)到这次匹配开头之间的文本。当没有更多匹配时,它返回从上一次匹配的末尾到串末尾之间的文本。 flags参数包含零个或多个改变函数行为的单字母标记。i表示进行大小写无关的匹配。返回值类型:setof text regexp_like(text,text,text) 描述:正则表达式的模式匹配函数。返回值类型:bool总结本文中整理的正则匹配规则为比较常见的规则,相对来说上手还是比较容易的,这些规则对于我们的日常运维开发应该是足够使用的。另外这三种模式匹配,其实使用场景也是稍微有所不同。1、like常用于简单的模糊匹配查询2、SIMILAR TO语法可以支持正则模式匹配,适用于大部分场景3、正则表达式相比SIMILAR TO,支持一些正则函数的使用并且支持一些其他特殊的匹配规则总之,正则表达式是一种强大的工具,它在文本处理领域具有广泛的应用,并且具有灵活性、通用性和高效性等优点。通过掌握正则表达式,开发或运维人员能够更高效地处理文本数据。上述的整理,是通过查看gauss的官网文档并结合PG官网资料整理常用的正则表达式。如果个别内容有误,望各位大佬多多指正。作者:墨竹
  • [热门活动] 【话题交流】2025年了,今年准备学习什么技术,一起来讨论一下!
    【话题交流】2025年了,今年准备学习什么技术,一起来讨论一下!
  • [技术干货] [技术合集]2025年1月数据库干货合集
    内容总结主从复制与GTID模式:文章详细介绍了MySQL主从复制的多种实现方式,重点讲解了GTID模式如何简化主从同步配置和管理,提高数据库的容错性和可维护性。权限与安全管理:深入解析了MySQL的用户权限、组管理,以及行锁与表锁机制,帮助开发者更好地理解如何控制数据访问权限和并发控制。读写分离与性能优化:对比了代码层面的读写分离与使用ProxySQL工具进行自动化读写分离的优劣,强调了锁机制(临键锁、间隙锁、记录锁)对性能的影响。事务与隔离级别:讲解了MySQL的事务隔离级别,解释了不同隔离级别对并发控制和数据一致性的影响,提升了对事务管理的理解。索引与查询优化:探讨了B树和Hash索引的优缺点,并深入剖析了MySQL索引优化的技术,帮助提高查询效率。数据库引擎与数据结构:介绍了MyISAM与InnoDB引擎的区别,讨论了B+树、B树、红黑树等数据结构在数据库中的应用,提升了对数据存储和检索的理解。链接地址标题: MySQL中进行数据库备份和恢复链接: cid:link_0标题: MySQL支持哪些数据类型链接:https://bbs.huaweicloud.com/forum/thread-02104172938081589045-1-1.html标题: MySQL查询性能优化链接 https://bbs.huaweicloud.com/forum/thread-0248172938055823049-1-1.html标题: 数据库迁移至GaussDB指南链接 https://bbs.huaweicloud.com/forum/thread-0251172937817567045-1-1.html标题: GaussDB容灾能力解析链接 https://bbs.huaweicloud.com/forum/thread-0271172937788228033-1-1.html标题: GaussDB中实现数据分片链接https://bbs.huaweicloud.com/forum/thread-02104172937758944044-1-1.html标题: GaussDB如何处理事务和一致性问题链接 https://bbs.huaweicloud.com/forum/thread-0271172937723905032-1-1.html标题: GaussDB自动扩展解析链接 https://bbs.huaweicloud.com/forum/thread-02104172937620869043-1-1.html标题: GaussDB中进行SQL优化链接 https://bbs.huaweicloud.com/forum/thread-0296172937060065039-1-1.html标题: Redis中String 的底层结构链接 https://bbs.huaweicloud.com/forum/thread-02109172425407085022-1-1.html标题: Redis集群链接 https://bbs.huaweicloud.com/forum/thread-0272172424146041027-1-1.html标题: Redis 分布式锁详解链接 https://bbs.huaweicloud.com/forum/thread-0296172412268584021-1-1.html标题: 数据库怎么借助AI发展链接 https://bbs.huaweicloud.com/forum/thread-0271172338884574011-1-1.html标题: 关系型数据库和非关系型数据库的区别链接 https://bbs.huaweicloud.com/forum/thread-02127172329773130013-1-1.html标题: 高斯数据库与MySQL数据库的区别https://bbs.huaweicloud.com/forum/thread-0272172329359040020-1-1.html链接 https://bbs.huaweicloud.com/forum/thread-0272172329359040020-1-1.html
  • [技术干货] 数据库迁移至GaussDB指南
    数据从传统数据库迁移到GaussDB的完整指南在当今数字化转型的时代,企业对于数据库的选择愈发关键。GaussDB,作为华为自主创新研发的分布式关系型数据库,以其高可用、高性能、高安全、高弹性、高智能等特性,成为众多企业核心业务升级的首选。本文将详细介绍如何将数据从传统数据库迁移到GaussDB,助力企业顺利完成数字化转型。一、GaussDB简介GaussDB是基于华为20余年战略投入、软硬全栈协同所创新研发的数据库产品。它具备企业级复杂事务混合负载能力,支持分布式事务、同城跨AZ部署、数据0丢失,以及PB级海量存储。同时,GaussDB还拥有云上高可用、高可靠、高安全、弹性伸缩、一键部署、快速备份恢复、监控告警等关键能力,能为企业提供功能全面、稳定可靠、扩展性强、性能优越的企业级数据库服务。二、迁移前准备评估现有数据库:分析传统数据库的结构、数据量、数据类型以及业务依赖关系,确保迁移过程中数据的完整性和一致性。选择迁移工具:GaussDB提供了多种数据迁移方案,包括DRS(数据复制服务)、DAS(数据管理服务)和gs_loader等工具。根据实际需求选择合适的迁移工具。制定迁移计划:明确迁移的时间窗口、数据校验方法、回滚策略等,确保迁移过程的可控性和安全性。三、数据迁移步骤数据导出:使用gs_dump或gs_dumpall命令导出传统数据库的元数据和数据。对于非结构化数据,可以使用文本文件、CSV文件等格式进行导出。数据转换:根据GaussDB的数据格式要求,对导出的数据进行必要的转换和清洗。可以利用脚本或ETL工具进行数据转换,确保数据格式的一致性。数据导入:使用DRS的实时同步功能,将数据从一个数据源拷贝到GaussDB,实现关键业务的数据实时流动。对于批量数据导入,可以使用gs_loader工具,将控制文件支持的语法转换为\COPY语法,然后利用\COPY功能进行数据导入。也可以使用DAS的导入功能,通过SQL/CSV文件格式将数据导入GaussDB。数据校验:在迁移完成后,进行数据校验,确保迁移的数据与源数据库中的数据完全一致。可以使用比对工具或编写脚本进行数据比对和验证。四、迁移后优化性能调优:根据GaussDB的性能特点,对数据库进行性能调优,包括索引优化、查询优化等,提高数据库的运行效率。监控与告警:利用GaussDB的监控告警功能,实时监控数据库的运行状态,及时发现并处理潜在问题。安全加固:加强数据库的安全防护,包括数据脱敏、透明加密、行级访问控制等,确保数据的安全性。五、案例分享某金融企业为了提升业务处理能力和数据安全性,决定将传统数据库迁移到GaussDB。在迁移过程中,该企业选择了DRS作为迁移工具,利用其实时同步功能,确保了数据的完整性和一致性。迁移完成后,通过对数据库进行性能调优和安全加固,该企业的业务处理能力得到了显著提升,数据安全也得到了有力保障。六、总结将数据从传统数据库迁移到GaussDB是一个复杂而关键的过程。通过充分的准备、合理的迁移步骤以及迁移后的优化工作,可以确保迁移的顺利进行和数据的安全性。GaussDB以其卓越的性能和安全性,将成为越来越多企业数字化转型的首选数据库产品。希望本文能为正在考虑数据库迁移的企业提供有益的参考和指导。
  • [技术干货] GaussDB容灾能力解析
    GaussDB的容灾能力深度解析在当今数字化转型的大潮中,数据库作为信息系统的核心组件,其容灾能力直接关系到业务的连续性和数据的安全性。GaussDB,作为华为基于openGauss生态推出的企业级数据库产品,凭借其强大的容灾能力,在金融、电信、政府等多个领域展现出了卓越的性能。本文将深入探讨GaussDB的容灾能力,从多个维度解析其如何确保业务的高可用性和数据的一致性。一、GaussDB容灾能力概述GaussDB不仅具备云上高可用、高可靠、高安全、弹性伸缩、一键部署、快速备份恢复、监控告警等关键能力,还通过分布式并行执行框架和GTM-Lite技术,实现了高性能的分布式事务处理。其容灾能力主要体现在同城容灾和跨地域容灾两大方面。二、同城容灾方案1. 同城跨AZ双活方案同城跨AZ双活方案是GaussDB提供的一种高可用性部署模式。AZ(Availability Zone)是指数据中心内的独立区域,具备独立的电力、制冷和网络设施,以提高系统的容灾能力。部署模式:在同城的两个AZ中分别部署两个数据中心,实现关键系统的独立运行和实时数据同步。两个数据中心具备基本等同的业务处理能力,通过高速链路实时同步数据。高可用性:两个数据中心可以同时分担业务及管理系统的运行,并具备快速切换的能力。当主集群出现故障时,备集群可以迅速接管业务,保证业务连续运行。数据一致性:通过实时数据同步,确保两个数据中心的数据完全一致。资源优化:两个数据中心共同分担业务负载,提高资源利用率。2. 同城多AZ容灾方案GaussDB还提供了同城多AZ的容灾方案,如同城2AZ、同城3AZ等,这些方案在同城双活的基础上进一步增强了系统的容错能力。例如,同城2AZ方案可以采用4副本部署,由两个业务AZ和一个仲裁AZ组成,实现任意单点故障的抵御能力。三、跨地域容灾方案跨地域容灾通常是指主备数据中心距离在200KM以上,以确保在主机房发生极端灾难的情况下,备机房数据仍具备继续提供服务的能力。1. 两地三中心容灾方案GaussDB的两地三中心容灾方案结合了同城容灾和异地容灾的优势,确保在任何情况下都能保证业务连续运行和数据不丢失。该方案通过在同城部署两个数据中心(主集群和备集群),并在异地部署一个数据中心(灾备集群)来实现。流式复制:主数据库实例将增量数据实时发送给备数据库实例和灾备数据库实例,确保数据的一致性。容灾搭建:通过容灾搭建流程,将两个正常集群配置为主集群和灾备集群,建立流式复制关系。故障切换:当主集群出现故障时,灾备集群可以通过升主操作成为正常集群,对外提供服务。容灾演练:通过容灾演练功能,可以在不影响业务的情况下模拟故障切换过程,验证容灾方案的可行性。2. 跨云容灾方案GaussDB的跨云容灾方案突破了容灾能力对云管控平台的依赖,通过统一GaussDB主备集群间容灾交互的标准,实现了业务实例和容灾实例在不同的云管控平台分别管理的方案。这一方案降低了客户跨云的成本,提高了容灾的灵活性和可靠性。四、GaussDB容灾能力的优势高可靠性:通过同城双活和异地容灾的组合部署,确保在任何情况下都能保证业务连续运行和数据不丢失。数据一致性:通过实时数据同步和流式复制技术,确保数据的一致性。资源优化:根据业务需求灵活调整资源分配,提高资源利用率。简化运维:GaussDB的容灾方案降低了运维的复杂度,使得容灾管理更加便捷。五、总结GaussDB凭借其强大的容灾能力,为企业提供了高效、可靠的容灾解决方案。无论是同城容灾还是跨地域容灾,GaussDB都能确保在任何情况下都能保证数据的完整性和业务的正常运行。随着数字化转型的深入推进,GaussDB的容灾能力将成为企业稳健发展的重要保障。未来,我们期待GaussDB在容灾领域继续创新,为企业带来更多的价值。
  • [技术干货] GaussDB如何处理事务和一致性问题
    GaussDB如何处理事务和一致性问题在当今的数字化时代,数据库系统作为信息存储和管理的核心组件,其性能和可靠性直接关系到业务系统的稳定性和用户体验。GaussDB,作为华为自主研发的高性能分布式数据库,不仅在读写性能、扩展性方面表现出色,更在事务处理和一致性保障方面展现出了卓越的能力。本文将深入探讨GaussDB如何处理事务和一致性问题,帮助读者更好地理解这一先进数据库系统的内在机制。一、事务的基本概念事务是数据库系统中的一个核心概念,它代表了一系列数据库操作的集合。这些操作要么全部成功执行,要么在遇到错误时全部回滚,以确保数据库状态的一致性。事务的四个关键特性——原子性(Atomicity)、一致性(Consistency)、隔离性(Isolation)和持久性(Durability),通常被称为ACID特性。原子性:确保事务中的所有操作要么全部执行,要么全部不执行。一致性:事务执行前后,数据库必须处于一致性状态。隔离性:事务之间的操作相互隔离,一个事务的执行不应影响其他事务。持久性:一旦事务提交,其对数据库的影响将是永久的。二、GaussDB的事务处理机制GaussDB全面支持ACID事务,确保在高并发环境下数据的一致性和完整性。事务的启动与提交GaussDB通过START TRANSACTION或BEGIN语法启动事务。事务的提交通过COMMIT或END语句完成,此时所有修改将被永久保存到数据库中。如事务执行失败,可通过ROLLBACK语句回滚所有操作,恢复数据库到事务开始前的状态。事务隔离级别GaussDB支持多种事务隔离级别,包括读未提交(Read Uncommitted)、读提交(Read Committed)、可重复读(Repeatable Read)和序列化(Serializable)。不同的隔离级别提供了不同程度的数据一致性保障,同时也影响了并发性能。例如,序列化级别提供了最高的一致性保障,但可能降低并发性能。分布式事务支持在分布式数据库环境中,GaussDB支持跨多个节点的事务处理,确保分布式事务的原子性和一致性。三、一致性问题的挑战与解决方案在高并发环境下,数据库系统面临着多种一致性问题,如脏读、不可重复读、幻读以及丢失更新等。GaussDB通过一系列机制来应对这些挑战。并发控制机制GaussDB采用悲观并发控制和乐观并发控制相结合的方式,根据事务冲突的可能性灵活选择控制策略。悲观并发控制通过加锁来避免冲突,适用于冲突较多的场景。乐观并发控制则假定冲突较少,通过版本控制来检测和处理冲突,适用于执行时间短、冲突少的场景。多版本并发控制(MVCC)GaussDB实现了多版本并发控制机制,为每个数据项保存多个物理版本,供不同事务使用。MVCC通过空间复用的多版本信息来缓解读写冲突,提高并发处理能力。在GaussDB中,快照隔离机制基于提交时间戳(CSN)来实现,为每个事务的读操作准备一个快照,确保事务间的隔离性。死锁检测与处理GaussDB具有死锁检测机制,通过定期检测系统中的死锁情况,并自动选择一个或多个事务进行回滚,以解决死锁状态。四、实际应用场景与性能优化GaussDB的事务处理和一致性保障机制在多个应用场景中发挥了重要作用,如金融账务、电商订单、物流管理等。在这些场景中,事务的原子性和一致性是确保业务正确性和数据可靠性的关键。为了进一步提升性能,GaussDB还提供了事务监控功能,对事务的状态、执行时间、执行语句等进行实时监控。这些信息有助于DBA和开发人员优化事务处理流程,减少不必要的锁等待和回滚操作,提高系统的并发性能和吞吐量。五、总结GaussDB作为华为自主研发的高性能分布式数据库,在事务处理和一致性保障方面展现出了卓越的能力。通过全面支持ACID事务、提供多种事务隔离级别、实现多版本并发控制机制以及死锁检测与处理等功能,GaussDB确保了在高并发环境下数据的一致性和完整性。同时,其事务监控功能也为性能优化提供了有力支持。在未来,随着技术的不断进步和业务需求的不断变化,GaussDB将继续完善其事务处理和一致性保障机制,为更多应用场景提供稳定可靠的数据支撑。
  • [技术干货] GaussDB自动扩展解析
    GaussDB实现数据库的自动扩展随着企业业务的不断增长,数据库面临的处理能力和存储需求也在不断增加。为了满足这些需求,数据库的扩展性成为了关键考量因素。华为云数据库GaussDB作为一款企业级分布式数据库,凭借其出色的扩展能力,为企业提供了高效、可靠的解决方案。本文将深入探讨GaussDB如何实现数据库的自动扩展,以满足企业不断发展的业务需求。一、GaussDB的扩展策略GaussDB支持垂直扩展和水平扩展两种方式,以适应不同的业务场景和需求。1. 垂直扩展垂直扩展主要通过增加单个数据库节点的硬件资源来提升处理能力和存储空间。GaussDB支持多种存储介质,可以根据业务需求选择不同的存储方案。此外,GaussDB还采用多主复制技术,实现数据的快速备份与恢复,确保在硬件升级过程中数据的完整性和可用性。2. 水平扩展水平扩展则是通过增加数据库节点数来提高系统的并发处理能力和数据处理能力。GaussDB采用分布式架构,支持多节点数据同步,能够根据业务需求灵活扩展节点数。这种扩展方式不仅提高了系统的处理能力,还增强了系统的容错性和可用性。二、自动扩展的实现GaussDB的自动扩展功能主要体现在以下几个方面:1. 分区自动扩展GaussDB支持分区表的自动扩展。当DML(数据操纵语言)插入的数据无法匹配到已有的任意分区时,会触发自治事务执行分区自动扩展。这一过程会对分区表施加短暂的锁定,但阻塞周期极为短暂,对系统运行或用户操作基本无影响。通过DML业务自动扩展的分区不支持回滚,即当前事务回滚后,新建的分区依然存在。分区自动扩展与常规分区DQL/DML业务互不阻塞,支持这两类业务的并发。2. 节点扩容GaussDB分布式实例支持节点扩容操作。随着业务的增长,数据库在运行性能及存储上可能会达到瓶颈,此时可以通过增加节点来提升集群的性能及存储能力。扩容过程包括增加节点阶段和数据重分布阶段。在增加节点阶段,会有锁实例的时间窗,该时间窗内阻塞DDL(数据定义语言)和DCL(数据控制语言)操作,但用户的DML操作可以正常进行。数据重分布过程会占用部分IO资源,且不支持部分SQL语句的执行。扩容新增的CN(协调节点)与DN(数据节点)分片数量与当前集群CN的max_wal_senders参数值有关,建议合理设置以确保扩容成功。三、自动扩展的优势GaussDB的自动扩展功能带来了诸多优势:1. 提高系统性能通过自动扩展,GaussDB能够根据实际业务需求动态调整资源分配,确保系统始终保持在最佳性能状态。2. 增强系统可用性自动扩展功能使得GaussDB能够在不影响业务运行的情况下进行资源调整,从而增强了系统的可用性和稳定性。3. 降低运维成本自动扩展减少了人工干预的需求,降低了运维成本,同时提高了运维效率。四、结论GaussDB作为一款企业级分布式数据库,凭借其出色的扩展能力,为企业提供了高效、可靠的解决方案。通过支持垂直扩展和水平扩展两种方式,以及实现分区自动扩展和节点扩容等自动扩展功能,GaussDB能够根据实际业务需求动态调整资源分配,确保系统始终保持在最佳性能状态。这些优势使得GaussDB能够更好地满足企业业务发展的需求,帮助企业实现数字化转型。随着技术的不断进步和应用场景的不断拓展,GaussDB的自动扩展功能将继续发挥重要作用,为企业创造更大的价值。
总条数:1535 到第
上滑加载中