• [其他] GaussDB(DWS)OC上告警DWS_10000系统内部异常
    【问题现象】OC页面紧急告警DWS_10000系统内部异常【原因分析】告警详情中有详细的定位信息和附加信息,请优先根据告警时间查看ossres-dws.log,本文主要针对以下两种情况1、 定位信息:AutoBackUpJob.excutea) 根据页面告警查看自动备份情况,快照是否异常b) 根据页面告警时间或告警ID等关键字进dwscontroller容器中查看ossres-dws.log日志,日志中报错空指针异常c) 登录rms数据库,根据页面告警的集群ID查询数据库cluster_backup_device表,Select * from cluster_backup_device where clustrId=’’;发现有值为NULL2、 定位信息:function=MeterBillingController.getMeterAndBilling(DbsLogAspect.java)a) 排查ossres-dws.log发现DWS_10000报错前都有Lock wait timeout exceeded的报错b) mysql库中目前插入数据到表中也会报锁冲突报错Lock wait timeout exceededc) mysql数据库节点data目录使用率100%导致内部告警【处理方法】针对现象1:手动将cluster_backup_device表中backupDevice字段为空的值改为OBS。Update cluster_backup_device set backupDevice='OBS' WHERE clusterid='xxx' and backupDevice is null;针对现象2:使用以下方法修改审计日志策略a) 进入审计日志目录,清理审计日志文件(DWS-DB-01和DWS-DB-02)。cd /var/log/auditrm -rf *.log*b) 以root用户回到DWS-DB01节点,切到mysql用户,登录本地数据库。su - mysqlmysql --defaults-file=/data/mysql/etc/my.cnf -uroot -hlocalhost -P7306 -pvL3o5_YKzk1Sj@WAc) 执行set global audit_log_rotations=50;set global audit_log_rotate_on_size=20971520;d) 退出数据库,修改配置文件,保证重启也生效vim /data/mysql/etc/my.cnf增加审计日志轮转参数audit_log_rotations=50 audit_log_rotate_on_size=20971520保存退出。e) 观察审计日志是否开始轮转。f) 该参数是单节点生效,需要在每个节点执行。g) (选做)如果不需要审计功能,可以登录库后设置关闭set globalaudit_log_policy=none; 每个节点都需要执行,该步骤请谨慎选择。
  • [运维管理] GaussDB A 8.0.0.1线下版本,100+节点时,其中50+节点为扩容时加入,使用一段时间后存在原本节点和扩容节点存在
    【操作步骤&问题现象】GaussDB A 8.0.0.1线下版本,100+节点时,其中50+节点为扩容时加入(有重分布),使用一段时间后后存在原本节点(60+)和扩容节点(40+)磁盘空间存在差距。原有节点数据节点磁盘使用率64%左右,扩容节点磁盘使用率58左右%,问题1除数据倾斜情况之外为还有可能是那些问题导致的?问题2当表数据不够分布到所有实例时,数据分布时是按照数据节点排列在前分布的分布还是按照什么规则分布数据的?
  • [其他] 删除函数报错:ERROR: function xxx asks parameters
    【问题现象】删除存储过程报错:ERROR: function xxx asks parameters【问题原因】该报错原因是因为当前库下存在同名不同入参的函数,因此需要在drop function时指定入参类型【解决方法】drop function时指定入参类型:例:drop function to_date_new(text);
  • [运维管理] 【DWS】【登录认证】如何实现免密登录?
    由于安全问题,不可以将密码直接告诉用户。DWS 如何实现用户在无明文密码的情况下登录到数据库?
  • [生态空间] 【DWS产品】【pg_xlog功能】pg_resetxlog后集群启动失败
    【功能模块】【操作步骤&问题现象】1,停止集群:cm_ctl stop2、对所有节点的所有CN/DN做:cd /srv/BigData/mppdb/data1/master1pg_controldata ./|grep "Latest checkpoint's NextOID"pg_controldata ./|grep "Latest checkpoint's NextXID"pg_resetxlog -o oid-x xid-f /srv/BigData/mppdb/data1/master13、重启集群:cm_ctl start【截图信息】【日志信息】(可选,上传日志内容或者附件)
  • [问题求助] 【问题求助】【gaussDB 8.1.1】【GDS数据导入问题】GDS文件转码导入DWS, 速度变慢问题
    【问题背景】数据文件是GBK格式,DWS是utf-8,利用GDS导入过程中,涉及转码的问题,速度会下降很多?1.单GBK非压缩文件不转码导入,测试256MB/S2.单GBK非压缩文件转码导入(转成utf-8),实际测试 37.5MB/S3.多个GBK非压缩文件不转码并行导入,测试速度 900MB/S4.多个GBK非压缩文件转码并行导入(转成UTF-8),测试 85 MB/s【问题求助】发现转码比不转码的速度,下降很多。请问有具体的参数设置可以进行优化吗?或者有没有官方测试过,转码的情况下比不转码的情况,速度具体会降低多少?
  • [其他] DWS创建集群有延迟(实际等待60s左右页面才显示已经提交创建的集群)
    问题现象:政务云DWS创建集群有延迟(实际等待60s左右页面才显示已经提交创建的集群)dws在创建的时候也会调用很多其他服务,需要查看是具体在哪里耗时很多。排查方法:创建集群的页面f12查看请求的traceid,找不到或者不可复现的情况下登录EICommon节点进入dwscontroller容器 cd/logs/ossres.dws.log  根据创建时间查找创建集群的日志获取traceid 登录运维容器,根据traceid过滤dws.log日志, zgrep "traceid" ossres-dws* > tmp查看在那一步耗时比较久发现smn这里耗时一分钟查看smn服务是否正常 Smn服务页面不显示解决方法:修复smn需要找负责smn服务的同事处理 政务云和标准hcso的smn差异是政务云没有支付邮件和短信费用,故smn不会发邮件和短信,而标准HCSO都是购买的,邮件和短信能正常发送功能是可用的
  • [热门活动] 【直播回放】4月14日晚19点GaussDB(DWS)数仓专家手把手教您轻松解决云数仓常见问题,参与互动报名,好礼等你拿!!!
    为帮助您更好地了解和使用华为云数仓GaussDB(DWS)产品,本期直播将为通过理论+实操,教您轻松解决云数仓常见问题。一、直播看点1.数据库调优及性能问题根因分析及处理方案;2.集群创建及收费,管理等常见问题;3.系统学习路径,免费技术支持,案例获取渠道。二、直播回放入口直播回放:cid:link_1三、直播福利参与直播互动和报名,机械键盘、鼠标等好礼等你来拿!4月21日开奖哦~四、互动方式在本主题贴跟帖盖楼,留言“理论+实操,轻松解决云数仓常见问题”;在GaussDB(DWS)论坛上发帖互动(包括但不限于直播收获、问题求助、博文分享、数仓产品体验感受、产品优化建议等);直播互动评论或完成直播调查问卷;问卷调查链接:https://isurvey.huawei.com/survey/#/privacy-page?surveyId=51281&customerId=0&placementId=0&channel=0&uuid=c945e4a14b0b4e66baa3be4df68edc49在华为云社区分享与直播内容相关的博文,并在本帖回复文章链接。      以上互动方式参加一种或多种均可~
  • [技术干货] 2022年4月中国数据库排行榜:华为GaussDB 挺进前四,榜单前八得分扶摇直上
    2022年4月的 墨天轮中国数据库流行度排行榜 已在墨天轮发布,本月共有205个数据库参与排名,相比上月新增六个数据库。本月整体排名变动不大,但排行榜上数据库整体得分涨幅较大。以下为本月参与排名TOP15的数据库产品得分具体涨跌情况表,三月数据库行业动向频繁、蒸蒸日上,整体得分均有大幅上涨。一、华为GaussDB 挺进前四,榜单前八得分扶摇直上本月墨天轮排行榜上前十名中,华为 GaussDB 以475.57分挺进了前四。仔细观察墨天轮排行榜上的数据,排名前十的数据库中,其中前八名(除达梦)得分较上月都上涨了三十分左右。由于春节影响,二月诸多活动与宣传都延期至了三月。接下来一起看看墨天轮排行榜上前五的数据库在三月的具体表现与发展趋势,并进行一定的分析与解读:(一)PingCAP的 TiDB 四月得分上涨37.31,总分616.84,摘取桂冠。1、TiDB本月论文数量增加2篇,自2020年1月开始,其一直稳居榜单第一,自此与榜单第二名一直保持着100分左右的差距。但是从2022年2月开始,这种差距逐渐缩小至40分左右,这表明各位数据库厂商都干劲十足,不断提升产品的竞争力。2、都说金融领域是数据库的“试金石”。3月11日,中国银联定向采购2022年TiDB数据库订阅和现场技术支持服务,这表明银行业对TiDB产品性能的认可。3月17日,PingCAP开启了春季实习生的招聘,这也证明了TiDB对人才的吸纳和培养从未停止。近日,Facebook开源的Golang实体框架Ent完成了TiDB数据库的支持,大大降低了开发者的使用门槛。这一系列动向,无论是市场的拓展、优质人才的纳入还是数据库使用效率的提升,通过多维度的提升为TiDB稳居第一,提供了源源不竭的动力。(二)华为的 openGauss 4月得分上涨6.1%,总分567.42,夺得榜眼。1、openGauss 三月持续发力,专利和论文数量都有了大幅提升,分别增加了117个专利和31篇论文。openGauss四月得分较去年十月,分数上涨40.8%。自2021年11月起,openGauss脱颖而出,进入前三,随后稳居第二,这也反映了openGauss产品不断在市场上打磨,生态建设日益完善,所吸引的热度和关注度也在与日俱增。2、openGauss 的三月可谓是捷报频传。3月2日消息,中国科学技术协会公布了2021年“科创中国”榜单,openGauss社区入选开源创新榜单。此次openGauss社区能够成功入选开源创新榜单,得益于openGauss社区在其技术、学术、解决方案、人才发展等方面的创新发展。社区建设上,万里数据库、ScaleFlux也相继加入了openGauss社区,数据库厂商相继入驻社区,也为社区用户提供了更多的学习资源。openGauss一直精耕社区建设,首先抓住了国产数据库落地难的主要矛盾,持续吸引了一批又一批的潜在用户和优质人才。(三)OceanBase 本月分数543.22,相较于上月分数上涨53.28,得分涨幅10.8%,位居榜单第三。1、OceanBase本月得分涨幅最大,达到了10.8%,OceanBase三月在生态建设、技术人才培养等方面较为活跃。2、OceanBase 3.1.2版本发布后,3月1日开展了测性能,拿周边的相关活动,官方直接提供下载链接,用户在体验之后提供报告,便可以兑换周边。3月16日,OceanBase 在线体验环境上线,并提供了一些主要功能的操作步骤,用户无需再构建资源,能更快地上手OceanBase,帮助用户通过实战的方式掌握OceanBase的使用。3月24日,OceanBase 社区线上技术系列沙龙首播,为技术爱好者打造了一个技术分享、交流的空间,无疑也吸引了大批技术爱好者观看。(四)GaussDB 本月分数475.57,相较于上月分数上涨43.43,位居榜单第四。1、华为GaussDB从2020年10月至2022年3月,一直在第五-第七名徘徊,本月得分赶超达梦,位居第四,也是近一年半以来第一次以第四名的身份出现在榜单上。除此之外,GaussDB的专利增加了117个,论文增加了31篇。2、三月份,华为GaussDB在市场拓展和技术方面硕果累累。金融行业,3月1日,兴业银行发布《华为GaussDB软件采购项目》招标公告,含税总预算 2880 万元。华为与掌数科技达成深度合作,双方将在金融及证券行业相关系统与相关领域的信息技术应用创新建设方面建立长期合作关系。医疗领域,华为云支撑甘肃省医疗保障信息平台稳固上线,系统响应速度提升80%以上。月末,华为GaussDB 200 正式获得全球权威信息技术安全性评估标准CC EAL2 + ALC_FLR.2级别认证,这是中国数据仓库首次获得的国际安全认证。迄今为止,全球仅6家数据库厂商通过该认证,华为是唯一通过认证的中国数据库厂商。(五)达梦 本月分数455.62,相较于上月排名下降一位至第五名。1、从2019年11月到2022年3月,达梦一直游走于排行榜上第二-第四名,直至四月,刷新了排名新纪录,降为榜单第五名。达梦与第四名GaussDB只相差19.95分,有望在下月实现排名回归。据光锥智能发布的 《云起数据库-国产数据库的机遇与挑战》 调查报告显示, 国产数据库占据全球市场份额不到30%,在极度垂直细分的数据库领域,国产数据库百花齐放,行业竞争非常激烈,百舸争流不进则退,各数据库要常备不懈。2、三月,达梦数据库在技术提升和市场拓展上收获颇丰。3月10日,达梦正式推出的蜀天梦图数据分析系统3.0重磅来袭,本次更新的最大亮点是自由视界和顶点收展,让关系网络更清晰、模板创建更便捷、数据分析更高效。3月16日,章管家管理平台与达梦数据库管理系统V8,相互兼容,系统功能运动稳定,能够满足用户更多的性能需求。月末,中科院旗下权威媒体《互联网周刊》对外发布了“2021十大优秀基础软件应用案例”榜单,达梦数据库管理系统在中老铁路的应用,入选榜单。可以看出达梦数据库不仅不断提升技术能力,也获得了广泛的市场认可。二、人大金仓排名上升一位,TDSQL名次连续下降至第九分析完排名前五的数据库后,接下来一起看看第六—十名的得分情况。(一)PolarDB 本月分数387.83,相较于上月分数上涨35.45分。 3月1日,综合快递物流服务商韵达与阿里云在上海宣布成立“智慧物流数据库创新应用中心”,这是阿里云原生分布式数据库PolarDB-X全功能开源之后,在政企领域落地的首个公开大型案例。社区建设方面,Curve和Tapdata相继加入了PolarDB开源数据库社区,将更好地为社区用户服务。(二)GBase 本月排名维稳,仍居第七名,相较于上月分数上涨36.39,得分为372.42。 GBase 8a MPP CLuster数据库3月训练营于三月二十一日正式开营,前期的宣传、训练营中期的干货以及后期的活动余热吸引了大批学生和技术工作者。3月8日消息,南大通用GBase 8s 和 浪潮K1 Power和的联合解决方案已应用于数十条地铁线路综合监控系统(ISCS),开通线路运行稳定无故障,深受业界设计院、集成商的一致好评。GBase 在业内打造了良好的口碑。(三)人大金仓 本月得分相较于上月上涨30分,排名上升一位至第八。 这也是人大金仓在2020年8月的排行榜位居第八后,再度重回排行榜第八,排名上升的背后是产品不断被市场打磨并获得认可。3月13日晚,人大金仓作为国家电网10余年的国产数据库系统服务商交上了北京冬奥会、冬残奥会电力系统保障“零事故”的满分答卷,圆满完成电力保障任务。3月29日,金仓KingbaseES V8获选“中国软件行业协会2022年优秀软件产品”。(四)TDSQL 连续两月分数下降,相比同年2月分数下降了44.8分,排名第九。 三月TDSQL的宣传稿和动向不多,在一定程度上影响了其热度。3月7日消息,腾讯云数据库TDSQL已在国信证券业务系统中成功落地,系统已稳定运行三个月。新系统使用了TDSQL+中标麒麟系统+海光服务器,与战略合作伙伴华云中盛共同完成,实现了证券系统全栈国产化,这表明TDSQL产品上是“扛打”的。(五) AnalyticDB 本月得分虽然下跌了8.87,但是仍居第十名,并且半年内分数涨幅28.6%。 AnalyticDB是阿里云自主研发的云原生数据仓库,一直专注于性能提升、技术迭代,因此排行榜上得分也保持着稳步上升的趋势。三、细数排行榜各类数据库,后起之秀崭露头角从数据库类型划分来说,排行榜上前十基本被关系型、分布式、云原生数据库占据,当所有目光聚焦在这三大类时,键值、图形以及时序等类型的数据库也在悄然崛起,奋力向前。墨天轮中国数据库流行度排行榜上参与排名的数据库总共有八类,除去占据主导地位的关系型、分布式、云原生等三类,筛选其他五类,前十具体排名及得分如下:1、键值数据库 TcaplusDB紧随其后。 游戏数据库(TencentDB for TcaplusDB,TcaplusDB)本月得分111.06分,排名11,其是专为游戏设计的分布式 NoSQL 数据存储服务。据《2022 游戏应用营销现状报告》数据显示,2022年手游行业依旧处于黄金年代。全球用户在2021年消费支出高达7343亿元。这一款专为游戏应运而生的数据库产品,无疑市场是广阔的,前景是光明的。2、时序、图形数据库各有千秋。 墨天轮排行榜上其余五类排名的TOP 10,几乎被图形和时序数据库“瓜分”。根据 DB-Engines 的数据,在过去的两年中,时序数据库成为增长趋势最快的数据库类型。在本月中国数据库排行榜中, TDengine 位列时序数据库榜单第一,这是涛思数据推出的一款开源的专为物联网、车联网、工业互联网、IT运维等设计和优化的大数据平台。三月,TDengine在交通、智能建筑、燃气等领域都获得了一定的认可。TGDB 获得四月排行榜图形数据库第一名,其在四月总排名中位列第十九,这是腾讯云推出的一款原生的分布式并行图数据库,其也凭借自身强劲的产品优势,正在各领域不断落地并塑造标杆。现在国产数据库的产品层出不穷,随着国产数据库技术积累、生态建设等方面的经验越来越丰富,新出现的产品也有着“短平快”的趋势—性能好、响应快,行业内的竞争也越来越激烈,各数据库厂商要有未雨绸缪、防微杜渐的意识。来源:openGauss
  • [问题求助] 【香港启德项目】【数据平台】用工具登录DWS库,需要把IP地址添加
    问题一:开通白名单内网10.110.60.178公网:112.46.84.66问题二:开通登录权限添加登陆华为云平台的权限
  • [数据库使用] create or replace view报错:ERROR: cannot drop columns from view
    使用create or replace view创建视图时,如果该同名视图已存在,那么新的视图定义必须返回和原视图相同的列(即具有相同的列名顺序和数据类型),但是允许增加额外的列,否则会出现报错。例如:create table tbl1(a int, b text); create table tbl2(a int, b text); create view view1 as select * from tbl1;1. 通过create or replace view减少列,报错:ERROR:  cannot drop columns from view【问题现象】postgres=# create or replace view view1 as select a from tbl1;ERROR:  cannot drop columns from view【问题原因】如前所述,新视图定义必须返回和原视图相同的列,也就是说不能通过create or replace view的方式减少view的列【解决方法】drop view后重新create2. 通过create or replace view调整列的顺序报错:ERROR:  cannot change name of view column "a" to "b"【问题现象】postgres=# create or replace view view1 as select b,a from tbl1;ERROR:  cannot change name of view column "a" to "b"原因和解决方法同上3. 通过create or replace view修改输出列类型报错:ERROR:  cannot change data type of view column "b" from integer to text【问题现象】postgres=# create or replace view view1 as select * from tbl2;ERROR:  cannot change data type of view column "b" from integer to text【解决方法】可以通过create or replace view的方式增加列:postgres=# create or replace view view1 as select tbl1.*,tbl2.b as c from tbl1 ,tbl2 where tbl1.a = tbl2.a;CREATE VIEW
  • [开发应用] 咨询GaussDB相关问题,麻烦专家答疑
    【功能模块】1. 分区表分区过多是否会导致查询时快时慢?2. java中, 使用预编译语句prepared statement, 是否会导致查询变慢? 譬如生成的查询计划无法分区裁剪? 使用预编译语句和直接查询性能有无差异?3. PostgreSQL的JDBC驱动中, 有一个连接参数prepareThreshold 可以禁用prepared statement, 对高斯是否能起作用? 对解决查询慢会不会有效果?
  • [技术干货] GaussDB(DWS) GUC参数修改、查看[转载]
    背景GaussDB(DWS)提供了多种修改GUC参数的途径,用户可以通过sql、界面、shell工具等多种形式对guc参数进行调优、修改。用户面修改GUC参数从用户面修改,打开华为云->数据仓库服务->点开集群名称,可以看到有个参数修改菜单,目前GaussDB(DWS)大部分版本都在这里提供了部分参数的修改能力这里以修改时区为例,在页面上过滤到时区字段,改成北京东八区,然后提交然后集群会有一个配置中的异步任务然后我们用sql查看一下当前时间,已经生效了注意:如果修改了需要重启才能生效的参数,必须在页面点击重启集群,否则参数不会生效使用SQL修改GUC参数具体可以参照帮助文档 https://support.huaweicloud.com/devg-dws/dws_04_0885.html设置数据库级别的参数,在下次会话中生效。ALTER DATABASE postgres SET timezone TO "UTC";设置用户级别的参数,在下次会话中生效ALTER USER Ruby SET timezone TO "UTC";设置会话级别的参数,立即生效,退出登录失效SET timezone TO "UTC";不论是哪种方式设置的参数,都可以使用【show+参数名】查看,查看所有参数可以使用show all;注意修改GUC参数应该是个谨慎的行为,修改错误将有可能导致集群不可用如果有些参数用sql修改报错,可以在页面上操作
  • [干货汇总] 【数据库系列】Prometheus搭乘华为云GaussDB(for Influx):让监控数据更安全
    本文分享自华为云社区《[Prometheus搭乘华为云GaussDB(for Influx):让监控数据更安全](https://bbs.huaweicloud.com/blogs/338833?utm_source=csdn&utm_medium=bbs-ex&utm_campaign=database&utm_content=content)》,作者:高斯Influx官方博客。 # 背景 Prometheus 作为一个独立的开源项目,开发者和用户社区非常活跃,目前已经有超过650+位贡献者参与其研发工作上,并且超过120+项的第三方集成。是目前很受欢迎的系统监控和告警工具包。但是Prometheus默认使用本地数据库存储数据,作为正式业务,面临无法弹性扩容、没有副本、没有备份等问题。 GaussDB(for Influx)是一款分布式架构,云原生的时序数据库。可无缝被Prometheus集成,在协议上原生支持Prometheus远端存储对接至GaussDB(for Influx),解决了Prometheus在使用本地数据库存储数据的痛点问题。 # Prometheus的优势和不足 ## Prometheus 优势 Prometheus是一款开源的数据监控告警系统,支持数据的采集,存储,可视化以及告警功能。 1、Prometheus部署简单,依赖少。核心部分只有一个单独的二进制文件,不存在任何的第三方依赖(数据库,缓存等等) ,只需要下载一个包就可以运行起来。 2、功能完整,包括数据采集,存储,可视化,告警等功能,其基本架构如下: ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20224/1/1648781148154980425.png) 数据采集部分,exporter用来采集监控数据,并向Prometheus server提供标准格式的监控数据。 数据存储部分,Prometheus Server负责数据的抓取和存储,其定时在目标上抓取metrics(指标)数据并保存到本地存储里面。Prometheus采用了一种Pull(拉)的方式获取数据,不仅降低客户端的复杂度,客户端只需要采集数据,无需了解服务端情况,而且服务端可以更加方便的水平扩展。Prometheus默认存储是一套TSDB本地部署的时序数据库。通过对接第三方时序数据库扩展历史数据的存储。 数据可视化部分默认提供了自带的UI界面,同时支持开源的Grafana工具。 ## Prometheus本地存储的问题 Prometheus的默认部署的本地时序数据库,可以减少其自身运维和管理的复杂度,能够满足大部分用户监控规模的需求,但是随着业务的增长和数据规模的不断扩大,本地存储存在一些无法解决的问题: 1、存储大小有限,且无法灵活扩容。存储容量有限,无法存储时间太长的数据,存储能力的扩展目前依赖磁盘的扩展,本地磁盘的扩展涉及到迁移数据等。 2、没有副本,可靠性不足。本地存储数据只有一份,没有副本架构,一旦磁盘或者数据损坏,无法修复。 3、存储成本高。数据库一般使用性能较高的SSD,数据存储成本高。 4、存储安全性低。所有人都可以看到本地的数据,数据安全性不足。 5、数据难共享。本地存储的数据库,不利于其他分析组件的数据共享。 6、缺少备份能力。本地数据库没有备份能力,一旦业务数据损坏,无法恢复数据。 # GaussDB(for Influx)如何解决上述问题 GaussDB(for Influx)作为一款采用分布式架构,云原生的时序数据库,作为Prometheus的远程存储,完美解决了使用本地数据库存储时遇到的问题,并且可维护性,读写性能等方面也做了很多的优化。 1、存储按需扩容。GaussDB(for Influx)依托云原生能力,采用计算存储分离架构,存储使用分布式共享存储,实现了秒级扩容,且在扩容过程中不中断业务,可以根据业务需求灵活进行扩展,不担心随着业务增长,存储不足的问题。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20224/1/1648781177412260104.png) 2、三副本高可用架构。GaussDB(for Influx)基于华为分布式共享存储,将数据存为3副本,保证数据可靠性。业务写一份数据到数据库,系统会根据一定的策略将数据复制成3份,分别存储。如果其中一份数据损坏,系统会根据其他两份数据,重新恢复出被损坏的数据。 3、支持冷热存储分离。GaussDB(for Influx)支持数据冷热分离存储,时序数据随着时间的推移,其被查询和分析的概率越来越低。用户可以根据时序数据的特点以及业务需求将数据划分为热数据和冷数据,热数据保存在分布式共享存储上保证读写的性能。冷数据保留在低成本存储上,降低存储的成本。GaussDB(for Influx)支持一键购买冷存储,如下图所示,可以根据需要购买对应的冷存储空间。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20224/1/1648781186013793466.png) 4、数据安全性高。GaussDB(for Influx)的存储文件对业务是不可见的,客户只能通过InfluxQL语句来访问数据,而无法看到真实文件。降低了数据被损坏和泄露的风险。 5、数据访问共享分析。数据存储到远端时,其他组件可以通过数据库访问地址,直接访问采集到的数据。 6、支持备份功能。GaussDB(for Influx)依托云原生能力,支持全量备份和增量备份,数据一旦异常,可以选择历史备份迅速恢复。 除了以上优势外,GaussDB(for Influx)还在在计算能力方面,采用集群架构,支持灵活扩容。在写入性能,查询性能,数据压缩率等方面做了很多优化。 # Prometheus使用GaussDB(for Influx) **配置** Prometheus使用GaussDB(for Influx)非常方便。在华为云上购买GaussDB(for Influx)实例后,只需要在配置文件prometheus.yml中添加以下配置项,然后重启Prometheus服务即可。 remote_write: - url:"http://127.0.0.1:8086/api/v1/prom/write?db=prometheus&u=rwuser&p=****** remote_read: - url: “http://127.0.0.1:8086/api/v1/prom/read?db=prometheus&u=rwuser&p=****** - 127.0.0.1:8086: 链接GaussDB(for Influx)实例的IP和端口,需要保证Prometheus部署机器的网络可以连通该IP。 - db=prometheus:数据写入指定的数据库名称。 - u=rwuser&p=******:购买GaussDB(for Influx)实例时的账号密码。 其余参数不变。 **验证** 重启后就可以通过Prometheus自带的界面来查询数据了。在浏览器中输入http://localhost:9090,打开Prometheus界面,输入一条查询语句,如下图: ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20224/1/1648781231103698794.png) 可以看到已经可以查到相关数据。也可以通过登录GaussDB(for Influx)来查看写入的数据情况。登录数据库后,执行以下语句 use Prometheus show measurements 可以看到Prometheus已经成功的写入数据了。如下图: ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20224/1/1648781251229302143.png)
  • [应用案例] DWS系统表(系统视图)权限收回的验证
    前言要屏蔽一个普通用户在DATA studio中对系统表和系统视图查询权限,做了验证,得出下面内容,可能理解不到位,欢迎各位大神纠正弥补关于public翻阅DWS和原生postgres权限说明文档了解到,当新创建一个数据库后,就会默认带public组,也会有自己的同名schema:public;public默认拥有登录数据库和使用schema:public的权限。当我们新建一个用户,该用户默认是在public下面,继承了public所有权限。所以新建用户一般是默认有连接数据库和在public下建表的权限的。所以在创建数据库后,通常要执行如下语句:- 收回public对数据库的权限 revoke all privileges on database dbXXX from public; (此时新建用户utest无法登录数据库dbxxx) - 收回public对schema的权限 revoke usage privilegs on shcema public from public (此时用户XXX无法在数据库dbxxx中,默认public创建表) - grant connect on database dbxxx to uxxx; (赋uxxx对dbxxx的登录权限)系统表(视图)权限1,主要验证了系统表,例如 SCHEMA:pg_catalog下的一些表。public组默认拥有对系统对象(系统表,视图,函数等)访问权限,所以用户xxxt默认拥有对系统表的访问权限。2,对系统表访问权限的收回,一定要收回角色public的访问权限,然后继承public的所有用户相应权限也会收回revoke select on table pg_tables from public; --因继承关系,此时用户uxxx就无权访问pg_tables3,对系统表相关权限的收回,要在相应的数据库内操作。例如让用户uxxx在数据库dbxxx中禁止访问pg_tables,管理员要连接dbxxx后进行相应操作。如果管理员默认进入postgres或者其他库,执行revoke,那么收回的是相应库的系统表权限,而uxxx在库dbxxx中的权限是无法收回的。也就是说同样的用户,在不同的库中,对同样的系统表可以拥有不同的权限。4,大部分系统表和视图在schema:pg_catalog下,如果收回用户对pg_catalog的使用权限,就无法访问该模式下的所有表。revoke usage on schema pg_catalog from public (慎重操作,会影响用户登录数据库)关于Data Studio 和 pgsql回收系统表权限收回public对schema:pg_catalog的usage权限,两个工具都无法登录数据库,客户端工具登录数据库,要查询到一些系统表和视图,且工具不同,使用到的系统表也不一样。举例说明,例如回收pg_class的访问权限: revoke select on table pg_class from public ; //用管理员回收权限 grant usage on scheme schxxx to uxxx; //用管理员给某一个只读用户赋权一个schxxx的使用权限 create table schxxx.t1(a int); //管理员在模式schxxx下创建一个表t1 grant select on table schxxx.t1 to uxxx;//管理员在表t1上,给只读用户uxxx赋查询权限然后用uxxx用户登录两个客户端:pgsqlData Studio都可以登录,但是在Data Studio中,将不会展示出所有系统对象和用户表t1,此时达到了在DataStudio中,屏蔽系统模式的效果。在gsql中,uxxx可以访问t1表,而Data Studio中无法查询t1表重点说明我们在对系统表权限收回中,一定要慎重,特别是public权限的收回,可能会影响其他用户对系统表的使用
总条数:2746 到第 页
上滑加载中