-
[中国,北京,2022年12月29日]以“汇聚数据库创新力量,加速企业数字化转型”为主题的openGauss Summit 2022在线上举行。会上,openGauss社区理事会理事长江大勇对外公布了最近社区及生态进展,并宣布推出资源池化架构,实现软硬融合,产业链全栈创新;openGauss社区全新升级工具DataKit,帮助用户从使用数据库到实现数据全生命周期的管理;基于openGauss的中国移动磐维数据库正式发布;openGauss社区理事会升级等重磅内容。2022年,openGauss社区用户数首次突破100万,社区贡献者超4000人,共有220家企业、组织加入社区。在行业应用方面,联合伙伴累计完成500+个行业解决方案适配,覆盖政府、金融、运营商等10余个行业,在中国非云集中式数据库市场中占有率突破10%,累计使用超过3万套。越来越多的用户和伙伴认可openGauss,选择openGauss路线。openGauss推出资源池化架构,实现全栈融合创新当前,随着数据规模爆炸性增长、数据应用快速深化,数字技术正加速落地行业应用,产业数字化加速产生了海量的数据,图、流、时序和地理空间等多种数据类型。支持多样性计算,同时高性能处理、多模融合成为数字时代数据库架构发展的重要方向,为此,openGauss推出资源池化架构,通过一体化平台实现智能运维、集群管理、资源编排等能力,实现数据库在高负载下的稳定运行和弹性伸缩。openGauss资源池化架构由3层池化(存储池化、内存池化和计算池化)、1个平台和1个标准组成。●存储池化支持多种存储,实现一份数据服务于多种计算并通过SQL算子卸载的NDP技术,大幅提升SQL处理效率、消减网络I/O流量。●内存池化实现计算节点间内存的互联,通过同步事务信息和数据库缓存,实现多节点下的多版本快照一致性读能力。●计算池化支持多样性算力,基于鲲鹏、昇腾等算力,为应用提供从TP行存加速、AP列存加速、AI训练推理等全方位的数据服务。通过灵活的架构与底层根技术突破,openGauss真正实现软硬协同,全栈融合、敏捷创新。openGauss社区全新升级数据全生命周期生产力工具DataKit针对行业应用过程中的业务建模、开发、管理、安装部署和迁移运维openGauss社区联合伙伴开发了大量工具,帮助用户从使用数据库到实现数据全生命周期的管理。会上,openGauss社区全新升级社区工具DataKit,其集成目前openGauss所有相关工具,形成工具超市,开发和运维人员可快速按需找到所需工具,方便快捷。基于openGauss的中国移动磐维数据库正式发布中国移动信息科技公司联合openGauss社区、北京分公司、浙江分公司和广东分公司成功推出中国移动磐维数据库,其是中移信息首个基于中国本土开源数据库打造的面向ICT基础设施的自有数据库产品。目前己在北京移动、河北移动和浙江移动的基础通信网络中部署应用,确保5G高质量通信服务。此外,本次大会,中国交通建筑集团、京东科技和南大通用正式加入openGauss社区理事会。截止目前,openGauss社区理事会成员单位已达23家。通过汇聚社区创新力量,openGauss社区携手伙伴共同建设社区生态,推动社区技术、行业应用、人才培养等繁荣发展。在社区技术生态方面,已在标准SQL及驱动、监控运维系统、数据导入导出工具、数据复制同步工具、数据访问中间件等15个生态维度,孵化技术创新项目50多个。在行业应用方面,openGauss将持续聚焦行业重点业务场景,2023年目标发展600家ISV伙伴,构建1500个解决方案,加速openGauss在行业核心场景全面商用。人才培养方面,自21年起,openGauss联合教育部开启智能基座计划,在72所高校推广openGauss,22年产教育人基地扩大到150所省属重点高校。2023年将会进一步扩展到行业特色高校累计300所,覆盖9000名学生。未来,openGauss社区将持续携手伙伴及开发者,共同繁荣openGauss生态,共建最具创新力的开源数据库根社区。
-
许多表预估行数为0,并且也没有自动分析,怎么解决?
-
java代码连接GaussDB驱动名称是什么?
-
创建索引时报file size exceeds temp_file_limit,怎么处理?
-
查询存在的job用什么办法?
-
已经改了字段类型为date,为什么查询建表语句的时候还是timestamp?
-
数据库只读了,该怎么解决只读呢
-
表格里没有数据,是需要执行其他的控件吗
-
【常见场景】1 业务侧大量写操作(insert或update)集中在某个DN上【基本处理方法】步骤1:收到告警后需要查看OPS上的对应指标“未落盘脏页数量”。先登录后台检查实例shared_buffers参数,计算实例目前最大脏页数量,计算公式为:shared_buffers/8K。若指标超过最大脏页数量,则说明共享内存已经被占满,业务请求会受到影响,此场景大概率是由于场景1导致;步骤2:登陆到对应节点上,查看对应参数,连接数据库执行语句:show pagewriter_sleep;和show dirty_page_percent_max;若pagewriter_sleep为2000,可以考虑调整为500或者100,加速脏页落盘的速度,若dirty_page_percent_max为0.9或者0.8,可以调整为0.75,降低刷页阈值上线。步骤3:修改后查看是否生效,指标是否下降。
-
【常见场景】目前识别到的动态内存使用率超阈值告警触发场景主要有如下几种:1 用户的连接数(在线会话数)上涨导致占用动态内存明显上涨;2 内存泄漏;3 sql模板数量、存储过程模板数量较多4 dn节点网络抖动【基本处理方法】动态内存使用率超过阈值的情况下一般会比较危险,常见为DN,后续业务再增大并发会导致无法分配内存,进而严重影响业务,所以需要尽快处理。步骤1:收到告警后,首先确认触发告警的节点及节点类型(CN/DN);步骤2:首先观察OPS业务核心指标当前是否受损,如95%SQL响应时延,用户DML语句数,在线会话数等是否有明显变化,若有明显变化,说业务有感知,需要尽快恢复;步骤3:若关键指标暂时没有受损,则有时间可以快速定位,首先通过OPS指标观察,是否由于业务增大并发导致的,查看“在线会话数”指标是否有联动上涨(场景1),若有,则大概率和业务变动有关,需要及时知会业务风险,并建议其推迟变更;步骤4:登陆对应节点查看cm_agent的日志:cd $GAUSSLOG/cm/cm_agent,查看最新日志中对应时间点是否有ping失败的报错,若存在,则说明是网络断连导致,否则需要对内存细节进行分析,登陆到对应的节点上,然后连接数据库查询语句: select contextname, sum(totalsize)/1024/1024 as total, sum(usedsize)/1024/1024 as used,count(*) as session_count from pv_session_memory_detail group by 1 order by 2 desc limit 20;根据查询结果,其中contextname标识申请内存的上下文名称,total标识对应内存上下文总共申请的内存,used标识当前正在使用内存,session_count标识当前DN上session数量。根据查询结果,可以确认占大头的内存上下文,若和cacheplan相关的内存上下文占用较多,则大概率为场景3,需要分析业务语句模板数量并建议业务降低jdbc连接串参数preparedStatementCacheQueries,减少缓存模板数,此调整带来的风险是业务时延可能受到影响,最好验证后在实施,且需要重新建连业务连接;步骤5:排除以上场景后,可能存在内存泄漏风险,当前定位手段有限,只能通过定时查询上述语句,若session_count不变,SessionCacheMemoryContext占用持续上涨则可能是内存泄漏,需要联系华为工程师继续定位,这种情况下,需要实施临时保障策略,通过terminate用户业务或者重启DN进程等方式进行有损规避。临时处理方案:保护客户业务不受损,可以先terminate业务。在告警DN节点上,连接数据库,执行如下sql:select pg_terminate_session(pid,sessionid),pid,sessionid from pg_stat_activity where usename in ('$user') and state = 'idle';
-
【常见场景】1数据库某种资源使用达到上限,导致线程池满,业务语句整体时延上涨;2 底层IO故障,触发数据库D状态,业务语句时延上涨;3单个语句执行时间超长,拉高整体指标,但大部分业务运行正常;4 某种操作导致短时间出现大量慢SQL。【基本处理方法】步骤1:收到告警后首先查看OPS指标监控,确认并记录指标异常的开始时间;若持续出现此问题,需要立刻确认业务影响,若业务侧感知明显,需要立即联系华为工程师步骤2:观察OPS指标监控,按指标展示,查看是否有其他指标出现联动变化,包括但不限于CPU占用率,线程池使用率,数据磁盘读/写吞吐,动态内存使用率,未落盘脏页数等指标,若以上指标出现联动变化,则说明大概率是故障或者业务请求发生变化触发场景1,引起数据库某种资源使用达到上限,导致的时延上涨,需要进一步分析对应指标,确认问题原因。若CPU或磁盘读写吞吐或未落脏页数量明显上涨,单个指标明显上涨,其他指标无明显变化,则可能是触发了场景4,由于某种数据库操作触发了很多慢SQL,导致P95上涨,此时需要进一步登陆数据库实例,连接数据库,查询对应时间点的gs_asp视图进行分析;步骤3:如果从指标上没有看到明确的指标联动变化,那么大概率是触发了场景3,由于业务侧的某条执行时长超长的语句导致的整体时延指标上涨,此时其他业务正常运行,需要登陆数据库,查看pgxc_stat_activity,确认是否有长语句正在执行,或者查看gs_asp,确认是否历史上有长语句执行;步骤4:排除以上场景后,若发现单个节点(CN或DN)的动态内存使用率明显高于其他节点,则有可能是触发了场景2,此时需要登陆到对应节点上,查看$GAUSSLOG下面的cm/cm_agent日志,确认对应时间点gaussdb进程是否出现了D状态,若出现D状态,则有可能是由于底层IO故障导致,需要确认对应时间点的底层存储和IO情况(包括数据盘和日志盘);步骤5:若非以上场景,请联系华为工程师。
-
【常见场景】目前识别到的系统磁盘使用率超阈值告警触发场景主要有如下几种:1 版本升级,占用系统磁盘资源增加;2 临时文件没有及时清理,不断累积;3 管控或操作系统相关的日志没有及时回收;【基本处理方法】步骤1:收到告警后,确认上报告警的实例是不是有变更类操作,如升级、扩容等操作。与操作人员确认影响。步骤2:如果没有变更类操作,确认触发告警的节点及节点类型(CN/DN/GTM/CMS);步骤3:登陆对应节点,使用df–h命令查看当前磁盘使用率较高的磁盘,确认当前使用率,可能存在风险的目录包括/home/Ruby/log、/home/Ruby、/home/Mike、$PGHOST、/user/local(DN节点);步骤4:其中/home/Ruby/log下主要存放系统日志,管控日志以及om_agent日志,正常情况下这些日志均有自动清理和回收机制,若发现某类日志数量明显增加,则可能存在风险,需要手动清理(例如om_agent默认保留10个日志文件、管控日志默认保留20个等);步骤5:/home/Ruby和/home/Mike目录下主要会存放一些运维操作的临时文件,这些文件一般情况下在运维操作结束后就可以清理,可能存在忘记清理或者临时文件生成过大的情况,需要及时处理;步骤6:$PGHSOT目录下主要存放数据库运行相关的临时文件,若存在较大文件,需要确认文件用途后,采取清理动作;DN上的/usr/local目录使用系统磁盘,可能有一些运维操作也会在此目录下落盘,需要及时清理;【典型案例】升级过程系统盘磁盘使用率会增加,升级完成后会释放占用的系统盘资源。
-
尊敬的客户:您好!为帮助您深入了解华为云产品,探索新的技术场景,我们非常高兴地与您分享一个好消息:为了更好地服务千万开发者,华为云推出开发者认证,真正让开发者在云上作业,懂开发会开发,与开发者共成长。由华为资深研发团队精心打磨,潜心研发的《GaussDB入门级开发者认证-Python》于2022年12月16日正式上线!届时请进入华为云开发者学堂-开发者认证-数据库查看产品详情,体验使用,我们非常期待您的宝贵建议。以下为该开发者认证详情,您可提前了解:产品名称: 《GaussDB入门级开发者认证-Python》适合人群: 高校学生、开发工程师等;培训方案: 从数据库技术讲到华为云云数据库相关服务能力及增强特性;技术能力: 掌握数据库原理、数据库SQL语言、开发语言等软件开发核心技术及云上开发实践能力;认证价值: 通过理论结合实践,使软件开发相关从业者具备数据库基础的理论知识和实操能力。届时我们还将开展相关开发者认证上新活动,详情请关注华为云开发者学堂论坛-热门活动 相关通知。发布日期:2022年12月16日
-
centos7.6升级openEuler20.031. . 前提准备 1.1 资源准备VMware Workstation Pro版本:16 centos镜像版本:7.6下载地址:cid:link_2 虚拟机:2cpu4核心 4G运行内存 40G存储本地主机:Windows 11 专业版 64位centos7.6基础配置硬件配置准备SSH登录工具:finalshellfinalshell下载地址:cid:link_31.2 部署环境准备在安装好centos7.6后,进行基础环境部署配置1.2.1 关闭防火墙需要关闭本地主机和linux防火墙关闭linux服务器防火墙命令查看防火墙状态centos使用systemctl stop firewalld命令关闭防火墙1.2.2 配置虚拟机网段配置虚拟机网段与本地主机在同一网段,方便联通和后续操作在虚拟机中选择编辑--->虚 拟机网络编辑器举例说明:我将网段设置在19.168.122.xxx下面本地PC修改ip方式找到网络和internet--->找到对应的虚拟网卡--->查看其他属性将ip分配改为手动,这里设置为192.168.122.10在虚拟机内操作方式如下编辑ifcfg-ens33 主要修改如下将BOOTPROTO改成static,然后设置静态ip地址和网关按下ESC : wq保存退出(需要使用管理员权限)查看主机和虚拟机ip虚拟机输入ifconfig测试能否互相联通如果配置完成后还不能ping同,可以尝试关闭VMware后用管理员身份打开用管理员身份打开后回复正常1.3 配置欧拉更新软件1.3.1 配置本地镜像源x2openEuler需要依赖,由于虚拟机无法联网,我们选择配置本地镜像源 首先将centos镜像上传到虚拟机(使用ssh)删除其他yum源进行更新更换yum源成功1.3.1 安装x2openEulerx2openEuler无法直接安装,需要进行注册验证口令编辑下面文件跳过验证首先将x2openEuler安装包上传到虚拟机x2openEuler下载地址cid:link_0为了防止直接拖拽rpm包造成安装失败,可以通过scp上传或者共享文件夹方式,此处采用ssh上传 使用finalshell进行ssh登录将文件x2openEuler上传到根目录使用下面命令安装缺少依赖,使用yum install -y依次安装完成依赖后再次安装验证是否安装成功安装成功提示如下打开x2openEuler需要关闭x2openEuler永久关闭:输入命令vi /etc/selinux/config,将SELINUX=enforcing改为x2openEuler=disabled,然后保存退出。验证是否安装成功,输入下面指令返回以下信息,说明安装成功2. . 升级系统 2.1 登录x2openEule在本地主机浏览器输入https://192.168.122.1:18082/x2openEuler/#/login点击继续前往初次登录需要设置管理员密码我设置的为z520520!设置密码后再次登录进入确认免责声明2.2 配置openEuler20.03镜像openEuler-22.03-LTS下载地址: https://repo.huaweicloud.com/openeuler/openEuler-20.03-LTS/IS O/x86_64/将下载的镜像上传到虚拟机(此处我放在了根目录下的/srv下面)2.3 新建升级任务在浏览器点击新建任务--->系统升级添加节点信息,点击确定选择操作系统版本配置repo源配置完成后点击确认2.3.1 联通性测试升级前首先进行连通性测试2.3.2 升级前检查进行升级前检查,可以实时生成报告和日志中间提示报错,查看报错情况并进行修改报错准备方案:挂在本地openEuler20.03源,安装grub2-common 输入下面指令尝试再次升级报错,无解决方案
-
Gaussdb跨集群访问开启kerberos的hdfs,该如何配置?
上滑加载中
推荐直播
-
华为云码道 × 仓颉编程:工程化AI编码探索2026/05/27 周三 19:00-21:00
刘俊杰-华为云仓颉语言专家/李炎-华为云码道技术专家/王智鹏-OpenCangjie开源社区发起人
本场直播围绕华为云仓颉语言与华为云码道的深度结合,展示华为云智能编程从零基础到高效落地的完整生态能力。以华为云码道为引擎,仓颉语言为载体,带给大家日常提效、趣味创新到极速量产的开发体验。
回顾中
热门标签