• [技术干货] SQL Server连接不上的判断方法
    场景排查1. ECS能否ping通RDS。如果ping不通,可以查看ECS和RDS是否处于同一个VPC内,是否使用同一个安全组。2. 检查连接IP和端口号是否正确。注意IP和端口号之间使用“逗号”隔开。3. 检查RDS服务的运行状态是否异常。4.查看用户名密码是否正确,尝试重置密码。5. 尝试重启RDS实例,看看是否改善。解决方案步骤 1    登录管理控制台,选择区域和项目,选择“数据库 > 关系型数据库”。进入关系型数据库“实例管理”页面,单击目标实例名称,进入“基本信息”页面和“备份恢复”页面确定连接信息和备份信息。步骤 2    在实例“基本信息”页面查看管理员账户名。步骤 3     下载并在ECS上安装SSMS客户端。步骤 4     从ECS连接到RDS。
  • [行业资讯] 数据库上云一波三折,这家全球著名酒店集团为何能逆转局面
    不确定性--是企业在这个时代所面临的最大挑战。诚如今年爆发的新冠病毒疫情,对各行各业产生了巨大的影响,酒店行业尤为明显。疫情让出差、旅游、娱乐等活动全面按下“暂停键”,酒店行业遭遇了一次前所未有的危机。所谓危机,即危险中同样蕴育着机会。从2003年的SARS疫情到2009年的金融危机,再到今年的新冠疫情,几乎每一次危机都是酒店业的一次行业洗牌和整体提升。面对新冠疫情这次大危机,酒店业则迎来了一次数字化变革:无接触服务、人脸识别、机器人服务、云门锁管理、个性化推荐……数字化技术的加速应用让酒店行业加速完成新蜕变。当危机来临,行业用户拥有足够强大的数字化能力,则可以应对危机,甚至化危为机;而没有足够的数字化能力,则可能会率先被市场所淘汰。酒店行业当前所面临的这一切,再次证明数字化转型和以此构建起的数字化能力的重要性。在当下,数据已经成为这个时代最重要的生产资料,算力是新的生产力,云、AI、5G则是新的生产工具。尤其是云,正在成为包括酒店行业在内所有用户数字化转型中必不可少的重要工具。云计算是技术、资源、经验、人力的积累与输出,通过专业的服务与工具可以让千行百业用户不用去构建整套IT基础设施的情况下,用较低成本即可享受到数据库、AI、大数据等先进数字化技术所带来的好处。其中,数据库上云可谓是至关重要。当前,千行百业都在诞生大量的数据,并呈现出以下明显特征:首先是数据量发生巨大变化,数据爆炸性增长成为各个行业的常态;其次,数据类型趋于丰富,从过去简单的结构化,到如今丰富的非机构化数据,数据类型和种类更加多元化;第三,行业用户对基于数据的实时需求更高了;最后则是数据共享和开放的趋势不可阻挡。所有这些需求让数据库上云不再是一件简单搬迁的事情,而是一项复杂且具有技术含量的工程。有这么一家酒店集团,其在数据库上云可谓是一波三折,并且在年初还遭遇了疫情的影响,最终逆转了局面,成功化危为机,加速了酒店智能化升级之路。这家酒店集团叫锦江酒店(中国区)。作为全球著名的酒店管理集团,锦江拥有海量酒店数量、上亿级别的用户体量,也是国内第一家上云的酒店企业。面对今年疫情所带来的危机,锦江酒店管理集团迅速行动,利用云数据库等基础数字化能力,安排一套应对危机的“组合拳”,不仅成功应对了疫情对于业务带来的冲击,还加速向AI和数据驱动的酒店管理集团转变。事实上,锦江酒店(中国区)的上云之路并非一帆风顺,从三年前开始全面准备上云,没少“踩坑”、“绊脚”,特别是在数据库上云方面,经历了多家云数据库选择、考察、验证等曲折过程……如今,锦江酒店(中国区)在完成数据库上云之后,实现了重大事故清零、一组服务器可运行800+家门店业务、系统效率提升36倍、全量查询性能提升270倍……这一切是如何做到的?锦江酒店集团数据库上云从评估、详细方案设计、具体方案落地、测试等过程中又发生了哪些有意义的故事?锁定华为Cloud & AI Live高端对话《企业数据库发展之路》,锦江酒店中国区运营管理中心信息系统副经理凌晨、华为云数据库业务总裁苏光牛、华为云数据库解决方案架构师马千里带你揭晓!资料搜集来自华为官网
  • [技术干货] 排查RDS for MySQL CPU使用率高的原因和解决方法
    使用云数据库MySQL时,如果您的CPU使用率很高或接近100%,会导致数据读写处理缓慢、无法获取连接、出现报错等,从而影响业务正常运行。解决方法一分析慢SQL日志(如果有)以及CPU使用率指标来定位效率低的查询,再优化查询效率低的语句。查看慢SQL日志来确定是否存在运行缓慢的SQL查询以及各个查询的性能特征(如果有),从而定位查询运行缓慢的原因。查询MySQL日志,请参见慢查询日志。查看华为云关系型数据库实例的CPU使用率指标,协助定位问题。请参见通过Cloud Eye监控。创建只读实例专门负责查询。减轻主实例负载,分担数据库压力。多表关联查询时,关联字段要加上索引。尽量避免用select*语句进行全表扫描,可以指定字段或者添加where条件。解决方法二分析当前数据库运行线程来定位效率低的查询,再通过华为云数据管理服务(Data Admin Service,简称DAS)提供的建议优化这些SQL语句来降低实例的CPU使用率以提升系统效率。连接MySQL实例。具体操作请参见《关系型数据库快速入门》,通过内网和公网连接实例的内容。执行以下命令,查看当前执行操作,定位效率低的查询。show full processlist*************************** 1. row ***************************                   Id: 16193                 User: rdsAdmin                 Host: localhost                   db: NULL              Command: Query                 Time: 0                State: starting                 Info: show full processlist          Memory_used: 16424 Memory_used_by_query: 8208             CPU_time: 294611    Trx_Executed_Time: 0    logical_page_read: 0       disk_page_read: 0     iops_limit_count: 0 *************************** 2. row ***************************                   Id: 16246                 User: root                 Host: ********                   db: test04_1              Command: Query                 Time: 36                State: creating table                 Info: create table test04_1.table_test_7(a int, b varchar(21632))          Memory_used: 151378 Memory_used_by_query: 8208             CPU_time: 128329    Trx_Executed_Time: 0    logical_page_read: 57       disk_page_read: 0     iops_limit_count: 0 *************************** 3. row ***************************                   Id: 16247                 User: root                 Host: ********                   db: test01_1              Command: Query                 Time: 36                State: creating table                 Info: create table test01_1.table_test_7(a int, b varchar(21632))          Memory_used: 151378 Memory_used_by_query: 8208             CPU_time: 127529    Trx_Executed_Time: 0    logical_page_read: 0       disk_page_read: 0     iops_limit_count: 0 *************************** 4. row ***************************                   Id: 16261                 User: root                 Host: ********                   db: test05_1              Command: Query                 Time: 16                State: creating table                 Info: create table test05_1.table_test_6(a int, b varchar(21632))          Memory_used: 151378 Memory_used_by_query: 8208             CPU_time: 150650    Trx_Executed_Time: 0    logical_page_read: 0       disk_page_read: 0     iops_limit_count: 0 *************************** 5. row ***************************                   Id: 16262                 User: root                 Host: ********                   db: test_1              Command: Query                 Time: 14                State: creating table                 Info: create table test_1.table_test_5838(a int, b varchar(21632))          Memory_used: 151376 Memory_used_by_query: 8208             CPU_time: 179596    Trx_Executed_Time: 0    logical_page_read: 0       disk_page_read: 0     iops_limit_count: 0 *************************** 6. row ***************************                   Id: 16266                 User: root                 Host: ********                   db: test02_1              Command: Query                 Time: 8                State: creating table                 Info: create table test02_1.table_test_9(a int, b varchar(21632))          Memory_used: 151378 Memory_used_by_query: 8208             CPU_time: 154582    Trx_Executed_Time: 0    logical_page_read: 0       disk_page_read: 0     iops_limit_count: 0 *************************** 7. row ***************************                   Id: 16269                 User: root                 Host: ********                   db: test03_1              Command: Query                 Time: 6                State: creating table                 Info: create table test03_1.table_test_11(a int, b varchar(21632))          Memory_used: 151378 Memory_used_by_query: 8208             CPU_time: 153918    Trx_Executed_Time: 0    logical_page_read: 0       disk_page_read: 0     iops_limit_count: 0 7 rows in set (0.00 sec)得到需要优化的查询后,您可以使用华为云数据管理服务(Data Admin Service,简称DAS),通过SQL诊断查询,您可获知资源消耗大、执行耗时长、执行次数频繁的SQL语句。可根据诊断建议进行优化,保持数据库性能的稳定性。SQL诊断功能会获取相关表结构和数据分布信息(非原始数据),该信息仅用于诊断逻辑,不会存储到DAS服务器。获取表结构和数据分布信息的过程中,可能会对实例带来额外负载,但对性能影响甚微。SQL诊断历史是唯一存储在DAS服务器上的数据,如果执行删除操作后,也将彻底从服务器上删除。登录到数据管理服务控制台。在顶部菜单栏选择“SQL窗口”>“SQL诊断”,进入SQL诊断页面。图1 SQL诊断-1在SQL诊断页面,单击“新增SQL性能诊断”,新增SQL诊断任务。在新增SQL性能诊断弹出框中,您根据实际需要选择输入SQL语句或者上传SQL文件,然后单击“确定”,完成创建SQL诊断任务。图2 SQL诊断-2图3 SQL诊断-3在SQL诊断列表页面,您可选择“数据库”、“日期范围”单击“搜索”,进行筛选诊断报告。在诊断列表中,您可在“操作”栏查看诊断详情。图4 SQL诊断任务查询在SQL诊断详情页面,您可了解本次诊断任务的基本信息、诊断状态预览、诊断列表,并查看SQL列表中SQL诊断详情内容,获取语句优化建议等信息。图5 SQL诊断详情图6 诊断详情说明:SQL诊断功能会获取相关表结构和数据分布信息(非原始数据),该信息仅用于诊断逻辑,不会存储到DAS服务器。获取表结构和数据分布信息的过程中,可能会对实例带来额外负载,但对性能影响甚微。SQL诊断历史是唯一存储在DAS服务器上的数据,如果执行删除操作后,也将彻底从服务器上删除。
  • [技术干货] 【转载】华为云GaussDB全场景支持全业务,助力政企智能升级
    新基建大潮下,政企智能升级加速进行,数据成为政企智能升级的重要生产要素。相应地,数据服务作为新基建的核心之一,也处在升级进化的加速周期之中。8月12日,华为云TechWave数据库专题日活动中,华为云数据库业务总裁苏光牛、华东师范大学副校长周傲英教授及多位数据库专家畅谈华为云数据库创新升级、融合开放,为政企助力的经验和案例。此次,华为云GaussDB以统一的架构,支持关系型与非关系型的数据库引擎。华为云GaussDB 全新出发云、AI、5G等技术驱动,数据库行业迎来新的需求。依托华为云与华为云Stack,通过全栈软硬件优化,华为云GaussDB以统一的架构,支持关系型与非关系型的数据库引擎,为客户提供了高效稳定的使用体验,并衍生出了包括关系型和非关系型数据库、数据库工具类服务等众多数据库产品。在关系型的数据库领域,华为云GaussDB(openGauss)基于openGauss生态持续发展。而GaussDB(for MySQL)则100%兼容MySQL等开放生态,便于应用迁移和开发,保护客户投资。针对非关系型数据库领域,华为云推出GaussDB NoSQL多模融合技术,支持MongoDB、Cassandra、Redis、InfluxDB等主流NoSQL协议接口,具备多模数据管理能力。华为云数据库业务总裁苏光牛华为云数据库业务总裁苏光牛表示:“客户可以通过华为云数据库在线迁移数据,任意选择业务的切换时间点,让上云、多云更加容易。华为将通过持续的技术创新和生态开放的理念,让华为云GaussDB成为企业智能升级的数据库首选。”服务500+政企客户,助力千行百业目前,华为云数据库产品已经服务了超过500家大型政企客户,遍布金融、政府、电信、能源、交通、物流、电商等行业。针对政企客户大规模、高并发的应用场景,华为云GaussDB(for MySQL)产品定义围绕高可用、高可靠、高性能、高扩展和便于运维五大方向展开。华为云数据库产品总监张昆以华为消费者云业务为例:“GaussDB(for MySQL)支撑华为手机全国超过上亿客户同时访问的业务,凭借超强的技术沉淀和对业务的特别对应功能,保障世界级迁移云任务的安全与可靠。”由此可见,GaussDB(forMySQL)足以满足各种严酷的企业级场景。非关系型数据库GaussDB NoSQL基于GaussDB的计算存储分离的架构创新,对于性能、成本、HA、扩容性、备份恢复等多种指标都有质的飞越。在制造业上云的过程中,需要满足大规模高频词的数据录入和调取。以汽车制造商江淮为例,面对每秒百万级别的高并发真实车联网业务场景,在成本不变的基础上,GaussDB NoSQL可以实现三倍以上的性能提升,助推制造业云化转型。而在互联网行业中,日常巨量访问成为刚需。国家测绘地理信息局建设的地理信息综合服务网站“天地图”为多种主流地图App和政企地图提供实时地图信息,使用了华为云基于新架构的GaussDB NoSQL产品成功上云后,备份性能20+倍提升,数据恢复7+倍提升,为每天查询地图、导航保驾护航。同样,对于游戏、互联网服务、电商、运营商等数据库服务典型行业,华为云GaussDB也能够根据具体场景,给出符合实际需求的产品组合,提供安全的云上业务转型体验。数据库管理服务定制优化针对政府和企业在数据库产品应用中的需求,华为云数据库管理服务DAS有针对性地开发了标准版、云DBA、企业版三款产品。华为云数据库管理服务DAS首席架构师郭寿敏介绍,标准版是面向开发人员设计的数据库管理服务产品,具有操作界面可视化、功能特性丰富的特点,能满足每一个开发者的数据库使用需求。而云DBA工具是专属的数据库运维平台,能够快速发现问题,并自动给出诊断及优化建议,帮助用户快速根除隐患。企业版数据库DevOps平台专注企业的数据信息安全保护,提升与DBA的协作效率,节约大规模数据库的管理成本,适合企业级用户使用。总的来说,标准版具有快速、高效、简单、易上手的特点。而企业版在此基础上拥有更强大的安全性和稳定性,有很强的抗风险能力。正如郭寿敏所说,华为云数据管理服务DAS的升级和推出,开启了云上便捷数据库管理新篇章。此外,华为在会上还介绍了GaussDB数据库的认证体系。华为认证架构师陈睿提到,发展鲲鹏计算产业,当前存在着缺少赋能和职业成长体系,开发人才稀缺的困境。GaussDB推出的面向数据库工程师的HCIA-GaussDB认证,以及面向关系型数据库的OLTP方向和OLAP方向认证,旨在帮助孵化生态开发者。华为云GaussDB数据库的全新升级是数据库行业自身快速发展的又一个里程碑。在整个科技领域快速向前的加速周期中,华为云GaussDB再次指引了数据库行业的发展方向。在新基建大潮中,华为云乘风破浪,以全新的GaussDB数据库赋能千行百业智能升级。
  • [行业资讯] SQL数据库介绍
    SQL数据库        SQL (Structured Query Language) 是具有数据操纵和数据定义等多种功能的数据库语言,这种语言具有交互性特点,能为用户提供极大的便利,数据库管理系统应充分利用SQL语言提高计算机应用系统的工作质量与效率。SQL语言不仅能独立应用于终端,还可以作为子语言为其他程序设计提供有效助力,该程序应用中,SQL可与其他程序语言一起优化程序功能,进而为用户提供更多更全面的信息。 SQL Server数据库包括Microsoft SQL Server以及Sybase SQL Server两个子数据库,该数据库能否正常运行直接关系着整个计算机系统的运行安全。简介        在大数据时代中,数据库系统的数据类型与规模在不断扩增,这给数据库管理带来了一定的挑战。在社会生产生活中,对于数据库的应用范围逐步增大,提升数据库开发及应用的效率,是保障我国社会生产生活高效运转的关键。        SQL作为一种操作命令集, 以其丰富的功能受到业内人士的广泛欢迎, 成为提升数据库操作效率的保障。SQL Server数据库的应用,能够有效提升数据请求与返回的速度,有效应对复杂任务的处理,是提升工作效率的关键。        由于SQL Servers数据库管理系统具有较高的数据管理性能,因其优越的性能,应用范围非常广,大量应用于服务器和客户体系结构中。SQL Servers数据库的性质主要由以下几个方面体现:系统的吞吐量、响应时间以及并行处理能力, 发出请求服务器回应的速度、还有不同屏幕之间切换的速度等等。优点1)非过程化语言2)统一的语言3)是所有关系型数据库的公共语言体系SQL数据库的数据体系结构基本上是三级结构,但使用术语与传统关系模型术语不同。在SQL中,关系模式(模式)称为“基本表”(base table);存储模式(内模式)称为“存储文件”(stored file);子模式(外模式)称为“视图”(view);元组称为“行”(row);属性称为“列”(column)。组成1.一个SQL数据库是表(Table)的集合,它由一个或多个SQL模式定义。2.一个SQL表由行集构成,一行是列的序列(集合),每列与行对应一个数据项。3.一个表或者是一个基本表或者是一个视图。基本表是实际存储在数据库的表,而视图是由若干基本表或其他视图构成的表的定义。4.一个基本表可以跨一个或多个存储文件,一个存储文件也可存放一个或多个基本表。每个存储文件与外部存储上一个物理文件对应。5.用户可以用SQL语句对视图和基本表进行查询等操作。在用户角度来看,视图和基本表是一样的,没有区别,都是关系(表格)。6.SQL用户可以是应用程序,也可以是终端用户。SQL语句可嵌入在宿主语言的程序中使用,宿主语言有FORTRAN,COBOL,PASCAL,PL/I,C和Ada语言等。SQL用户也能作为独立的用户接口,供交互环境下的终端用户使用。为什么要使用数据库        因为使用io流文件存储数据有很多弊端:1、文件存储数据存储效率低;2、不管存还取操作比较麻烦3、一般只能保存小量字符串数据等。为了解决这些弊端,才有数据库的出现,使用数据库存储数据就可以很好的解决这些弊端。数据库的分类关系型数据库: 经过数学理论验证 可以保存现实生活中的各种关系数据, 数据库中存储数据以表为单位;非关系型数据库:通常用来解决某些特定的需求如:数据缓存,高并发访问。 存储数据的形式有多种,举例:Redis数据库:通过键值对的形式存储数据;主流关系型数据库简介MySQL: 08年被sun公司收购09年sun被oracle收购,开源免费,到oracle发布了5.0版本(使用了oracle核心技术 性能提高30%),因为Oracle数据库地位受到威胁,计划把mysql闭源,原mysql作者们不干了,原程序员出去单干,发布了MariaDB数据库、名字是因为作者女儿叫Maria ,市场排名第一;Oracle:闭源、最贵、性能最高,市场排名第二;SQLServer:微软公司的产品,市场排名第三,主要应用在.net(C#)开发的网站中;DB2:IBM公司有做网站的完整解决方案(操作系统,we服务器(如tomcat),数据库等)主要应用在银行等国有大型企业中;sqlite:轻量级数据库,只有几十k,一般应用在嵌入式和移动设备中;
  • 华为云GaussDB进阶全场景支持全业务,助力政企智能升级
    华为云GaussDB引领数据库新方向       新基建大潮下,政企智能升级加速进行,数据成为政企智能升级的重要生产要素。相应地,数据服务作为新基建的核心之一,也处在升级进化的加速周期之中。       8月12日,华为云TechWave数据库专题日活动中,华为云数据库业务总裁苏光牛、华东师范大学副校长周傲英教授及多位数据库专家畅谈华为云数据库创新升级、融合开放,为政企助力的经验和案例。此次,华为云GaussDB以统一的架构,支持关系型与非关系型的数据库引擎。 华为云GaussDB 全新出发       云、AI、5G等技术驱动,数据库行业迎来新的需求。依托华为云与华为云Stack,通过全栈软硬件优化,华为云GaussDB以统一的架构,支持关系型与非关系型的数据库引擎,为客户提供了高效稳定的使用体验,并衍生出了包括关系型和非关系型数据库、数据库工具类服务等众多数据库产品。       在关系型的数据库领域,华为云GaussDB基于openGauss生态持续发展。而GaussDB(for MySQL)则100%兼容MySQL等开放生态,便于应用迁移和开发,保护客户投资。针对非关系型数据库领域,华为云推出GaussDB NoSQL多模融合技术,支持MongoDB、Cassandra、Redis、InfluxDB等主流NoSQL协议接口,具备多模数据管理能力。华为云数据库业务总裁苏光牛       华为云数据库业务总裁苏光牛表示:“客户可以通过华为云数据库在线迁移数据,任意选择业务的切换时间点,让上云、多云更加容易。华为将通过持续的技术创新和生态开放的理念,让华为云GaussDB成为企业智能升级的数据库首选。” 服务500+政企客户,助力千行百业       目前,华为云数据库产品已经服务了超过500家大型政企客户,遍布金融、政府、电信、能源、交通、物流、电商等行业。       针对政企客户大规模、高并发的应用场景,华为云GaussDB(for MySQL)产品定义围绕高可用、高可靠、高性能、高扩展和便于运维五大方向展开。华为云数据库产品总监张昆以华为消费者云业务为例:“GaussDB(for MySQL)支撑华为手机全国超过上亿客户同时访问的业务,凭借超强的技术沉淀和对业务的特别对应功能,保障世界级迁移云任务的安全与可靠。”由此可见,GaussDB(forMySQL)足以满足各种严酷的企业级场景。        非关系型数据库GaussDB NoSQL基于GaussDB的计算存储分离的架构创新,对于性能、成本、HA、扩容性、备份恢复等多种指标都有质的飞越。        在制造业上云的过程中,需要满足大规模高频词的数据录入和调取。以汽车制造商江淮为例,面对每秒百万级别的高并发真实车联网业务场景,在成本不变的基础上,GaussDB NoSQL可以实现三倍以上的性能提升,助推制造业云化转型。        而在互联网行业中,日常巨量访问成为刚需。国家测绘地理信息局建设的地理信息综合服务网站“天地图”为多种主流地图App和政企地图提供实时地图信息,使用了华为云基于新架构的GaussDB NoSQL产品成功上云后,备份性能20+倍提升,数据恢复7+倍提升,为每天查询地图、导航保驾护航。        同样,对于游戏、互联网服务、电商、运营商等数据库服务典型行业,华为云GaussDB也能够根据具体场景,给出符合实际需求的产品组合,提供安全的云上业务转型体验。 数据库管理服务定制优化        针对政府和企业在数据库产品应用中的需求,华为云数据库管理服务DAS有针对性地开发了标准版、云DBA、企业版三款产品。       华为云数据库管理服务DAS首席架构师郭寿敏介绍,标准版是面向开发人员设计的数据库管理服务产品,具有操作界面可视化、功能特性丰富的特点,能满足每一个开发者的数据库使用需求。而云DBA工具是专属的数据库运维平台,能够快速发现问题,并自动给出诊断及优化建议,帮助用户快速根除隐患。企业版数据库DevOps平台专注企业的数据信息安全保护,提升与DBA的协作效率,节约大规模数据库的管理成本,适合企业级用户使用。        总的来说,标准版具有快速、高效、简单、易上手的特点。而企业版在此基础上拥有更强大的安全性和稳定性,有很强的抗风险能力。正如郭寿敏所说,华为云数据管理服务DAS的升级和推出,开启了云上便捷数据库管理新篇章。        此外,华为在会上还介绍了GaussDB数据库的认证体系。华为认证架构师陈睿提到,发展鲲鹏计算产业,当前存在着缺少赋能和职业成长体系,开发人才稀缺的困境。GaussDB推出的面向数据库工程师的HCIA-GaussDB认证,以及面向关系型数据库的OLTP方向和OLAP方向认证,旨在帮助孵化生态开发者。        华为云GaussDB数据库的全新升级是数据库行业自身快速发展的又一个里程碑。在整个科技领域快速向前的加速周期中,华为云GaussDB再次指引了数据库行业的发展方向。在新基建大潮中,华为云乘风破浪,以全新的GaussDB数据库赋能千行百业智能升级。图/文转载自华为云公众号
  • [其他] 【异常sql】找到占用CPU过高的sql语句
    问题描述gaussdb进程持续占CPU过高,需找到占用CPU过高的sql语句问题处理找一个gaussdb进程,确认进程号和对应dn的端口号(进程号32089)执行ps H -eo pid,tid,pcpu | sort -n -k 3 | grep 32089,可以查到进程内各个线程占用CPU的情况最后几条结果如下:32089    48369    81.932089    41335    82.332089    10596    85.6连续执行多次,发现占用CPU高的线程没有变过连接到此dn(注意端口号搞对)select query_id from pg_thread_wait_status where lwtid = 10596;查到query_id 为95174458select * from pg_stat_activity where query_id = 95174458;即可查到对应语句和客户业务侧确认,该语句是临时新增业务,不是跑批业务,杀掉该语句进行规避,业务侧进行语句优化或者业务流程调整
  • [技术干货] 数据库学习路线
    第1部分:入门    1)了解数据库的基本概念  ->通俗的将就是明白数据库的用途,在开发中充当什么角色    2)如何安装数据库?          -> 工欲善其事必先利其器 安装数据库   根据不同的项目环境使用不同的数据库来管理数据会起到事半工倍的效果(在我主页查看数据库的安装)    3)表的创建、删除和更新       4)数据的插入、删除和更新数据第2部分:简单查询    1)基本的查询语句  库的操作  再到表的操作    2) 如何指定查询条件?    3)注释和 SQL 语句注意事项    4)学会运算符指定复杂的查询条件    5)字符串模糊查询    从零学会SQL:简单查询  (当然大佬就当消遣)第3部分:汇总分析    1)如何进行汇总分析?    2)如何对数据分组?    3)如何对分组结果指定条件?    4)用 SQL 解决业务问题的套路是什么?    5)如何对查询结果排序?    6)如何看懂 SQL 报错信息?第4部分:复杂查询    1)视图(什么是视图,如何使用,有什么用,注意事项)    2)子查询、标量子查询、关联子查询    3)各种常用函数第5部分:多表查询在有多张表的情况下,表和表之间的运算和联系就变得很重要,这部分学习多个表如何查询:    1)表的加法    2)联结,包括交叉联结、内联结、左联结、右联结、全联结    3)一张图记住各种联结    4)联结应用案例    5)case表达式第6部分:求职面试题  这里在另一篇帖子(点我主页查看)第7部分:检验SQL的学习效果在SQL练习平台sqlzoo中将习题做一遍,不仅是检验前面的学习效果,更是通过实践加强熟悉前面的知识。这里不能偷懒,一定要将每一道提做一遍,只有理解和代码量上的去,才能
  • [其他] 【故障】【ccn】作业执行时,如果出现执行不动的情况,查看wait_status,发现大量在wait ccn
    GaussDB是一个内存自适应的数据库,会自动根据全局内存的负载情况,来对每个语句进行仲裁,当当前资源合理的情况下,才会让语句下发并执行,如果在资源不足的情况下,就不让他继续执行,等到资源充足才进行执行,避免会出现比如内存占用过大,导致进程OOM之后异常退出之类的情况。有时候会出现一种情况,就是大量作业都提交了没有结果,表现出的现象就是业务完全不执行,所有作业都卡住,此时可以这样检查一下:1)show enable_dynamic_workload;    如果结果为on,就继续按照下面步骤处理,如果为off,需要参照其他处理办法。2) 查看当前作业的状态,判断是在排队,还是阻塞:select coorname,pid,sysdate - query_start as dur,enqueue from pgxc_stat_activity where state = 'active' order by 3,4;结果示例:可以看到很多的作业都在排队,状态是 waiting in queue,或者还有版本不同时,enqueue字段会显示为 wait in  ccn queue此时就可以判断,是否是有语句占用了资源,并且不释放,导致发生了阻塞,比如上图中,红框中的几个语句,都已经在执行状态,没有排队,并且已经执行了10h+没有结束,根据pid我们可以看到语句的详细情况,是否复杂,是否已经卡住,这些语句就是导致所有作业都执行不动的罪魁祸首。处理方法:1)将对应已经hang住的语句清理掉,可以使用如下方式,连接到数据库对应语句下发的节点,上图为cn_5001,执行pg_terminate_backend(pid)2)再次观察作业排队状态:还是上面的语句,查看是否还是在waiting in queue的状态。3)如果排队已经迅速减少,就说明资源已经释放,其余作业已经可以正常运行。PS:如果想保留定位信息,可以在清理语句之前,连接到ccn节点,查询视图:select * from pg_stat_get_workload_struct_info();将其打印到一个文件中,这里可以看到具体的内存使用情况,包括总体内存 freesize_limit,以及当前在运行的语句Central Running Number中对应的memsize[xxxxx],可以判断所有Running状态的memsize加起来是否已经接近freesize_limit。
  • [其他] 【总结】【性能】DWS中sql性能差的问题定位方法
    A. 背景:客户在使用DWS时,经常会出现执行一个sql很久不返回结果,导致业务性能低下,从而报障。现象:一个业务sql执行很久不出结果定位方法:DWS在经常变化的表需要定期做统计优化查询,具体场景如下:1 经常变化的表,如果经常insert语句到表中,需要做analyze 表,具体语句为Analyze tablename;2 经常变化的表,如果经常删除delete数据,需要做valcumm full 表,具体语句为Valcumm full tablename 注:执行valcumm full 语句时注意不能有其他任务在跑。 注:定位技巧:查询表大小select * from pg_size_pretty(pg_table_size('tablename'));详情请点击博文链接:https://bbs.huaweicloud.com/blogs/171920
  • [技术干货] SQL Server内存管理小知识
    今天和大家聊一聊SQL server的内存管理,说之前我们需要先提出一个问题,SQL Server到底是如何使用内存的?弄清楚如何使用之后,才能谈如何管理。简单说,SQL Server 数据库的内存使用原则是有多少内存就会占用多少内存,不会自动释放内存。原因是它的存储引擎本身是一个Windows下的进程,所以在使用内存时和其它Windows进程是一样的,都要向Windows申请内存,申请到内存之后,SQL Server的内存使用可以粗略地分为两个部分:一是缓冲池内存,被数据页和空闲页占用;二是非缓冲内存,被线程、DLL、链接服务器等占用。其中缓冲池内存占大头。这样会有什么问题呢?打个比方,如在执行一条结果集很大的 sql 时,数据查询取出后,会一直占用内存,直到机器内存被占满(并不会撑爆,因为可以通过图去限制最大内存,一般占满后仍然比服务器机器内存稍小),在重启数据库服务前,SQL Server不会主动释放该内存,也没有任何办法可人为释放,一直占用到 max server memory 的设定值,因此查看 SQL Server的内存基本使用率相对较高(80%以上)。 那怎么解决呢?最直接的办法是:人为修改最大可占用物理内存进行限制。方法一:缓冲池所占内存是通过下图1最大服务器内存和最小服务器内存来设置的,因此sqlservr.exe所占的内存(如图2)有可能会大于图1中所设置的最大内存。管理员用户登录数据库客户端(Microsoft SQL Server Management Studio),在实例名(树形菜单根节点,显示登录名那栏)上右键,选择属性-->内存,设置“最大服务器内存”即可根据实际情况调整内存(单位为MB),如调整到当前总的服务器内存的 70%左右使用率。图1 SQL Server可控制内存选项图2 SQL Server 进程内存使用情况方法二:如果使用的是华为云RDS SQL Server ,那解决方法就更加简单了,只需要到控制台实例管理中修改最大内存(max server memory)参数值即可,且修改完该参数不需要重启数据库,不得不说云数据库使用起来更加便捷清晰,更多华为云RDS SQL Server的使用可参考官方文档:https://support.huaweicloud.com/rds/index.html 
  • [问题求助] sql
    如何避免sql注入?
  • [其他] 【总结】【优化】利用存储过程(函数)屏蔽查询时的报错处理,来简化业务的设计
    原始的问题:通过pg_table_size这个查询接口,对于不存在的表会返回NULL或者报错(不同版本行为)在执行pg_table_size查询表大小时,可能出现报错:could not open relation with OID xxxx解决方法:通过Function的exception方式屏蔽该报错,将大小统一到一个值,对于不存在的表,可以用大小为-1来表示,函数如下CREATE OR REPLACE FUNCTION public.pg_t_size(tab_oid OID,OUT retrun_code text) RETURNS text LANGUAGE plpgsql AS $$ DECLARE   v_sql text;  ts text;   BEGIN   V_SQL:='select pg_size_pretty(pg_table_size('||tab_oid||'))';   EXECUTE IMMEDIATE V_SQL into ts;   IF ts IS NULL    THEN RETRUN_CODE:=-1;   ELSE     return ts;   END IF;  EXCEPTION   WHEN OTHERS THEN   RETRUN_CODE:=-1;  END$$;结果:
  • [技术干货] 华为云RDS for MySQL入门
                华为云RDS for MySQL入门1.用户注册登录www.huaweicloud.com或点我跳转2.实例创建   3.操作步骤登录管理控制台。 ----》 云数据库单击管理控制台左上角的定位图标,选择区域和项目。选择“数据库 > 云数据库 RDS”。进入云数据库 RDS信息页面。在“实例管理”页面,单击“购买数据库实例”。在“服务选型”页面,选择计费模式,填写并选择实例相关信息后,单击“立即购买”。4.实例管理5.备份恢复  支持物理备份和逻辑备份两种方式,每天定时执行一次全量物理备份,同时每5分钟进行一次逻辑增量备份,备份存留时间可自定义。可以通过这些备份恢复到数据库的任意时间点。并能够根据备份文件快速创建备实例或只读实例。6.性能监控15个资源监控项,34个数据库监控项,自定义告警规则,能够监控整个实例集群的一举一动。7.DASDAS-标准版:SQL可视化8.数据迁移1.在线迁移支持通过多种网络链路,实现跨云平台数据库迁移、云下数据库迁移上云或云上跨Region的数据库迁移等多种业务场景特点:通过增量迁移技术,能够最大限度允许迁移过程中业务继续对外提供使用,有效的将业务系统中断时间和业务影响最小化,实现数据库平滑迁移.上云。2.数据同步数据同步在决然不同的系统之间实现关键业务数据的实时流动,不同于迁移,迁移数据库以整体搬迁为目的,同步是维持不同业务系统之间数据的持续流动,常见的场景是:实时分析、报表系统、数仓环境。特点:聚焦在表和数据,并满足多种同步灵活性的需要,如多对一,一对多,不同表名之间同步数据等3.多活灾备通过异地近实时的数据同步可以实现跨区,跨云,本地和云、混合云之间数据库形成灾备关系,提供一键主备切换、 数据比对、时延监控、数据补齐等容灾特性支持容灾演练、真实容灾等场景,支持主从灾备、主主灾备多种灾备架构。特点:异地远距离传输优化,围绕灾备提供特性,不同于业界基于简单的数据同步形成方案4.数据订阅获取数据库中的关键业务的数据变化信息常常是下游业务所需要的,数据订阅将这类信息缓存并提供统一的SDK接口,方便下游业务订阅、获取、并消费,从而实现数据库和下游系统解耦,业务流程解耦。常见的场景: kafka 订阅MySQL增量数据The end:更多相关资料欢迎查询华为云官方帮助文档:帮助文档
  • [技术干货] SQL工程师被疯抢,华为云做了什么?
    数据库好比人的大脑的记忆系统,没有了数据库就没有了记忆系统。计算机也就不会如此迅速的发展。数据库的应用已经深入到生活和工作的方方面面。So,华为云特别推出了【MySQL实战营】构建数据管理能力前500位可免费入营~一起pick下众所周知,MySQL是一种开放源代码的关系型数据库管理系统(RDBMS),因为其速度、可靠性和适应性而备受关注。课程适合人群本次课程适合想要了解数据库管理的开发者2报名时间、费用报名截止时间:7月14日截止报名费用:前500位报名可获得华为代金券,可抵消全部学费~ 还在等什么?快快扫描二维码报名课程▼▼▼下方报名:华为云MySQL为何强大完全托管即开即用,完全托管软硬件部署、补丁升级、自动备份、监控告警、弹性扩容、故障转移等功能。不需要额外的安装和维护工作。 超高性能在业务高并发场景下,内核线程优化特性确保业务性能稳定,解决社区版因高并发资源消耗过大导致性能下降问题。 数据可靠在业务高负载情况下,社区版主备延时较大;业界领先的内核隐式增加主键功能,并行高速复制下主备延时≈0,保证数据不丢失。 高速扩展业务流量突发情况下,几分钟可完成存储1TB的只读实例扩展,轻松应对流量高峰。 备份恢复用户自定义备份策略,备份和恢复时间最长可达732天。 超大存储实例创建最大支持6TB,在线扩容最大存储可达10TB。
总条数:868 到第 页
上滑加载中