- 1.背景介绍统计表的行数(COUNT)是客户应用和DBA运维常用的操作。MySQL虽是业界广泛使用的OLTP数据库,但大表执行COUNT操作非常耗时,原因在于:(1) COUNT操作需要遍历表的全量数据来获取精确的行数,当表数据量较大或部分数据不在Buffer Pool时,查询操作很耗时。(2) MySQL 8.0.14之前的版本无并行查询技术,只能串行执行SQL语句,无法利用多核技术进行加... 1.背景介绍统计表的行数(COUNT)是客户应用和DBA运维常用的操作。MySQL虽是业界广泛使用的OLTP数据库,但大表执行COUNT操作非常耗时,原因在于:(1) COUNT操作需要遍历表的全量数据来获取精确的行数,当表数据量较大或部分数据不在Buffer Pool时,查询操作很耗时。(2) MySQL 8.0.14之前的版本无并行查询技术,只能串行执行SQL语句,无法利用多核技术进行加...
- 背景介绍分区表及二级分区表的功能,可以让数据库更加有效地管理和查询大规模数据,传统商业数据库具备该能力。MySQL支持分区表,与传统商业数据库相比,MySQL对二级分区表功能的支持尚显不足,存在一定的功能差距。为了弥补这一差距,GaussDB(for MySQL)发布了对二级分区表功能的支持。这一举措旨在让MySQL用户能够享受到与传统商业数据库类似的分区管理和查询优势,提高数据库的灵活性和... 背景介绍分区表及二级分区表的功能,可以让数据库更加有效地管理和查询大规模数据,传统商业数据库具备该能力。MySQL支持分区表,与传统商业数据库相比,MySQL对二级分区表功能的支持尚显不足,存在一定的功能差距。为了弥补这一差距,GaussDB(for MySQL)发布了对二级分区表功能的支持。这一举措旨在让MySQL用户能够享受到与传统商业数据库类似的分区管理和查询优势,提高数据库的灵活性和...
- 6月,“华为云MySQL技术专栏”陆续发布3篇技术文章,涵盖性能优化、数据字典、查询优化。技术文章内容丰富、专业性强,有着实用技巧和宝贵经验,值得每一位数据库技术爱好者细细品读点击下方“标题卡片”或“扫码二维码”即可阅读全文一起探索技术前沿吧! 6月,“华为云MySQL技术专栏”陆续发布3篇技术文章,涵盖性能优化、数据字典、查询优化。技术文章内容丰富、专业性强,有着实用技巧和宝贵经验,值得每一位数据库技术爱好者细细品读点击下方“标题卡片”或“扫码二维码”即可阅读全文一起探索技术前沿吧!
- 在生产环境中,MySQL语句的where查询通常会包含多个条件判断,以AND或OR操作进行连接。然而,对一个表进行查询最多只能利用该表上的一个索引,其他条件需要在回表查询时进行判断(不考虑覆盖索引的情况)。当回表的记录数很多时,需要进行大量的随机IO,这可能导致查询性能下降。因此,MySQL 5.x 版本推出索引合并(Index Merge)来解决该问题。本文将基于MySQL 8.0.22版... 在生产环境中,MySQL语句的where查询通常会包含多个条件判断,以AND或OR操作进行连接。然而,对一个表进行查询最多只能利用该表上的一个索引,其他条件需要在回表查询时进行判断(不考虑覆盖索引的情况)。当回表的记录数很多时,需要进行大量的随机IO,这可能导致查询性能下降。因此,MySQL 5.x 版本推出索引合并(Index Merge)来解决该问题。本文将基于MySQL 8.0.22版...
- 引言MySQL是一种流行的开源关系型数据库管理系统,广泛应用于各种Web应用程序和企业系统中。随着数据量的增加和查询复杂度的提高,优化SQL查询性能变得至关重要。派生表(Derived Table)是SQL查询中常用的一种技术,通过在主查询中嵌套子查询来实现更复杂的数据处理。然而,派生表的使用有时会导致系统的性能瓶颈。为了解决这一问题,MySQL引入了派生表合并优化(Derived Tabl... 引言MySQL是一种流行的开源关系型数据库管理系统,广泛应用于各种Web应用程序和企业系统中。随着数据量的增加和查询复杂度的提高,优化SQL查询性能变得至关重要。派生表(Derived Table)是SQL查询中常用的一种技术,通过在主查询中嵌套子查询来实现更复杂的数据处理。然而,派生表的使用有时会导致系统的性能瓶颈。为了解决这一问题,MySQL引入了派生表合并优化(Derived Tabl...
- 华为云开发者创新中心专题论坛、圆桌研讨会精彩回顾;解读昇腾CANN多流并行技术,如何提高硬件资源利用率;华为高性能数据库资源池方案HDBS已经在金融、政府等多个行业应用,支持核心业务系统升级改造,助力行业数字化转型走的更快更稳... 华为云开发者创新中心专题论坛、圆桌研讨会精彩回顾;解读昇腾CANN多流并行技术,如何提高硬件资源利用率;华为高性能数据库资源池方案HDBS已经在金融、政府等多个行业应用,支持核心业务系统升级改造,助力行业数字化转型走的更快更稳...
- MySQL高可用的基石在分布式系统中,单机节点在发生故障时无法提供服务,这可能导致长期的服务不可用,从而影响其他节点的运作,导致的后果非常严重为了满足服务的高可用,往往是通过节点冗余(新增相同功能的从节点),当发生故障时进行主从切换,让从节点成为新的主节点来继续提供服务比如:MySQL的主从、Redis的主从、MQ broker的主从…思想大体类似的作为高可用的基石——主从架构功不可没,本... MySQL高可用的基石在分布式系统中,单机节点在发生故障时无法提供服务,这可能导致长期的服务不可用,从而影响其他节点的运作,导致的后果非常严重为了满足服务的高可用,往往是通过节点冗余(新增相同功能的从节点),当发生故障时进行主从切换,让从节点成为新的主节点来继续提供服务比如:MySQL的主从、Redis的主从、MQ broker的主从…思想大体类似的作为高可用的基石——主从架构功不可没,本...
- MySQL 8.0新设计实现的数据字典,解决了之前版本的数据字典冗余,DDL原子性、crash safe等问题。 MySQL 8.0新设计实现的数据字典,解决了之前版本的数据字典冗余,DDL原子性、crash safe等问题。
- 当前GaussDB(for MySQL)的Purge优化功能,通过任务流水线化、线程优先级调整、二次分发等手段,避免数据库undo log堆积,极大提升Purge的性能,大幅改善用户体验。 当前GaussDB(for MySQL)的Purge优化功能,通过任务流水线化、线程优先级调整、二次分发等手段,避免数据库undo log堆积,极大提升Purge的性能,大幅改善用户体验。
- 借助jeprof工具(jeprof是jemalloc配套的内存分析工具)来定位,MySQL内存问题的分析过程。 借助jeprof工具(jeprof是jemalloc配套的内存分析工具)来定位,MySQL内存问题的分析过程。
- 背景数据库查询优化器负责将SQL查询转换为尽可能高效的执行计划,但因为数据环境不断变化导致优化器对查询数据了解的不够充足,可能无法生成最优的执行计划进而影响查询效率,因此MySQL8.0推出了直方图(histogram)功能来解决该问题。直方图用于统计字段值的分布情况,向优化器提供统计信息。利用直方图,可以对一张表的一列数据做分布统计,估算where条件中过滤字段的选择率,从而帮助优化器更准... 背景数据库查询优化器负责将SQL查询转换为尽可能高效的执行计划,但因为数据环境不断变化导致优化器对查询数据了解的不够充足,可能无法生成最优的执行计划进而影响查询效率,因此MySQL8.0推出了直方图(histogram)功能来解决该问题。直方图用于统计字段值的分布情况,向优化器提供统计信息。利用直方图,可以对一张表的一列数据做分布统计,估算where条件中过滤字段的选择率,从而帮助优化器更准...
- 有效解决某些大的IN谓词的SQL语句执行比较耗时的问题。 有效解决某些大的IN谓词的SQL语句执行比较耗时的问题。
- 随着科技的快速发展,我们正在迅速步入一个全新的数字化时代。数字化时代,数据是最宝贵的资源。数据库作为存储数据的仓库,重要性更是不言而喻。一、业务背景及痛点为了确保数据库的可用性和可靠性,开发者在服务器资源配置时往往慎之又慎,以保障业务高峰时数据库能正常运行。在传统云主机架构下,用户购买的服务器,只要运行就会持续消耗资源,持续产生费用。通常每台服务器资源是固定且有限的,而服务器负载情况是动态的... 随着科技的快速发展,我们正在迅速步入一个全新的数字化时代。数字化时代,数据是最宝贵的资源。数据库作为存储数据的仓库,重要性更是不言而喻。一、业务背景及痛点为了确保数据库的可用性和可靠性,开发者在服务器资源配置时往往慎之又慎,以保障业务高峰时数据库能正常运行。在传统云主机架构下,用户购买的服务器,只要运行就会持续消耗资源,持续产生费用。通常每台服务器资源是固定且有限的,而服务器负载情况是动态的...
- 技术背景对于现代企业级IT系统,数据库往往是作为底座一般的存在,数据库的稳定性、可靠性如果难以保障,整个系统的平稳运行将无从谈起。出于如上考量,在部署数据库资源时,客户基本都会较保守地进行配置,包括但不限于计算、内存、存储等多种资源及参数设置,通过一定程度的资源冗余来保障业务高峰时数据库的正常运行。然而,在业务波谷期,冗余配置的数据库资源会大量闲置,成本空转,而在面对预期外的激增业务压力时,... 技术背景对于现代企业级IT系统,数据库往往是作为底座一般的存在,数据库的稳定性、可靠性如果难以保障,整个系统的平稳运行将无从谈起。出于如上考量,在部署数据库资源时,客户基本都会较保守地进行配置,包括但不限于计算、内存、存储等多种资源及参数设置,通过一定程度的资源冗余来保障业务高峰时数据库的正常运行。然而,在业务波谷期,冗余配置的数据库资源会大量闲置,成本空转,而在面对预期外的激增业务压力时,...
- 近日,华为云数据库社区下面有这样一条用户提问留言:请问,如何通过MySQL提升DISTINCT,尤其是多表连接下DISTINCT的查询效率?在回答这个问题之前,我们先了解一下DISTINCT。在SQL语句中,DISTINCT关键词用于返回唯一不同的值,使用场景多,应用频繁。它可以用于做单列数据去重,例如,对公司雇员按照”first_name”去重后,得到1275条记录。也可以做多列去重,即只... 近日,华为云数据库社区下面有这样一条用户提问留言:请问,如何通过MySQL提升DISTINCT,尤其是多表连接下DISTINCT的查询效率?在回答这个问题之前,我们先了解一下DISTINCT。在SQL语句中,DISTINCT关键词用于返回唯一不同的值,使用场景多,应用频繁。它可以用于做单列数据去重,例如,对公司雇员按照”first_name”去重后,得到1275条记录。也可以做多列去重,即只...
上滑加载中
推荐直播
-
极米科技的应用现代化变革之路
2024/07/25 周四 14:00-16:00
极米科技CIO
作为全球智能投影行业TOP1且唯一成功上市的企业,面临严峻的市场竞争和变化,法律合规要求等挑战,极米科技如何抓住软件增值服务和粘性带来的新机遇,全面实现应用现代化。
回顾中
热门标签