- 技术背景业务长期运行,但随着时间推移,越来越多的数据被访问频率降低,从而变成为所谓的"冷数据"。若直接将这些冷数据删除,会面临数据丢失的风险以及高昂的恢复成本;若保持冷数据现有的存储方式不变,存储空间占用越来越多,存储成本将持续增加。同时,在无法有效利用查询索引加速的情况下,数据表的记录膨胀会进一步降低查询效率。如若用户自己识别、分离并转存冷数据至低成本存储中,需要考虑诸多因素:a. 如何构... 技术背景业务长期运行,但随着时间推移,越来越多的数据被访问频率降低,从而变成为所谓的"冷数据"。若直接将这些冷数据删除,会面临数据丢失的风险以及高昂的恢复成本;若保持冷数据现有的存储方式不变,存储空间占用越来越多,存储成本将持续增加。同时,在无法有效利用查询索引加速的情况下,数据表的记录膨胀会进一步降低查询效率。如若用户自己识别、分离并转存冷数据至低成本存储中,需要考虑诸多因素:a. 如何构...
- 背景介绍在使用MySQL过程中,如果字符集配置不当,可能会出现插入失败、数据乱码、 索引失效、数据丢失、查询不到期望结果等一系列使用异常的情况。因此,熟练掌握MySQL字符集和比较规则的配置方法,并在此基础上了解MySQL字符集与比较规则的核心逻辑,才能从源码和实现层面上理解,为何字符集配置不当会导致上述问题。本文主要分为三个部分:• 详细介绍字符集配置方法• 字符集的实现与字符集转换核心逻... 背景介绍在使用MySQL过程中,如果字符集配置不当,可能会出现插入失败、数据乱码、 索引失效、数据丢失、查询不到期望结果等一系列使用异常的情况。因此,熟练掌握MySQL字符集和比较规则的配置方法,并在此基础上了解MySQL字符集与比较规则的核心逻辑,才能从源码和实现层面上理解,为何字符集配置不当会导致上述问题。本文主要分为三个部分:• 详细介绍字符集配置方法• 字符集的实现与字符集转换核心逻...
- 复制延迟是传统MySQL架构难以消除的缺陷在企业级的生产环境中,MySQL通常使用集群架构,常见的有一主一从和一主多从,且在很多情况下都会面临主从复制延迟的问题。MySQL的复制延迟是指主从服务器之间的数据同步有时间差,导致主从数据不一致,甚至在故障倒换时发生丢失数据等重大故障。在日常使用MySQL过程中就可能存在一定的复制延迟。这是因为在传统主备架构中,主库在变更自身数据文件的同时将变更操... 复制延迟是传统MySQL架构难以消除的缺陷在企业级的生产环境中,MySQL通常使用集群架构,常见的有一主一从和一主多从,且在很多情况下都会面临主从复制延迟的问题。MySQL的复制延迟是指主从服务器之间的数据同步有时间差,导致主从数据不一致,甚至在故障倒换时发生丢失数据等重大故障。在日常使用MySQL过程中就可能存在一定的复制延迟。这是因为在传统主备架构中,主库在变更自身数据文件的同时将变更操...
- KubeEdge 1.18.0 版本发布,可靠性和安全性带来提升;如何使用昇思MindSpore框架构建基于MNIST数据集的手写数字识别模型;自然语言处理国际顶会ACL 2024公布投稿录用结果,华为云技术创新部—AI系统创新Lab的论文《Uni-Dubbing: Zero-Shot Speech Synthesis from Visual Articulation》被接受录用... KubeEdge 1.18.0 版本发布,可靠性和安全性带来提升;如何使用昇思MindSpore框架构建基于MNIST数据集的手写数字识别模型;自然语言处理国际顶会ACL 2024公布投稿录用结果,华为云技术创新部—AI系统创新Lab的论文《Uni-Dubbing: Zero-Shot Speech Synthesis from Visual Articulation》被接受录用...
- 本文从多语句/单语句事务提交原理角度出发,介绍了MySQL的两阶段提交协议。 本文从多语句/单语句事务提交原理角度出发,介绍了MySQL的两阶段提交协议。
- 背景在当今信息爆炸的时代,企业在数据存储和管理上面临巨大挑战。MySQL虽然在处理事务和保证数据一致性方面表现出色,但在应对海量数据和高并发访问时却显得捉襟见肘。相对而言,GeminiDB凭借其大规模存储特性、快速检索能力、出色的水平扩展能力成为解决这一难题的理想选择。本文将以订单系统为例,介绍如何通过MySQL与GeminiDB的结合来优化数据管理。传统订单系统的挑战和解决方案订单系统是企... 背景在当今信息爆炸的时代,企业在数据存储和管理上面临巨大挑战。MySQL虽然在处理事务和保证数据一致性方面表现出色,但在应对海量数据和高并发访问时却显得捉襟见肘。相对而言,GeminiDB凭借其大规模存储特性、快速检索能力、出色的水平扩展能力成为解决这一难题的理想选择。本文将以订单系统为例,介绍如何通过MySQL与GeminiDB的结合来优化数据管理。传统订单系统的挑战和解决方案订单系统是企...
- 1.背景介绍在生产环境,MySQL数据库实例运行过程中,一些SQL语句会发生执行计划的变化,导致增加了数据库稳定性的风险,这里边有几个因素和场景,比如:表结构发生变化、某些索引的增加或删减、实例升级迁移等过程中MySQL自身优化器的行为和算法变化,以及表数据的变化等。针对上述查询语句执行计划不稳定的风险,MySQL提供了查询优化提示机制(Hints)解决了该问题。MySQL Hints,是一... 1.背景介绍在生产环境,MySQL数据库实例运行过程中,一些SQL语句会发生执行计划的变化,导致增加了数据库稳定性的风险,这里边有几个因素和场景,比如:表结构发生变化、某些索引的增加或删减、实例升级迁移等过程中MySQL自身优化器的行为和算法变化,以及表数据的变化等。针对上述查询语句执行计划不稳定的风险,MySQL提供了查询优化提示机制(Hints)解决了该问题。MySQL Hints,是一...
- 1.背景介绍统计表的行数(COUNT)是客户应用和DBA运维常用的操作。MySQL虽是业界广泛使用的OLTP数据库,但大表执行COUNT操作非常耗时,原因在于:(1) COUNT操作需要遍历表的全量数据来获取精确的行数,当表数据量较大或部分数据不在Buffer Pool时,查询操作很耗时。(2) MySQL 8.0.14之前的版本无并行查询技术,只能串行执行SQL语句,无法利用多核技术进行加... 1.背景介绍统计表的行数(COUNT)是客户应用和DBA运维常用的操作。MySQL虽是业界广泛使用的OLTP数据库,但大表执行COUNT操作非常耗时,原因在于:(1) COUNT操作需要遍历表的全量数据来获取精确的行数,当表数据量较大或部分数据不在Buffer Pool时,查询操作很耗时。(2) MySQL 8.0.14之前的版本无并行查询技术,只能串行执行SQL语句,无法利用多核技术进行加...
- 背景介绍分区表及二级分区表的功能,可以让数据库更加有效地管理和查询大规模数据,传统商业数据库具备该能力。MySQL支持分区表,与传统商业数据库相比,MySQL对二级分区表功能的支持尚显不足,存在一定的功能差距。为了弥补这一差距,GaussDB(for MySQL)发布了对二级分区表功能的支持。这一举措旨在让MySQL用户能够享受到与传统商业数据库类似的分区管理和查询优势,提高数据库的灵活性和... 背景介绍分区表及二级分区表的功能,可以让数据库更加有效地管理和查询大规模数据,传统商业数据库具备该能力。MySQL支持分区表,与传统商业数据库相比,MySQL对二级分区表功能的支持尚显不足,存在一定的功能差距。为了弥补这一差距,GaussDB(for MySQL)发布了对二级分区表功能的支持。这一举措旨在让MySQL用户能够享受到与传统商业数据库类似的分区管理和查询优势,提高数据库的灵活性和...
- 在生产环境中,MySQL语句的where查询通常会包含多个条件判断,以AND或OR操作进行连接。然而,对一个表进行查询最多只能利用该表上的一个索引,其他条件需要在回表查询时进行判断(不考虑覆盖索引的情况)。当回表的记录数很多时,需要进行大量的随机IO,这可能导致查询性能下降。因此,MySQL 5.x 版本推出索引合并(Index Merge)来解决该问题。本文将基于MySQL 8.0.22版... 在生产环境中,MySQL语句的where查询通常会包含多个条件判断,以AND或OR操作进行连接。然而,对一个表进行查询最多只能利用该表上的一个索引,其他条件需要在回表查询时进行判断(不考虑覆盖索引的情况)。当回表的记录数很多时,需要进行大量的随机IO,这可能导致查询性能下降。因此,MySQL 5.x 版本推出索引合并(Index Merge)来解决该问题。本文将基于MySQL 8.0.22版...
- 华为云开发者创新中心专题论坛、圆桌研讨会精彩回顾;解读昇腾CANN多流并行技术,如何提高硬件资源利用率;华为高性能数据库资源池方案HDBS已经在金融、政府等多个行业应用,支持核心业务系统升级改造,助力行业数字化转型走的更快更稳... 华为云开发者创新中心专题论坛、圆桌研讨会精彩回顾;解读昇腾CANN多流并行技术,如何提高硬件资源利用率;华为高性能数据库资源池方案HDBS已经在金融、政府等多个行业应用,支持核心业务系统升级改造,助力行业数字化转型走的更快更稳...
- MySQL 8.0新设计实现的数据字典,解决了之前版本的数据字典冗余,DDL原子性、crash safe等问题。 MySQL 8.0新设计实现的数据字典,解决了之前版本的数据字典冗余,DDL原子性、crash safe等问题。
- 当前GaussDB(for MySQL)的Purge优化功能,通过任务流水线化、线程优先级调整、二次分发等手段,避免数据库undo log堆积,极大提升Purge的性能,大幅改善用户体验。 当前GaussDB(for MySQL)的Purge优化功能,通过任务流水线化、线程优先级调整、二次分发等手段,避免数据库undo log堆积,极大提升Purge的性能,大幅改善用户体验。
- 借助jeprof工具(jeprof是jemalloc配套的内存分析工具)来定位,MySQL内存问题的分析过程。 借助jeprof工具(jeprof是jemalloc配套的内存分析工具)来定位,MySQL内存问题的分析过程。
- 背景数据库查询优化器负责将SQL查询转换为尽可能高效的执行计划,但因为数据环境不断变化导致优化器对查询数据了解的不够充足,可能无法生成最优的执行计划进而影响查询效率,因此MySQL8.0推出了直方图(histogram)功能来解决该问题。直方图用于统计字段值的分布情况,向优化器提供统计信息。利用直方图,可以对一张表的一列数据做分布统计,估算where条件中过滤字段的选择率,从而帮助优化器更准... 背景数据库查询优化器负责将SQL查询转换为尽可能高效的执行计划,但因为数据环境不断变化导致优化器对查询数据了解的不够充足,可能无法生成最优的执行计划进而影响查询效率,因此MySQL8.0推出了直方图(histogram)功能来解决该问题。直方图用于统计字段值的分布情况,向优化器提供统计信息。利用直方图,可以对一张表的一列数据做分布统计,估算where条件中过滤字段的选择率,从而帮助优化器更准...
上滑加载中
推荐直播
-
大模型Prompt工程深度实践
2025/02/24 周一 16:00-17:30
盖伦 华为云学堂技术讲师
如何让大模型精准理解开发需求并生成可靠输出?本期直播聚焦大模型Prompt工程核心技术:理解大模型推理基础原理,关键采样参数定义,提示词撰写关键策略及Prompt工程技巧分享。
回顾中 -
华为云 x DeepSeek:AI驱动云上应用创新
2025/02/26 周三 16:00-18:00
华为云 AI专家大咖团
在 AI 技术飞速发展之际,DeepSeek 备受关注。它凭借哪些技术与理念脱颖而出?华为云与 DeepSeek 合作,将如何重塑产品与应用模式,助力企业数字化转型?在华为开发者空间,怎样高效部署 DeepSeek,搭建专属服务器?基于华为云平台,又该如何挖掘 DeepSeek 潜力,实现智能化升级?本期直播围绕DeepSeek在云上的应用案例,与DTSE布道师们一起探讨如何利用AI 驱动云上应用创新。
去报名
热门标签