- 分库分表是MySQL应对高并发、大数据量场景的核心解决方案,但盲目拆分可能导致运维复杂度指数级上升。以下从业务驱动、技术瓶颈、成本效益三个维度,系统解析何时应实施分库分表。 一、必须分库分表的六大临界点 1. 单表数据量超限(存储瓶颈)临界值:InnoDB单表数据量超过2000万行或文件大小超过50GB(SSD环境可放宽至100GB)风险表现:索引树高度增加,单次查询耗时从毫秒级升至秒级索引... 分库分表是MySQL应对高并发、大数据量场景的核心解决方案,但盲目拆分可能导致运维复杂度指数级上升。以下从业务驱动、技术瓶颈、成本效益三个维度,系统解析何时应实施分库分表。 一、必须分库分表的六大临界点 1. 单表数据量超限(存储瓶颈)临界值:InnoDB单表数据量超过2000万行或文件大小超过50GB(SSD环境可放宽至100GB)风险表现:索引树高度增加,单次查询耗时从毫秒级升至秒级索引...
- 一、背景及概述Binlog(二进制日志)记录了数据的更改操作,具有极为重要的作用,可用于数据恢复、数据复制和审计。然而,当用户在使用MySQL时,如果写入业务量过大,可能会导致磁盘空间和网络带宽的过度使用。为了应对这一情况,MySQL 8.0.20版本推出了基于zstd压缩算法的binlog压缩功能。本文将从源码角度对binlog压缩功能进行浅析,帮助读者了解其使用方式。同时,通过测试结果展... 一、背景及概述Binlog(二进制日志)记录了数据的更改操作,具有极为重要的作用,可用于数据恢复、数据复制和审计。然而,当用户在使用MySQL时,如果写入业务量过大,可能会导致磁盘空间和网络带宽的过度使用。为了应对这一情况,MySQL 8.0.20版本推出了基于zstd压缩算法的binlog压缩功能。本文将从源码角度对binlog压缩功能进行浅析,帮助读者了解其使用方式。同时,通过测试结果展...
- 🔍MySQL索引失效的8大坑,90%开发都踩过!附最全优化实战指南 ✅ 1. 对索引字段使用函数或运算📉 原因:索引值被转换,无法命中 B+ 树。-- ❌ 索引失效WHERE DATE(created_at) = '2024-04-21'WHERE price + 10 > 100-- ✅ 改写方式WHERE created_at BETWEEN '2024-04-21' AND '2... 🔍MySQL索引失效的8大坑,90%开发都踩过!附最全优化实战指南 ✅ 1. 对索引字段使用函数或运算📉 原因:索引值被转换,无法命中 B+ 树。-- ❌ 索引失效WHERE DATE(created_at) = '2024-04-21'WHERE price + 10 > 100-- ✅ 改写方式WHERE created_at BETWEEN '2024-04-21' AND '2...
- MySQL 高性能分页查询实战指南(含 Explain 分析 + 经典写法)面试官:你怎么优化分页查询?你:覆盖索引 + 子查询定位 + 延迟关联,一套组合拳,干就完了! 一、覆盖索引(Covering Index) ✅ 什么是覆盖索引?当一个索引包含了查询所需的所有字段,不需要回表查聚簇索引的数据,称为“覆盖索引”。比如:-- 假设 email 是普通索引SELECT email FRO... MySQL 高性能分页查询实战指南(含 Explain 分析 + 经典写法)面试官:你怎么优化分页查询?你:覆盖索引 + 子查询定位 + 延迟关联,一套组合拳,干就完了! 一、覆盖索引(Covering Index) ✅ 什么是覆盖索引?当一个索引包含了查询所需的所有字段,不需要回表查聚簇索引的数据,称为“覆盖索引”。比如:-- 假设 email 是普通索引SELECT email FRO...
- 我们现场测试一个场景,drop一张MyISAM表后,单独对这表进行物理恢复首先我们看一下secure_file_priv文件目录的位置mysql> show global variables like ‘%secure_file_priv%’;±-----------------±--------------------+| Variable_name Value±--------... 我们现场测试一个场景,drop一张MyISAM表后,单独对这表进行物理恢复首先我们看一下secure_file_priv文件目录的位置mysql> show global variables like ‘%secure_file_priv%’;±-----------------±--------------------+| Variable_name Value±--------...
- Oracle linux 8 二进制安装 MySQL 8.4企业版 Oracle linux 8 二进制安装 MySQL 8.4企业版
- 一、按锁粒度分类行级锁(Row-Level Lock)共享锁(S Lock):允许事务读取一行,阻止其他事务获取相同行的排他锁。用法:SELECT ... FOR SHARE;(mysql8.0+,旧版用LOCK IN SHARE MODE)。排他锁(X Lock):允许事务更新/删除行,阻止其他事务获取任何锁。用法:SELECT ... FOR UPDATE; 或自动加在UPDATE/DE... 一、按锁粒度分类行级锁(Row-Level Lock)共享锁(S Lock):允许事务读取一行,阻止其他事务获取相同行的排他锁。用法:SELECT ... FOR SHARE;(mysql8.0+,旧版用LOCK IN SHARE MODE)。排他锁(X Lock):允许事务更新/删除行,阻止其他事务获取任何锁。用法:SELECT ... FOR UPDATE; 或自动加在UPDATE/DE...
- ClickHouse是一款专注于OLAP(联机分析处理)的列式存储数据库,以其极致的查询性能、高压缩率和实时分析能力著称。它通过列式存储、向量化查询引擎及分布式架构,满足大规模数据复杂聚合需求,适用于实时日志分析、用户行为分析等场景。然而,ClickHouse不支持事务(ACID),JOIN性能较弱,且对单行更新/删除效率低,不适合OLTP场景。其丰富的表引擎(如MergeTree系列)和数据类型 ClickHouse是一款专注于OLAP(联机分析处理)的列式存储数据库,以其极致的查询性能、高压缩率和实时分析能力著称。它通过列式存储、向量化查询引擎及分布式架构,满足大规模数据复杂聚合需求,适用于实时日志分析、用户行为分析等场景。然而,ClickHouse不支持事务(ACID),JOIN性能较弱,且对单行更新/删除效率低,不适合OLTP场景。其丰富的表引擎(如MergeTree系列)和数据类型
- 五、基准测试和性能测试5.1 TPC-H基准测试TPC-H是美国交易处理效能委员会TPC(Transaction Processing Performance Council)组织制定的用来模拟决策支持类应用的测试集。它包括一整套面向业务的ad-hoc查询和并发数据修改。TPC-H根据真实的生产运行环境来建模,模拟了一套销售系统的数据仓库。该测试共包含8张表,数据量可设定从1 GB~3TB不... 五、基准测试和性能测试5.1 TPC-H基准测试TPC-H是美国交易处理效能委员会TPC(Transaction Processing Performance Council)组织制定的用来模拟决策支持类应用的测试集。它包括一整套面向业务的ad-hoc查询和并发数据修改。TPC-H根据真实的生产运行环境来建模,模拟了一套销售系统的数据仓库。该测试共包含8张表,数据量可设定从1 GB~3TB不...
- 1背景介绍统计信息是 TaurusDB 优化器生成高效执行计划的关键依据,其核心功能包括基数估算(Cardinality Estimation)、数据分布分析、物理存储统计。具体来说:基数估算:估算索引列不同值的数量,决定索引选择。数据分布分析:通过直方图(Histogram)记录列值分布,优化范围查询。物理存储统计:记录表大小、索引页数量等,辅助 I/O 成本计算。本文将基于源码介绍 Ta... 1背景介绍统计信息是 TaurusDB 优化器生成高效执行计划的关键依据,其核心功能包括基数估算(Cardinality Estimation)、数据分布分析、物理存储统计。具体来说:基数估算:估算索引列不同值的数量,决定索引选择。数据分布分析:通过直方图(Histogram)记录列值分布,优化范围查询。物理存储统计:记录表大小、索引页数量等,辅助 I/O 成本计算。本文将基于源码介绍 Ta...
- 一、背景介绍TaurusDB 的多租户管理特性,能够让数据库为多个租户服务,从而提高数据库资源利用率。该特性不仅实现了租户间的数据隔离,确保了不同租户能够安全访问自己的数据,还支持租户级和用户级的资源隔离,避免资源浪费和性能干扰。同时,它还支持资源的动态调整,能够及时应对不同租户或用户的业务高峰和低谷。本文将结合多租内部使用的 CGroups(Control Groups,控制组)技术和My... 一、背景介绍TaurusDB 的多租户管理特性,能够让数据库为多个租户服务,从而提高数据库资源利用率。该特性不仅实现了租户间的数据隔离,确保了不同租户能够安全访问自己的数据,还支持租户级和用户级的资源隔离,避免资源浪费和性能干扰。同时,它还支持资源的动态调整,能够及时应对不同租户或用户的业务高峰和低谷。本文将结合多租内部使用的 CGroups(Control Groups,控制组)技术和My...
- MySQL的行级锁是一种用于管理并发访问的机制,它允许事务对表中的特定行进行锁定,从而实现对这些行的独占访问。行级锁的主要目的是提高数据库的并发性能,减少锁争用,同时确保数据的一致性和完整性。行级锁的类型记录锁(Record Locks):记录锁是为某行记录加锁,封锁该行的索引记录。例如,当执行SELECT * FROM table WHERE id = 1 FOR UPDATE;时,id为... MySQL的行级锁是一种用于管理并发访问的机制,它允许事务对表中的特定行进行锁定,从而实现对这些行的独占访问。行级锁的主要目的是提高数据库的并发性能,减少锁争用,同时确保数据的一致性和完整性。行级锁的类型记录锁(Record Locks):记录锁是为某行记录加锁,封锁该行的索引记录。例如,当执行SELECT * FROM table WHERE id = 1 FOR UPDATE;时,id为...
- 以下是使用 SQLAlchemy 向 MySQL 数据库插入数据的详细步骤: 1. 安装依赖pip install sqlalchemy pymysql 2. 基础配置from sqlalchemy import create_engine, Column, Integer, Stringfrom sqlalchemy.orm import declarative_base, session... 以下是使用 SQLAlchemy 向 MySQL 数据库插入数据的详细步骤: 1. 安装依赖pip install sqlalchemy pymysql 2. 基础配置from sqlalchemy import create_engine, Column, Integer, Stringfrom sqlalchemy.orm import declarative_base, session...
- MySQL全文索引(Full-text Index)是一种用于在数据库表中进行全文搜索的索引类型。以下是关于MySQL全文索引的详细介绍:基本概念全文索引的作用:全文索引用于在文本数据中进行基于相似度的查询,而不是精确数值比较。它可以快速地搜索和匹配大量文本数据中的关键词,提高搜索效率。支持的存储引擎和数据类型:在MySQL 5.6及以后的版本中,MyISAM和InnoDB存储引擎均支持全文... MySQL全文索引(Full-text Index)是一种用于在数据库表中进行全文搜索的索引类型。以下是关于MySQL全文索引的详细介绍:基本概念全文索引的作用:全文索引用于在文本数据中进行基于相似度的查询,而不是精确数值比较。它可以快速地搜索和匹配大量文本数据中的关键词,提高搜索效率。支持的存储引擎和数据类型:在MySQL 5.6及以后的版本中,MyISAM和InnoDB存储引擎均支持全文...
- ONNX模型与MySQL数据库的数据交换是机器学习系统中的关键环节。ONNX作为开放式神经网络交换格式,提供跨框架的模型兼容性;MySQL则以高效稳定的结构化数据管理能力著称。两者结合时,需解决数据格式适配、表结构设计及预处理等问题。通过序列化、反序列化和性能优化(如索引、批量操作、缓存),可实现高效的数据交互。 ONNX模型与MySQL数据库的数据交换是机器学习系统中的关键环节。ONNX作为开放式神经网络交换格式,提供跨框架的模型兼容性;MySQL则以高效稳定的结构化数据管理能力著称。两者结合时,需解决数据格式适配、表结构设计及预处理等问题。通过序列化、反序列化和性能优化(如索引、批量操作、缓存),可实现高效的数据交互。
上滑加载中
推荐直播
-
Skill 构建 × 智能创作:基于华为云码道的 AI 内容生产提效方案2026/03/25 周三 19:00-20:00
余伟,华为云软件研发工程师/万邵业(万少),华为云HCDE开发者专家
本次直播带来两大实战:华为云码道 Skill-Creator 手把手搭建专属知识库 Skill;如何用码道提效 OpenClaw 小说文本,打造从大纲到成稿的 AI 原创小说全链路。技术干货 + OPC创作思路,一次讲透!
回顾中 -
码道新技能,AI 新生产力——从自动视频生成到开源项目解析2026/04/08 周三 19:00-21:00
童得力-华为云开发者生态运营总监/何文强-无人机企业AI提效负责人
本次华为云码道 Skill 实战活动,聚焦两大 AI 开发场景:通过实战教学,带你打造 AI 编程自动生成视频 Skill,并实现对 GitHub 热门开源项目的智能知识抽取,手把手掌握 Skill 开发全流程,用 AI 提升研发效率与内容生产力。
回顾中 -
华为云码道:零代码股票智能决策平台全功能实战2026/04/18 周六 10:00-12:00
秦拳德-中软国际教育卓越研究院研究员、华为云金牌讲师、云原生技术专家
利用Tushare接口获取实时行情数据,采用Transformer算法进行时序预测与涨跌分析,并集成DeepSeek API提供智能解读。同时,项目深度结合华为云CodeArts(码道)的代码智能体能力,实现代码一键推送至云端代码仓库,建立起高效、可协作的团队开发新范式。开发者可快速上手,从零打造功能完整的个股筛选、智能分析与风险管控产品。
回顾中
热门标签