0

0

mysql分页查询如何使用索引_mysql大数据分页方案

P粉602998670

P粉602998670

发布时间:2026-01-15 08:44:03

|

336人浏览过

|

来源于php中文网

原创

LIMIT offset, size 在大数据量下变慢是因为 MySQL 必须扫描并丢弃前 offset 行,无法直接跳转;游标分页通过 WHERE sort_col > last_value + LIMIT size 实现索引范围扫描,避免跳行,性能稳定在毫秒级。

mysql分页查询如何使用索引_mysql大数据分页方案

为什么 LIMIT offset, size大数据量下会变慢

因为 MySQL 无法跳过前 offset 行直接定位,必须扫描并丢弃前面所有行。当 offset 达到几十万甚至百万级,即使有索引,B+ 树也要逐层遍历、回表、过滤,I/O 和 CPU 开销剧增。

典型表现是执行计划中 Extra 字段出现 Using filesortUsing temporary,且 rows 显示扫描行数远大于 size

  • 索引仅加速“查找起点”,不加速“跳过 offset 行”
  • 主键自增时,ORDER BY id LIMIT 100000, 20 仍要遍历 100020 条记录
  • 复合索引 (status, created_at) 上做 WHERE status = 1 ORDER BY created_at LIMIT 50000, 20,MySQL 仍需定位到第 50001 条匹配记录

用游标分页(cursor-based pagination)替代 offset

核心思路:不再依赖“第 N 页”,而是记住上一页最后一条的排序字段值,用 WHERE sort_col > last_value + LIMIT size 拉取下一页。这样 MySQL 可直接走索引范围扫描,避免跳行。

前提是排序字段必须唯一且非空(推荐组合主键或加 id 保序),否则会出现漏数据或重复。

SELECT * FROM orders 
WHERE status = 1 AND created_at > '2024-05-01 10:23:45' 
ORDER BY created_at, id 
LIMIT 20;
  • 必须在 WHEREORDER BY 中使用相同排序字段,且顺序一致
  • 如果 created_at 可能重复,务必追加 id(主键)作为第二排序条件,保证结果稳定
  • 前端需保存上一页最后一条的 created_atid 值,下次请求带入
  • 不支持“跳转任意页”,但符合无限滚动场景,性能稳定在毫秒级

覆盖索引 + 延迟关联优化传统分页

当必须支持跳页(如后台管理页码输入),可先用覆盖索引快速拿到主键,再二次关联查全量字段,减少回表开销。

歌者PPT
歌者PPT

歌者PPT,AI 写 PPT 永久免费

下载
SELECT o.* FROM orders o
INNER JOIN (
    SELECT id FROM orders 
    WHERE status = 1 
    ORDER BY created_at DESC 
    LIMIT 100000, 20
) AS tmp ON o.id = tmp.id;
  • 内层子查询只查 id,若 (status, created_at, id) 是联合索引,就完全走索引,不回表
  • 外层用主键 id 关联,只需 20 次精确回表,比原语句少扫 10w+ 行
  • 索引需包含所有 WHEREORDER BYSELECT 中用到的字段(至少含 id
  • 注意:MySQL 8.0+ 对这种写法优化更好;5.7 下建议强制使用索引:FORCE INDEX (idx_status_created_id)

物理分表 or 时间分区应对超大单表

单表超千万行后,即使优化分页,索引深度增加、统计信息不准、锁竞争等问题也会浮现。此时分页只是表设计滞后的症状,该考虑拆分了。

按时间分区最常见,比如每月一个分区,分页逻辑改为“先查最近 N 个分区,不够再往前查”:

ALTER TABLE logs PARTITION BY RANGE (TO_DAYS(log_time)) (
    PARTITION p202404 VALUES LESS THAN (TO_DAYS('2024-05-01')),
    PARTITION p202405 VALUES LESS THAN (TO_DAYS('2024-06-01')),
    PARTITION p_future VALUES LESS THAN MAXVALUE
);
  • 查询 WHERE log_time >= '2024-05-10' 时,MySQL 自动裁剪只访问 p202405 分区
  • 分页时优先在最新分区查,命中率高、数据热、索引浅
  • 历史分区可归档或转为只读,降低主库压力
  • 注意:分区字段必须是 WHERE 条件的一部分,否则无法裁剪

游标分页的稳定性依赖排序字段的单调性和索引有效性,而分区和覆盖索引是兜底手段——别等 EXPLAIN 显示扫描百万行才想起改表结构。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

WorkBuddy
WorkBuddy

腾讯云推出的AI原生桌面智能体工作台

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
mysql修改数据表名
mysql修改数据表名

MySQL修改数据表:1、首先查看数据库中所有的表,代码为:‘SHOW TABLES;’;2、修改表名,代码为:‘ALTER TABLE 旧表名 RENAME [TO] 新表名;’。php中文网还提供MySQL的相关下载、相关课程等内容,供大家免费下载使用。

686

2023.06.20

MySQL创建存储过程
MySQL创建存储过程

存储程序可以分为存储过程和函数,MySQL中创建存储过程和函数使用的语句分别为CREATE PROCEDURE和CREATE FUNCTION。使用CALL语句调用存储过程智能用输出变量返回值。函数可以从语句外调用(通过引用函数名),也能返回标量值。存储过程也可以调用其他存储过程。php中文网还提供MySQL创建存储过程的相关下载、相关课程等内容,供大家免费下载使用。

513

2023.06.21

mongodb和mysql的区别
mongodb和mysql的区别

mongodb和mysql的区别:1、数据模型;2、查询语言;3、扩展性和性能;4、可靠性。本专题为大家提供mongodb和mysql的区别的相关的文章、下载、课程内容,供大家免费下载体验。

287

2023.07.18

mysql密码忘了怎么查看
mysql密码忘了怎么查看

MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS 应用软件之一。那么mysql密码忘了怎么办呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

519

2023.07.19

mysql创建数据库
mysql创建数据库

MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS 应用软件之一。那么mysql怎么创建数据库呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

267

2023.07.25

mysql默认事务隔离级别
mysql默认事务隔离级别

MySQL是一种广泛使用的关系型数据库管理系统,它支持事务处理。事务是一组数据库操作,它们作为一个逻辑单元被一起执行。为了保证事务的一致性和隔离性,MySQL提供了不同的事务隔离级别。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

392

2023.08.08

sqlserver和mysql区别
sqlserver和mysql区别

SQL Server和MySQL是两种广泛使用的关系型数据库管理系统。它们具有相似的功能和用途,但在某些方面存在一些显著的区别。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

542

2023.08.11

mysql忘记密码
mysql忘记密码

MySQL是一种关系型数据库管理系统,关系数据库将数据保存在不同的表中,而不是将所有数据放在一个大仓库内,这样就增加了速度并提高了灵活性。那么忘记mysql密码我们该怎么解决呢?php中文网给大家带来了相关的教程以及其他关于mysql的文章,欢迎大家前来学习阅读。

668

2023.08.14

TypeScript类型系统进阶与大型前端项目实践
TypeScript类型系统进阶与大型前端项目实践

本专题围绕 TypeScript 在大型前端项目中的应用展开,深入讲解类型系统设计与工程化开发方法。内容包括泛型与高级类型、类型推断机制、声明文件编写、模块化结构设计以及代码规范管理。通过真实项目案例分析,帮助开发者构建类型安全、结构清晰、易维护的前端工程体系,提高团队协作效率与代码质量。

26

2026.03.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
MySQL 教程
MySQL 教程

共48课时 | 2.5万人学习

MySQL 初学入门(mosh老师)
MySQL 初学入门(mosh老师)

共3课时 | 0.3万人学习

简单聊聊mysql8与网络通信
简单聊聊mysql8与网络通信

共1课时 | 850人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号