0

0

SQL按字段范围分批处理_SQL避免长时间锁表

舞夢輝影

舞夢輝影

发布时间:2025-12-20 19:32:37

|

506人浏览过

|

来源于php中文网

原创

SQL分批处理核心是选主键或有索引的时间字段作为分片依据,每批1000–5000行,用BETWEEN或范围WHERE精准切片,单批次短事务+休眠,避免OFFSET和大事务,确保走索引扫描。

sql按字段范围分批处理_sql避免长时间锁表

SQL按字段范围分批处理,核心是避免单次操作扫描或更新全表,从而减少锁表时间。关键在于选对分片字段(最好是主键或有高效索引的数字/时间字段),控制每批数据量(如1000–5000行),并用WHERE条件精准切片。

选对分片字段:优先用主键或带索引的递增字段

主键(尤其是自增ID)天然有序、分布均匀,适合做分批依据。时间字段(如create_time)也常用,但需确保有索引且数据分布不倾斜(比如不能全是最近7天的数据)。避免用无索引、NULL多、或高重复值的字段(如status、type)做分片条件,否则容易走全表扫描,锁更久。

  • 推荐写法:WHERE id BETWEEN 10001 AND 12000
  • 慎用写法:WHERE status = 1 ORDER BY id LIMIT 1000(没索引时效率低,且OFFSET易导致越查越慢)
  • 时间范围示例:WHERE create_time >= '2024-01-01' AND create_time (配合索引可快速定位)

控制每批大小:1000–5000行较稳妥

太小(如100行)会导致循环次数过多、网络和事务开销上升;太大(如5万行)可能单次执行超时、日志暴涨、锁持有时间过长。实际可根据表行数、单行体积、服务器负载动态调整。线上环境建议先用1000起步,观察执行时间与锁等待情况再微调。

  • 用LIMIT + 主键游标更稳定:WHERE id > 15000 ORDER BY id LIMIT 2000
  • 避免OFFSET:它会跳过前面所有行,N越大越慢,还可能漏数据(并发写入时)
  • 每次处理完记录当前批次最大id,作为下一批起点

加事务与休眠:降低系统冲击

每个批次单独包在短事务里,提交后释放锁。批次间可加毫秒级休眠(如50ms),缓解CPU和I/O压力,也给其他查询让出资源。不要把全部批次塞进一个大事务——那等于全程锁表。

快剪辑
快剪辑

国内⼀体化视频⽣产平台

下载
  • 正确姿势:BEGIN; UPDATE ... WHERE id BETWEEN x AND y; COMMIT;
  • 错误姿势:BEGIN; 所有UPDATE循环; COMMIT;(锁表时间=全部批次执行总时长)
  • 脚本中可用SLEEP(0.05)(MySQL)或应用层延时控制节奏

验证效果:看执行计划与锁等待

上线前务必用EXPLAIN确认走的是索引扫描(type=range/ref),不是ALL;用SHOW ENGINE INNODB STATUS或性能视图检查是否有长时间等待锁的线程。也可在测试库模拟压测,观察QPS和慢查数量变化。

  • 重点关注:key_len是否合理、rows预估是否接近实际批次量
  • 如果出现“Waiting for table metadata lock”,说明有长事务或DDL未完成,需先清理
  • 批量UPDATE/DELETE后及时分析表(ANALYZE TABLE),避免统计信息过期影响后续执行计划

基本上就这些。不复杂但容易忽略细节——选对字段、控好批量、拆开事务、勤看执行计划,就能把锁表时间从几分钟压到几百毫秒。

相关专题

更多
数据分析工具有哪些
数据分析工具有哪些

数据分析工具有Excel、SQL、Python、R、Tableau、Power BI、SAS、SPSS和MATLAB等。详细介绍:1、Excel,具有强大的计算和数据处理功能;2、SQL,可以进行数据查询、过滤、排序、聚合等操作;3、Python,拥有丰富的数据分析库;4、R,拥有丰富的统计分析库和图形库;5、Tableau,提供了直观易用的用户界面等等。

678

2023.10.12

SQL中distinct的用法
SQL中distinct的用法

SQL中distinct的语法是“SELECT DISTINCT column1, column2,...,FROM table_name;”。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

320

2023.10.27

SQL中months_between使用方法
SQL中months_between使用方法

在SQL中,MONTHS_BETWEEN 是一个常见的函数,用于计算两个日期之间的月份差。想了解更多SQL的相关内容,可以阅读本专题下面的文章。

346

2024.02.23

SQL出现5120错误解决方法
SQL出现5120错误解决方法

SQL Server错误5120是由于没有足够的权限来访问或操作指定的数据库或文件引起的。想了解更多sql错误的相关内容,可以阅读本专题下面的文章。

1095

2024.03.06

sql procedure语法错误解决方法
sql procedure语法错误解决方法

sql procedure语法错误解决办法:1、仔细检查错误消息;2、检查语法规则;3、检查括号和引号;4、检查变量和参数;5、检查关键字和函数;6、逐步调试;7、参考文档和示例。想了解更多语法错误的相关内容,可以阅读本专题下面的文章。

357

2024.03.06

oracle数据库运行sql方法
oracle数据库运行sql方法

运行sql步骤包括:打开sql plus工具并连接到数据库。在提示符下输入sql语句。按enter键运行该语句。查看结果,错误消息或退出sql plus。想了解更多oracle数据库的相关内容,可以阅读本专题下面的文章。

675

2024.04.07

sql中where的含义
sql中where的含义

sql中where子句用于从表中过滤数据,它基于指定条件选择特定的行。想了解更多where的相关内容,可以阅读本专题下面的文章。

573

2024.04.29

sql中删除表的语句是什么
sql中删除表的语句是什么

sql中用于删除表的语句是drop table。语法为drop table table_name;该语句将永久删除指定表的表和数据。想了解更多sql的相关内容,可以阅读本专题下面的文章。

415

2024.04.29

C++ 单元测试与代码质量保障
C++ 单元测试与代码质量保障

本专题系统讲解 C++ 在单元测试与代码质量保障方面的实战方法,包括测试驱动开发理念、Google Test/Google Mock 的使用、测试用例设计、边界条件验证、持续集成中的自动化测试流程,以及常见代码质量问题的发现与修复。通过工程化示例,帮助开发者建立 可测试、可维护、高质量的 C++ 项目体系。

3

2026.01.16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
MySQL 教程
MySQL 教程

共48课时 | 1.8万人学习

MySQL 初学入门(mosh老师)
MySQL 初学入门(mosh老师)

共3课时 | 0.3万人学习

简单聊聊mysql8与网络通信
简单聊聊mysql8与网络通信

共1课时 | 793人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号