0

0

INSERT INTO ... SELECT 从大表复制数据的锁与日志优化

冰川箭仙

冰川箭仙

发布时间:2026-01-30 21:00:01

|

921人浏览过

|

来源于php中文网

原创

不会锁住整个源表,但会加临键锁;若无索引或WHERE不走索引,则等效“准全表锁”;需分批处理、禁用autocommit并手动提交以避免长事务与binlog膨胀。

insert into ... select 从大表复制数据的锁与日志优化

大表 INSERT INTO ... SELECT 会锁住源表吗?

MySQL 默认在可重复读(RR)隔离级别下,INSERT INTO ... SELECT 对源表加的是临键锁(Next-Key Lock),不是表锁,但实际效果可能接近全表扫描级锁定——尤其当源表没有合适索引、或 WHERE 条件无法走索引时,InnoDB 会对扫描到的每条记录及其间隙加锁。这意味着并发 SELECT 或 UPDATE 可能被阻塞。

  • 如果源表有主键或唯一索引,且 SELECT 中的 WHERE 能命中索引范围,锁只会落在匹配的索引区间上
  • 如果没走索引(例如 WHERE status LIKE '%draft%'),InnoDB 会遍历聚簇索引,对所有扫描行加锁,等效于“准全表锁”
  • 在 MySQL 8.0+ 中,若启用了 innodb_locks_unsafe_for_binlog=OFF(默认),该语句仍遵循 RR 的加锁逻辑;设为 ON 可降级为记录锁,但会破坏 binlog 一致性,不推荐

如何避免长事务与 binlog 爆炸?

INSERT INTO ... SELECT 是一个原子语句,整个操作记为单条 binlog event。如果复制百万行,这条 event 就会非常大,导致:

  • 主从延迟加剧(从库需重放巨型 event)
  • max_binlog_size 失效,单个 binlog 文件可能远超设定值
  • 若中途失败,事务回滚代价高,undo log 占用猛增

解决思路是拆分 + 控制事务粒度:

  • WHERE id BETWEEN ? AND ? 分批次拉取,配合自增主键切片(如每次 10 万行)
  • 每批单独事务提交,避免长事务拖慢 MVCC 清理
  • 设置 innodb_log_file_size 足够大(建议 ≥2GB),防止频繁 checkpoint
  • 关键:禁用 autocommit 后手动 COMMIT,不要依赖隐式提交

SELECT 部分能否加 LOCK IN SHARE MODE 或 FOR UPDATE?

不能,也不该加。

万兴爱画
万兴爱画

万兴爱画AI绘画生成工具

下载
  • INSERT INTO ... SELECT 语法中,SELECT 子句不允许出现 FOR UPDATELOCK IN SHARE MODE,MySQL 会直接报错 ERROR 1205 (HY000): Deadlock found when trying to get lock 或更明确的语法错误
  • 即使绕过语法限制(比如先 SELECT ... INTO @varINSERT),也会失去原子性,且手动加锁容易引发死锁
  • 真实需求往往是“防止源数据被改”,这时应确保业务层已规避写入冲突,或改用应用层分页 + 应用控制版本号/时间戳校验

替代方案:用 LOAD DATA 或 pt-archiver 更稳?

LOAD DATA INFILEpt-archiver 是更可控的选择,尤其对超大表:

  • LOAD DATA 不经过 SQL 解析层,速度更快,锁等待更短;但需先导出为文本,且目标表不能有外键或触发器干扰
  • pt-archiver 默认按主键分块、逐批 DELETE + INSERT,支持限流(--limit)、休眠(--sleep)、错误跳过,对线上影响小
  • 注意:pt-archiver--bulk-insert 模式本质仍是多行 INSERT,不会变成 INSERT ... SELECT,所以不触发源表临键锁

真正容易被忽略的是:即使加了索引、分了批、关了 autocommit,只要源表存在未提交的长事务(比如另一个连接正在跑 UPDATE 无 WHERE),INSERT INTO ... SELECT 仍可能因 read view 太旧而卡住——这不是锁问题,是 MVCC 快照可见性导致的隐式等待。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
数据分析工具有哪些
数据分析工具有哪些

数据分析工具有Excel、SQL、Python、R、Tableau、Power BI、SAS、SPSS和MATLAB等。详细介绍:1、Excel,具有强大的计算和数据处理功能;2、SQL,可以进行数据查询、过滤、排序、聚合等操作;3、Python,拥有丰富的数据分析库;4、R,拥有丰富的统计分析库和图形库;5、Tableau,提供了直观易用的用户界面等等。

749

2023.10.12

SQL中distinct的用法
SQL中distinct的用法

SQL中distinct的语法是“SELECT DISTINCT column1, column2,...,FROM table_name;”。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

328

2023.10.27

SQL中months_between使用方法
SQL中months_between使用方法

在SQL中,MONTHS_BETWEEN 是一个常见的函数,用于计算两个日期之间的月份差。想了解更多SQL的相关内容,可以阅读本专题下面的文章。

350

2024.02.23

SQL出现5120错误解决方法
SQL出现5120错误解决方法

SQL Server错误5120是由于没有足够的权限来访问或操作指定的数据库或文件引起的。想了解更多sql错误的相关内容,可以阅读本专题下面的文章。

1283

2024.03.06

sql procedure语法错误解决方法
sql procedure语法错误解决方法

sql procedure语法错误解决办法:1、仔细检查错误消息;2、检查语法规则;3、检查括号和引号;4、检查变量和参数;5、检查关键字和函数;6、逐步调试;7、参考文档和示例。想了解更多语法错误的相关内容,可以阅读本专题下面的文章。

361

2024.03.06

oracle数据库运行sql方法
oracle数据库运行sql方法

运行sql步骤包括:打开sql plus工具并连接到数据库。在提示符下输入sql语句。按enter键运行该语句。查看结果,错误消息或退出sql plus。想了解更多oracle数据库的相关内容,可以阅读本专题下面的文章。

861

2024.04.07

sql中where的含义
sql中where的含义

sql中where子句用于从表中过滤数据,它基于指定条件选择特定的行。想了解更多where的相关内容,可以阅读本专题下面的文章。

581

2024.04.29

sql中删除表的语句是什么
sql中删除表的语句是什么

sql中用于删除表的语句是drop table。语法为drop table table_name;该语句将永久删除指定表的表和数据。想了解更多sql的相关内容,可以阅读本专题下面的文章。

423

2024.04.29

C++ 设计模式与软件架构
C++ 设计模式与软件架构

本专题深入讲解 C++ 中的常见设计模式与架构优化,包括单例模式、工厂模式、观察者模式、策略模式、命令模式等,结合实际案例展示如何在 C++ 项目中应用这些模式提升代码可维护性与扩展性。通过案例分析,帮助开发者掌握 如何运用设计模式构建高质量的软件架构,提升系统的灵活性与可扩展性。

14

2026.01.30

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
MySQL 教程
MySQL 教程

共48课时 | 2万人学习

MySQL 初学入门(mosh老师)
MySQL 初学入门(mosh老师)

共3课时 | 0.3万人学习

简单聊聊mysql8与网络通信
简单聊聊mysql8与网络通信

共1课时 | 815人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号