mysql批量插入优化核心是减少通信开销、降低索引维护频率、避免单条事务重复开销；应合并多条insert为一条、分段事务控制、优先使用load data infile，并配合索引与配置调优。
MySQL 批量插入优化，核心是减少通信开销、降低索引维护频率、避免单条事务的重复开销。关键不在于“一次插多少”，而在于“怎么让每次插入更高效”。
合并多条 INSERT 为一条语句
用 INSERT INTO ... VALUES (...), (...), (...) 替代多次单行 INSERT。这样能显著减少客户端与 MySQL 的往返次数（RTT），也减少解析 SQL 的 CPU 开销。
- 单条 INSERT 插入 100 行，比 100 条单行 INSERT 快 5–10 倍以上（取决于网络延迟和数据大小）
- 建议每批 500–5000 行（具体看单行数据长度，避免超过 max_allowed_packet）
- 注意：VALUES 列表过长可能触发语法限制或内存压力，需实测调整
关闭自动提交 + 手动事务控制
默认 autocommit=1 时，每条 INSERT 都是一次独立事务，强制刷盘（尤其是 innodb_flush_log_at_trx_commit=1）。批量插入前显式 BEGIN，插入完再 COMMIT，可把多条写操作合并为一次日志刷盘。
- 避免在循环内反复 COMMIT；也不要在整个大批次外只包一个事务（易锁表、占内存、失败回滚代价高）
- 推荐分段事务：例如每 1000 行提交一次，平衡性能与可靠性
- 临时设 SET autocommit = 0，操作完再恢复，比嵌套 BEGIN/COMMIT 更轻量
合理使用 LOAD DATA INFILE 或 mysqlimport
这是 MySQL 最快的批量导入方式，绕过 SQL 解析层，直接读文件进存储引擎缓冲区。适合从本地/服务端文件导入（非实时业务逻辑场景）。
- 要求文件在数据库服务器本地（或启用了 local_infile 并配合客户端参数）
- 支持字段分隔符、行结束符、忽略首行等选项，灵活处理 CSV/TXT
- 比 INSERT 快 20 倍以上，但无法触发触发器、不能做应用层校验，需前置清洗数据
辅助优化项：索引与配置调优
插入前临时禁用非必要索引（尤其是唯一索引检查开销大），或调整 InnoDB 写入相关参数，能进一步提速。
- 大批量导入前可 ALTER TABLE ... DISABLE KEYS（仅 MyISAM 有效）；InnoDB 推荐先删非聚集索引，导入完成再重建
- 增大 innodb_buffer_pool_size（确保足够缓存页）、innodb_log_file_size（避免频繁 checkpoint）
- 导入期间临时调高 innodb_io_capacity 和 innodb_max_dirty_pages_pct，加速刷脏页
