批量插入数据应避免循环单条INSERT,推荐单语句多值INSERT或事务+预处理;注意行数限制、字段顺序、SQL注入防护;禁用autocommit和调整innodb_flush_log_at_trx_commit可显著提升性能。

批量插入数据不是靠循环 INSERT INTO 一条条执行,那样既慢又容易超时或锁表——正确做法是用单条 INSERT 语句拼多行值,或借助事务+预处理提升吞吐量。
用 INSERT ... VALUES 多值语法一次性写入
这是最直接、兼容性最好、性能提升最明显的办法。MySQL 支持在一条 INSERT 语句里写入多组 (?, ?, ?),PHP 只需拼好 SQL 和参数即可。
注意点:
- 单次不宜超过 1000 行(MySQL 默认
max_allowed_packet通常为 4MB,实际受字段长度影响) - 字段顺序必须和
VALUES中每组值严格对应 - 字符串值要预先用
mysqli_real_escape_string()或更推荐的预处理方式防注入,不能直接拼接
示例(使用 mysqli 面向对象):
立即学习“PHP免费学习笔记(深入)”;
$values = [];
$params = [];
foreach ($dataList as $row) {
$values[] = '(?, ?, ?)';
$params[] = $row['name'];
$params[] = $row['email'];
$params[] = $row['created_at'];
}
$sql = "INSERT INTO users (name, email, created_at) VALUES " . implode(', ', $values);
$stmt = $mysqli->prepare($sql);
$stmt->bind_param(str_repeat('ssi', count($dataList)), ...$params); // 注意类型串要匹配
$stmt->execute();
用事务包裹多次 execute 提升 PDO 批量效率
当数据量极大(如 10 万+)、或需要兼容不支持多值 INSERT 的旧版 MySQL 时,关闭自动提交 + 手动事务 + 单条预处理反复 execute 是更稳妥的选择。
关键控制点:
网趣购物系统静态版支持网站一键静态生成,采用动态进度条模式生成静态,生成过程更加清晰明确,商品管理上增加淘宝数据包导入功能,与淘宝数据同步更新!采用领先的AJAX+XML相融技术,速度更快更高效!系统进行了大量的实用性更新,如优化核心算法、增加商品图片批量上传、谷歌地图浏览插入等,静态版独特的生成算法技术使静态生成过程可随意掌控,从而可以大大减轻服务器的负担,结合多种强大的SEO优化方式于一体,使
- 务必调用
$pdo->beginTransaction()开启事务,失败后rollback() - 预处理语句只准备一次,
execute()可反复调用,避免重复解析开销 - 每 500–1000 条
commit()一次,防止事务日志过大或锁等待过长 - 禁用
PDO::ATTR_AUTOCOMMIT,否则每次execute都隐式提交
片段示意:
$pdo->setAttribute(PDO::ATTR_AUTOCOMMIT, false);
$stmt = $pdo->prepare("INSERT INTO logs (level, message, time) VALUES (?, ?, ?)");
$pdo->beginTransaction();
foreach ($logs as $log) {
$stmt->execute([$log['level'], $log['message'], $log['time']]);
if ($i % 500 === 0) {
$pdo->commit();
$pdo->beginTransaction();
}
}
$pdo->commit();
避免 file_get_contents + LOAD DATA INFILE 的常见误用
虽然 LOAD DATA INFILE 是 MySQL 最快的导入方式,但它在 PHP 动态网站中几乎不可用:
- PHP 进程通常没权限读取服务器本地文件(
secure_file_priv限制) - Web 用户上传的 CSV 文件默认存在临时目录,路径不可控且很快被删
- 该命令不走 PHP 的连接权限体系,需额外赋予
FILE权限,安全风险高 - 无法对每行数据做逻辑校验或转换(比如过滤敏感词、补默认值)
除非你完全控制服务器环境、且数据源可信、且对速度极端敏感,否则别在 Web 请求中尝试这个方案。
大批量写入时必须关掉的两个东西
不关它们,插入速度可能掉一半以上,尤其在有索引或外键的表上:
-
innodb_flush_log_at_trx_commit=2:改为 2(仅刷 OS 缓存,不强制磁盘 fsync),可大幅提升 TPS;但断电可能丢 1 秒数据 —— 日志类、统计类场景可接受 -
autocommit=0:已在前文强调,但很多人只关 PHP 层,忘了确认 MySQL 会话级是否生效:SELECT @@autocommit;
临时修改(当前连接有效):
$mysqli->query("SET autocommit = 0");
$mysqli->query("SET innodb_flush_log_at_trx_commit = 2");
真正难的不是拼 SQL,而是判断哪部分该校验、哪部分可跳过、哪条语句该拆分、以及出错后怎么回滚到精确位置——这些没法靠模板解决,得看具体业务约束。










