使用游标、分块处理和生成器优化Laravel大数据查询，避免内存溢出。
如果您需要在 Laravel 中处理大量数据库记录，但希望避免内存溢出或性能下降，则必须采用流式查询或分块处理技术。直接使用 Eloquent 的 get() 方法会将所有记录加载到内存中，导致系统资源耗尽。以下是几种优化方案来高效处理大数据量的场景。
本文运行环境：Dell XPS 15，Ubuntu 24.04
一、使用游标遍历（Cursor）
游标允许逐条读取数据库记录，而不是一次性加载所有数据到内存中。Laravel 提供了 cursor() 方法，它返回一个可迭代的对象，每次只从数据库获取一条记录。
1、在模型查询中调用 cursor() 方法替代 get()：
$users = User::cursor();
2、通过 foreach 遍历结果集：
foreach ($users as $user) {
echo $user->name;
}
该方法适用于只需要读取并处理每条记录的场景，例如导出数据或发送通知。
二、使用 chunk() 分批处理数据
chunk() 方法将查询结果按指定数量分批次加载，每次处理一批数据后再加载下一批，从而有效控制内存使用。
1、调用 chunk() 并传入每批处理的数量和闭包函数：
User::chunk(500, function ($users) {
foreach ($users as $user) {
// 处理用户数据
}
});
2、如果在处理过程中需要中断后续批次，可在闭包中返回 false：
User::chunk(500, function ($users) {
// 满足条件时停止
if ($someCondition) {
return false;
}
});
三、使用 chunkById() 按主键分块
当表中存在大量数据且主键为自增时，chunkById() 能够更安全地进行分批处理，避免因排序或偏移问题导致的数据重复或遗漏。
1、使用 chunkById() 替代 chunk()，确保基于主键顺序分页：
User::where('active', 1)->chunkById(500, function ($users) {
foreach ($users as $user) {
// 更新或其他操作
}
});
2、可在闭包内执行更新操作而不会影响后续分块的查询范围。
四、禁用查询日志以减少内存开销
Laravel 默认记录所有执行的 SQL 查询，这在处理大批量数据时可能显著增加内存消耗。关闭日志可释放这部分资源。
1、在开始大量数据处理前清除日志并禁用记录：
\DB::connection()->disableQueryLog();
2、如需手动清空现有日志：
\DB::flushQueryLog();
此设置应在 Artisan 命令或队列任务中使用，避免影响其他请求的日志记录。
五、结合生成器实现低内存输出
当需要将大量数据导出为 CSV 或 JSON 流时，可结合 PHP 生成器与 Laravel 响应流功能，避免构建完整数组。
1、定义一个生成器函数来逐行产生数据：
function userGenerator() {
$handle = fopen('php://temp', 'r+');
fputcsv($handle, ['ID', 'Name', 'Email']);
rewind($handle);
yield fgets($handle);
fclose($handle);
User::chunk(500, function ($users) use (&$handle) {
$handle = fopen('php://temp', 'r+');
foreach ($users as $user) {
fputcsv($handle, [$user->id, $user->name, $user->email]);
rewind($handle);
yield fgets($handle);
ftruncate($handle, 0);
}
fclose($handle);
});
}
2、在控制器中返回 StreamedResponse 使用生成器：
return response()->stream(function () {
foreach (userGenerator() as $line) {
echo $line;
}
});
