0

0

laravel如何导入和解析大型CSV文件_Laravel大型CSV文件导入与解析方法

下次还敢

下次还敢

发布时间:2025-10-03 13:47:02

|

611人浏览过

|

来源于php中文网

原创

正确方式是逐行或分块读取,避免内存溢出。使用fgetcsv逐行处理可控制内存,适合大文件;结合批量插入提升效率。laravel-excel包支持流式读取,通过chunkSize分批处理,自动优化内存。需关闭查询日志、设长执行时间、用队列异步处理,确保稳定性。

laravel如何导入和解析大型csv文件_laravel大型csv文件导入与解析方法

处理大型CSV文件时,直接加载整个文件到内存会导致内存溢出或脚本超时。Laravel中导入和解析大型CSV文件的正确方式是逐行读取,避免一次性加载全部内容。以下是实用且高效的方法。

使用PHP原生函数fgetcsv逐行处理

这是最稳定、资源占用最低的方式。通过打开文件句柄,逐行读取并处理每一行数据,能有效控制内存使用。

示例代码:

$filePath = storage_path('app/large-file.csv');

$handle = fopen($filePath, 'r');
if (!$handle) {
    throw new \Exception('无法打开文件');
}

// 读取表头(可选)
$header = fgetcsv($handle);

while (($row = fgetcsv($handle)) !== false) {
    // 处理每一行数据
    $data = array_combine($header, $row); // 用表头作为键名

    // 存入数据库(建议使用批量插入或延迟写入)
    \DB::table('your_table')->insert([
        'name' => $data['name'],
        'email' => $data['email'],
        'created_at' => now(),
        'updated_at' => now(),
    ]);
}

fclose($handle);

优点: 内存友好,适合GB级文件;注意: 单条插入较慢,建议积攒一定数量后批量插入。

使用laravel-excel包处理大文件

maatwebsite/excel 是 Laravel 社区广泛使用的扩展包,支持流式读取,特别适合大文件解析。

安装:

composer require maatwebsite/excel

CreateWise AI
CreateWise AI

为播客创作者设计的AI创作工具,AI自动去口癖、提交亮点和生成Show notes、标题等

下载
创建导入类:

php artisan make:import LargeCsvImport --model=User

实现流式读取:

class LargeCsvImport implements ToCollection, WithChunkReading
{
    public function collection(Collection $rows)
    {
        foreach ($rows as $row) {
            // 处理每行数据
            User::create([
                'name' => $row[0],
                'email' => $row[1],
            ]);
        }
    }

    public function chunkSize(): int
    {
        return 1000; // 每1000条批量处理一次
    }
}

在控制器中调用:

Excel::import(new LargeCsvImport, 'large-file.csv');

该方式自动启用缓存和分块读取,避免内存问题。

优化建议与注意事项

无论采用哪种方法,以下优化措施都能提升性能和稳定性:

  • 关闭数据库查询日志:\DB::disableQueryLog(),减少内存开销
  • 使用事务控制或禁用自动提交,提高插入效率
  • 设置脚本执行时间:set_time_limit(0),防止超时
  • 生产环境使用队列处理:将文件路径推送到队列,后台异步处理
  • 验证文件编码和分隔符,避免解析错误(如中文乱码

基本上就这些。关键是避免把整个CSV加载进内存,用流式或分块方式处理,就能轻松应对上百万行的数据导入。不复杂但容易忽略细节。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

WorkBuddy
WorkBuddy

腾讯云推出的AI原生桌面智能体工作台

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
laravel组件介绍
laravel组件介绍

laravel 提供了丰富的组件,包括身份验证、模板引擎、缓存、命令行工具、数据库交互、对象关系映射器、事件处理、文件操作、电子邮件发送、队列管理和数据验证。想了解更多laravel的相关内容,可以阅读本专题下面的文章。

340

2024.04.09

laravel中间件介绍
laravel中间件介绍

laravel 中间件分为五种类型:全局、路由、组、终止和自定。想了解更多laravel中间件的相关内容,可以阅读本专题下面的文章。

294

2024.04.09

laravel使用的设计模式有哪些
laravel使用的设计模式有哪些

laravel使用的设计模式有:1、单例模式;2、工厂方法模式;3、建造者模式;4、适配器模式;5、装饰器模式;6、策略模式;7、观察者模式。想了解更多laravel的相关内容,可以阅读本专题下面的文章。

773

2024.04.09

thinkphp和laravel哪个简单
thinkphp和laravel哪个简单

对于初学者来说,laravel 的入门门槛较低,更易上手,原因包括:1. 更简单的安装和配置;2. 丰富的文档和社区支持;3. 简洁易懂的语法和 api;4. 平缓的学习曲线。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

385

2024.04.10

laravel入门教程
laravel入门教程

本专题整合了laravel入门教程,想了解更多详细内容,请阅读专题下面的文章。

141

2025.08.05

laravel实战教程
laravel实战教程

本专题整合了laravel实战教程,阅读专题下面的文章了解更多详细内容。

85

2025.08.05

laravel面试题
laravel面试题

本专题整合了laravel面试题相关内容,阅读专题下面的文章了解更多详细内容。

80

2025.08.05

PHP高性能API设计与Laravel服务架构实践
PHP高性能API设计与Laravel服务架构实践

本专题围绕 PHP 在现代 Web 后端开发中的高性能实践展开,重点讲解基于 Laravel 框架构建可扩展 API 服务的核心方法。内容涵盖路由与中间件机制、服务容器与依赖注入、接口版本管理、缓存策略设计以及队列异步处理方案。同时结合高并发场景,深入分析性能瓶颈定位与优化思路,帮助开发者构建稳定、高效、易维护的 PHP 后端服务体系。

580

2026.03.04

TypeScript类型系统进阶与大型前端项目实践
TypeScript类型系统进阶与大型前端项目实践

本专题围绕 TypeScript 在大型前端项目中的应用展开,深入讲解类型系统设计与工程化开发方法。内容包括泛型与高级类型、类型推断机制、声明文件编写、模块化结构设计以及代码规范管理。通过真实项目案例分析,帮助开发者构建类型安全、结构清晰、易维护的前端工程体系,提高团队协作效率与代码质量。

26

2026.03.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Laravel---API接口
Laravel---API接口

共7课时 | 0.7万人学习

PHP自制框架
PHP自制框架

共8课时 | 0.6万人学习

PHP面向对象基础课程(更新中)
PHP面向对象基础课程(更新中)

共12课时 | 0.7万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号