0

0

如何分块读取超大文件_PHP分片段读取超大文件避免内存溢出【技巧】

星夢妙者

星夢妙者

发布时间:2026-02-21 19:48:11

|

414人浏览过

|

来源于php中文网

原创

处理超大文件应避免file_get_contents(),可采用五种分块读取法:一、fopen+fread按字节读;二、fgets按行读文本;三、splfileobject面向对象迭代;四、stream_copy_to_stream高效复制;五、pcntl_fork多进程并行读。

如何分块读取超大文件_php分片段读取超大文件避免内存溢出【技巧】

如果您需要处理一个体积远超 PHP 内存限制的文件,直接使用 file_get_contents()file() 将导致内存溢出错误。以下是分块读取超大文件的多种可靠方法:

一、使用 fopen + fread 按固定字节长度分块读取

该方法通过打开文件流后逐次调用 fread() 读取指定字节数,避免一次性载入全部内容,适用于任意文本或二进制文件。

1、使用 fopen() 以只读模式打开文件,获取资源句柄。

2、使用 fread() 每次读取例如 8192 字节(可根据 I/O 性能调整),直到 feof() 返回 true。

立即学习PHP免费学习笔记(深入)”;

3、对每次读取的字符串片段进行处理,例如正则匹配、写入新文件或统计字符数。

4、处理完毕后调用 fclose() 关闭文件句柄。

二、使用 fgets 按行读取文本文件

当文件为纯文本且需按逻辑行处理时,fgets() 可自动识别换行符并逐行读取,每行占用内存仅与最长行长度相关,天然规避整文件加载风险。

1、使用 fopen() 打开文件,确保模式为 rrb

2、在 while 循环中持续调用 fgets(),其返回值为单行字符串(含换行符)或 false(到达末尾)。

3、对当前行执行业务逻辑,例如解析 CSV 字段、过滤关键词或写入数据库。

4、循环结束后调用 fclose() 释放资源。

三、使用 SplFileObject 进行面向对象式分块迭代

SplFileObject 是 SPL 提供的迭代器封装类,支持 seek、key、current 等操作,可配合 foreach 实现可控的逐行或批量读取,同时具备异常安全性和编码检测能力。

1、实例化 SplFileObject 并传入文件路径,可选设置 READ_AHEADSKIP_EMPTY 标志。

音刻
音刻

AI音视频转录和笔记工具

下载

2、使用 setMaxLineLen() 控制单次读取最大长度,防止超长行耗尽内存。

3、在 foreach 中遍历对象,每次迭代返回一行;或调用 current()next() 手动控制步进。

4、对象析构时自动关闭文件,但显式调用 __destruct() 或置为 null 可提前释放。

四、使用 stream_copy_to_stream 实现高效文件片段复制

当目标是将超大文件的部分内容复制到另一资源(如临时文件、压缩流或网络 socket)时,stream_copy_to_stream() 可在底层 C 层完成缓冲传输,不经过 PHP 用户空间,效率极高且内存占用恒定。

1、用 fopen() 打开源文件和目标流(如 php://tempfopen('output.bin', 'w'))。

2、调用 stream_copy_to_stream() 并传入源流、目标流及可选的 maxlen 参数,精确控制拷贝字节数。

3、重复调用该函数配合 fseek() 实现分段拷贝,例如每次处理 1MB。

4、所有流操作完成后分别调用 fclose() 关闭源与目标句柄。

五、结合 pcntl_fork 实现多进程分块并行读取(仅限 CLI 环境)

在命令行环境下,可通过 pcntl_fork() 创建子进程,各进程基于文件偏移量独立读取不同区块,适用于 CPU 密集型解析任务,但需注意文件锁与偏移同步问题。

1、主进程使用 filesize() 获取总长度,并计算每个子进程应处理的字节范围,例如平均分为 4 块。

2、主进程调用 pcntl_fork() 创建子进程,子进程使用 fopen() 打开同一文件,再用 fseek() 定位到起始偏移。

3、子进程调用 fread() 读取分配长度的数据,完成解析后写入临时结果文件。

4、主进程调用 pcntl_wait() 等待所有子进程退出,最后合并各临时结果文件。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
c语言中null和NULL的区别
c语言中null和NULL的区别

c语言中null和NULL的区别是:null是C语言中的一个宏定义,通常用来表示一个空指针,可以用于初始化指针变量,或者在条件语句中判断指针是否为空;NULL是C语言中的一个预定义常量,通常用来表示一个空值,用于表示一个空的指针、空的指针数组或者空的结构体指针。

246

2023.09.22

java中null的用法
java中null的用法

在Java中,null表示一个引用类型的变量不指向任何对象。可以将null赋值给任何引用类型的变量,包括类、接口、数组、字符串等。想了解更多null的相关内容,可以阅读本专题下面的文章。

826

2024.03.01

while的用法
while的用法

while的用法是“while 条件: 代码块”,条件是一个表达式,当条件为真时,执行代码块,然后再次判断条件是否为真,如果为真则继续执行代码块,直到条件为假为止。本专题为大家提供while相关的文章、下载、课程内容,供大家免费下载体验。

103

2023.09.25

php中foreach用法
php中foreach用法

本专题整合了php中foreach用法的相关介绍,阅读专题下面的文章了解更多详细教程。

182

2025.12.04

go语言 面向对象
go语言 面向对象

本专题整合了go语言面向对象相关内容,阅读专题下面的文章了解更多详细内容。

57

2025.09.05

java面向对象
java面向对象

本专题整合了java面向对象相关内容,阅读专题下面的文章了解更多详细内容。

60

2025.11.27

fclose函数的用法
fclose函数的用法

fclose是一个C语言和C++中的标准库函数,用于关闭一个已经打开的文件,是文件操作中非常重要的一个函数,用于将文件流与底层文件系统分离,释放相关的资源。更多关于fclose函数的相关问题,详情请看本专题下面的文章。php中文网欢迎大家前来学习。

341

2023.11.30

fclose函数的用法
fclose函数的用法

fclose是一个C语言和C++中的标准库函数,用于关闭一个已经打开的文件,是文件操作中非常重要的一个函数,用于将文件流与底层文件系统分离,释放相关的资源。更多关于fclose函数的相关问题,详情请看本专题下面的文章。php中文网欢迎大家前来学习。

341

2023.11.30

pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法
pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法

本专题系统整理pixiv网页版官网入口及登录访问方式,涵盖官网登录页面直达路径、在线阅读入口及快速进入方法说明,帮助用户高效找到pixiv官方网站,实现便捷、安全的网页端浏览与账号登录体验。

928

2026.02.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PHP课程
PHP课程

共137课时 | 12.2万人学习

JavaScript ES5基础线上课程教学
JavaScript ES5基础线上课程教学

共6课时 | 11.3万人学习

PHP新手语法线上课程教学
PHP新手语法线上课程教学

共13课时 | 0.9万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号