0

0

php读取大文件的一点疑问

php中文网

php中文网

发布时间:2016-06-23 14:06:30

|

971人浏览过

|

来源于php中文网

原创

我要分析一个6G的log文件,比对每行文件是否符合我的要求,程序如下

$file_path = 'd:\work\workplace\test\file\system.log';$file = fopen($file_path, 'r');$key = md5(0);$i = 1;while (!feof($file)) {    $buff = fgets($file);    if ($buff == $key . "\r\n")    {        echo "find 0 at Line {$i}\r\n";    }    $i ++;}fclose($file);

我想问下这样性能怎么样吗,不会出现内存泄露或其他问题吧,还有进一步优化的方法吗?

MVM mall 网上购物系统
MVM mall 网上购物系统

采用 php+mysql 数据库方式运行的强大网上商店系统,执行效率高速度快,支持多语言,模板和代码分离,轻松创建属于自己的个性化用户界面 v3.5更新: 1).进一步静态化了活动商品. 2).提供了一些重要UFT-8转换文件 3).修复了除了网银在线支付其它支付显示错误的问题. 4).修改了LOGO广告管理,增加LOGO链接后主页LOGO路径错误的问题 5).修改了公告无法发布的问题,可能是打压

下载

回复讨论(解决方案)

你需要先将这个文件分割成若干个小文件 
然后循环读取每个小文件即可!

linux 下 $ split -b 
分割···

linux 下 $ split -b 
分割···
为什么要分割啊,用fgets不是每次只去一行,并没有把文件都读取进内存啊

我建议你用fgets时最好制定读取的字符数,不要一行一行的读,6G的文件说不定某一行会很长!

现在可以肯定每一行不会很长,应为日志是按规定格式存取的

哦,那你看着办吧!呵呵,我只是建议!

哦,那你看着办吧!呵呵,我只是建议!
我的确也看到有的人像你那样做,但是如果不是一下子读入内存,应该不比那样吧,切割文件和删除临时文件还有消耗,这是我个人感觉,有不对的情指出

6G的文本文件……

你咋能整这么大的文件?
日志应该按天或者按周、按月来记,超过一定大小就新建一个文件

应该分成多个文件

6G的文本文件……

你咋能整这么大的文件?
日志应该按天或者按周、按月来记,超过一定大小就新建一个文件

应该分成多个文件
我们公司的行为日志,一天6G

可以,没有问题。就是很费时间

仅就代码而言,可以缩减一点
$file_path = 'd:\work\workplace\test\file\system.log';
$file = fopen($file_path, 'r');
$key = md5(0);
$i = 1;
while ($buff = fgets($file)) {
    if ($buff == $key . "\r\n")
    {
        echo "find 0 at Line {$i}\r\n";
    }
    $i ++;
}
fclose($file);

如果一次读取的多一点(比如1M)可能要快一点。不过算法要复杂些

做这种东西,不是php的长项

要不搞WEB的话,还是换其它程序搞吧。

引用 9 楼 baiyuxiong 的回复:

6G的文本文件……

你咋能整这么大的文件?
日志应该按天或者按周、按月来记,超过一定大小就新建一个文件

应该分成多个文件

我们公司的行为日志,一天6G

如果用shell怎么写啊,求达人,没有也很感谢大家

后来呢?怎么解决了嘛??

我用的fgets读的文件,也不算大吧,150M的一个csv文件,18秒钟,用fgets按行读的话(已知不会出现很长的行),需不需要再用fseek来设定文件指针?可以提高效率吗?

相关文章

PHP速学教程(入门到精通)
PHP速学教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
java入门学习合集
java入门学习合集

本专题整合了java入门学习指南、初学者项目实战、入门到精通等等内容,阅读专题下面的文章了解更多详细学习方法。

2

2026.01.29

java配置环境变量教程合集
java配置环境变量教程合集

本专题整合了java配置环境变量设置、步骤、安装jdk、避免冲突等等相关内容,阅读专题下面的文章了解更多详细操作。

2

2026.01.29

java成品学习网站推荐大全
java成品学习网站推荐大全

本专题整合了java成品网站、在线成品网站源码、源码入口等等相关内容,阅读专题下面的文章了解更多详细推荐内容。

0

2026.01.29

Java字符串处理使用教程合集
Java字符串处理使用教程合集

本专题整合了Java字符串截取、处理、使用、实战等等教程内容,阅读专题下面的文章了解详细操作教程。

0

2026.01.29

Java空对象相关教程合集
Java空对象相关教程合集

本专题整合了Java空对象相关教程,阅读专题下面的文章了解更多详细内容。

3

2026.01.29

clawdbot ai使用教程 保姆级clawdbot部署安装手册
clawdbot ai使用教程 保姆级clawdbot部署安装手册

Clawdbot是一个“有灵魂”的AI助手,可以帮用户清空收件箱、发送电子邮件、管理日历、办理航班值机等等,并且可以接入用户常用的任何聊天APP,所有的操作均可通过WhatsApp、Telegram等平台完成,用户只需通过对话,就能操控设备自动执行各类任务。

25

2026.01.29

clawdbot龙虾机器人官网入口 clawdbot ai官方网站地址
clawdbot龙虾机器人官网入口 clawdbot ai官方网站地址

clawdbot龙虾机器人官网入口:https://clawd.bot/,clawdbot ai是一个“有灵魂”的AI助手,可以帮用户清空收件箱、发送电子邮件、管理日历、办理航班值机等等,并且可以接入用户常用的任何聊天APP,所有的操作均可通过WhatsApp、Telegram等平台完成,用户只需通过对话,就能操控设备自动执行各类任务。

16

2026.01.29

Golang 网络安全与加密实战
Golang 网络安全与加密实战

本专题系统讲解 Golang 在网络安全与加密技术中的应用,包括对称加密与非对称加密(AES、RSA)、哈希与数字签名、JWT身份认证、SSL/TLS 安全通信、常见网络攻击防范(如SQL注入、XSS、CSRF)及其防护措施。通过实战案例,帮助学习者掌握 如何使用 Go 语言保障网络通信的安全性,保护用户数据与隐私。

8

2026.01.29

俄罗斯Yandex引擎入口
俄罗斯Yandex引擎入口

2026年俄罗斯Yandex搜索引擎最新入口汇总,涵盖免登录、多语言支持、无广告视频播放及本地化服务等核心功能。阅读专题下面的文章了解更多详细内容。

585

2026.01.28

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PHP基础入门课程
PHP基础入门课程

共33课时 | 2万人学习

PHP会话控制/文件上传/分页技术
PHP会话控制/文件上传/分页技术

共22课时 | 2.1万人学习

PHP快速操控Excel之PhpSpreadsheet
PHP快速操控Excel之PhpSpreadsheet

共16课时 | 8万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号