0

0

c++中如何读取大文件_c++读取大文件的方法

穿越時空

穿越時空

发布时间:2025-10-10 12:40:01

|

296人浏览过

|

来源于php中文网

原创

处理大文件时应避免一次性加载,采用分块读取。1. 文本文件可用std::getline逐行处理;2. 二进制或超大文件宜用固定缓冲区read()批量读取;3. 可禁用同步、解绑流、增大缓冲提升性能。关键是分块控制内存使用。

c++中如何读取大文件_c++读取大文件的方法

处理大文件时,C++需要避免一次性将整个文件加载到内存中,否则容易导致内存溢出。正确的方式是采用分块读取(流式读取),结合高效的I/O操作。以下是几种常用且有效的方法。

使用std::ifstream逐行读取

适合文本大文件,按行处理,每行读入内存后立即处理并释放。

  • 打开文件后用std::getline()逐行读取
  • 适用于日志、CSV等结构化文本文件
  • 注意:行长度不可控,极端情况仍可能占用较多内存

示例代码:

#include 
#include 
#include 

std::ifstream file("large_file.txt");
std::string line;
while (std::getline(file, line)) {
    // 处理每一行
    std::cout << line << std::endl;
}
file.close();

使用缓冲区批量读取二进制或文本数据

对超大文件(GB级以上)推荐使用固定大小的缓冲区进行分块读取,控制内存使用。

移动端无限滚动加载瀑布流
移动端无限滚动加载瀑布流

里面有2个文件夹。其中这个文件名是:finishing,是我项目还没有请求后台的数据的模拟写法。请求后台数据之后,瀑布流的js有一点点变化,放在文件名是:finished。变化在于需要穿参数到后台,和填充的内容都用后台的数据填充。看自己项目需求来。由于chrome模拟器是不允许读取本地文件json的,所以如果你要进行测试,在hbuilder打开项目就可以看到效果啦,或者是火狐浏览器。

下载

立即学习C++免费学习笔记(深入)”;

  • 调用read()方法每次读取指定字节
  • 适合二进制文件或不需要按行解析的场景
  • 可自定义缓冲区大小(如4KB、64KB)以平衡性能和内存

示例代码:

#include 
#include 
#include 

const size_t BUFFER_SIZE = 65536; // 64KB
std::ifstream file("huge_file.dat", std::ios::binary);
std::vector buffer(BUFFER_SIZE);

while (file) {
    file.read(buffer.data(), BUFFER_SIZE);
    size_t bytesRead = file.gcount();
    if (bytesRead == 0) break;

    // 处理buffer前bytesRead个字节
    processData(buffer.data(), bytesRead);
}
file.close();

提升性能的小技巧

在读取大文件时,可以通过一些优化手段提高效率。

  • 禁用同步以加快I/O:std::ios::sync_with_stdio(false);
  • 使用std::istream::tie(nullptr)解除cin/cout绑定
  • 对于频繁小量读取,考虑增大文件流内部缓冲区(通过rdbuf()->pubsetbuf()
  • 确保以std::ios::binary模式读取非文本内容,避免换行符转换开销
基本上就这些。根据文件类型选择合适的读取方式,关键是不要试图一口气全装进内存。分块处理才是稳定可靠的做法。

相关专题

更多
高德地图升级方法汇总
高德地图升级方法汇总

本专题整合了高德地图升级相关教程,阅读专题下面的文章了解更多详细内容。

4

2026.01.16

全民K歌得高分教程大全
全民K歌得高分教程大全

本专题整合了全民K歌得高分技巧汇总,阅读专题下面的文章了解更多详细内容。

1

2026.01.16

C++ 单元测试与代码质量保障
C++ 单元测试与代码质量保障

本专题系统讲解 C++ 在单元测试与代码质量保障方面的实战方法,包括测试驱动开发理念、Google Test/Google Mock 的使用、测试用例设计、边界条件验证、持续集成中的自动化测试流程,以及常见代码质量问题的发现与修复。通过工程化示例,帮助开发者建立 可测试、可维护、高质量的 C++ 项目体系。

10

2026.01.16

java数据库连接教程大全
java数据库连接教程大全

本专题整合了java数据库连接相关教程,阅读专题下面的文章了解更多详细内容。

33

2026.01.15

Java音频处理教程汇总
Java音频处理教程汇总

本专题整合了java音频处理教程大全,阅读专题下面的文章了解更多详细内容。

15

2026.01.15

windows查看wifi密码教程大全
windows查看wifi密码教程大全

本专题整合了windows查看wifi密码教程大全,阅读专题下面的文章了解更多详细内容。

42

2026.01.15

浏览器缓存清理方法汇总
浏览器缓存清理方法汇总

本专题整合了浏览器缓存清理教程汇总,阅读专题下面的文章了解更多详细内容。

7

2026.01.15

ps图片相关教程汇总
ps图片相关教程汇总

本专题整合了ps图片设置相关教程合集,阅读专题下面的文章了解更多详细内容。

9

2026.01.15

ppt一键生成相关合集
ppt一键生成相关合集

本专题整合了ppt一键生成相关教程汇总,阅读专题下面的的文章了解更多详细内容。

6

2026.01.15

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
CSS3 教程
CSS3 教程

共18课时 | 4.6万人学习

Sass 教程
Sass 教程

共14课时 | 0.8万人学习

Pandas 教程
Pandas 教程

共15课时 | 0.9万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号