真正节省内存的关键是逐行迭代、即时处理、不累积；用for line in open()流式读取，避免readlines()或列表推导式等全量加载操作。
内存不够时按行读取文件本身是合理的做法，问题往往出在“看似按行读取”，实际却一次性加载了全部内容——比如用了 readlines() 或把每行处理结果全存进列表。真正节省内存的关键是：**逐行迭代、即时处理、不累积**。
这是最轻量、最常用的方式。Python 文件对象是可迭代的，for 循环会自动按行缓冲读取，内存只保留当前一行：
with open("large.txt") as f:<br> for line in f:<br> process(line) # 立即处理，不保存f.readlines() 或 list(f) —— 这会把所有行读进内存，和 read() 几乎一样吃内存常见误区：先用 [line for line in f if line.strip()] 构建新列表——这又把符合条件的行全装进内存了。
(line for line in f if line.strip())，它不立刻计算，只是定义规则for line in f:<br> if line.strip():<br> process(line)
比如清洗日志、转换格式后保存，避免用 results.append(...) 最后再 writelines(results)。
立即学习“Python免费学习笔记（深入）”；
with open("in.txt") as fin, open("out.txt", "w") as fout:<br> for line in fin:<br> cleaned = clean(line)<br> fout.write(cleaned)fout.write() 比 fout.writelines() 更可控，避免意外换行或编码问题如果真要“读第100万行”，又不想遍历前面所有行，普通按行读取就不够高效了。
linecache.getline("file.txt", 1000000) —— 它内部做了缓存，适合偶尔查几行mmap + 自己找换行符，但实现复杂，一般场景不推荐基本上就这些。核心就一条：别让数据在内存里“堆着”。只要不显式收集、不调用会全加载的方法，哪怕几十GB的纯文本，也能靠一行行流式处理完。
以上就是按行读取内存不够？如何用python解决？的详细内容，更多请关注php中文网其它相关文章！
python怎么学习？python怎么入门？python在哪学？python怎么学才快？不用担心，这里为大家提供了python速学教程(入门到精通)，有需要的小伙伴保存下载就能学习啦！
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
437
收藏
