python处理大文件应采用流式读取和生成器机制以避免内存溢出：逐行读取文本、分块读取二进制文件、用生成器封装逻辑、借助ijson/xml.etree流式解析结构化数据。
处理大文件时，一次性加载到内存会引发内存溢出。Python 提供了流式读取和生成器机制，让程序能逐块、按需处理数据，内存占用稳定且效率更高。
流式读取文本文件：避免 read() 全量加载
用 open() 配合 for 循环逐行读取，是默认的流式行为，底层使用缓冲区，不加载全文到内存：
- ✅ 正确写法：for line in open('huge.log', encoding='utf-8'): —— 每次只读一行，适合日志、CSV 等行结构文件
- ⚠️ 避免：open(...).read() 或 readlines() —— 会把整个文件塞进内存，几 GB 文件极易崩溃
- ? 小技巧：用 enumerate() 带行号处理，或搭配 line.strip() 去除换行符和空格
分块读取二进制/超长行文件：控制每次读取大小
当文件无明确换行（如大 JSON、二进制 dump）或某行极长时，可用 read(size) 手动分块：
- ✅ 推荐块大小：8192 或 65536 字节（即 8KB–64KB），兼顾 I/O 效率与内存压力
- ✅ 示例：读取大图片/视频片段：with open('video.bin', 'rb') as f: while chunk := f.read(65536): process(chunk)
- ⚠️ 注意：文本模式下直接分块读可能截断多字节字符（如 UTF-8 中文），建议优先用逐行读；若必须分块，请用 io.TextIOWrapper 配合编码处理
用生成器封装逻辑：解耦读取与处理
把文件解析逻辑封装成生成器函数，调用方按需取值，清晰、可复用、易测试：
立即学习“Python免费学习笔记（深入）”；
- ✅ 示例：解析 CSV 行但跳过注释和空行
def read_clean_csv(path):
with open(path, encoding='utf-8') as f:
for line in f:
if line.strip() and not line.startswith('#'):
yield line.strip().split(',')
- ✅ 调用时：for row in read_clean_csv('data.csv'): —— 不预先构建列表，内存恒定
- ? 进阶：配合 itertools.islice 实现“读前 N 条”，或用 yield from 组合多个生成器
处理大 JSON/XML 等结构化数据：用专用流式解析器
标准 json.load() 会加载整个对象树，不适用于 GB 级 JSON 数组或 XML 文档：
- ✅ JSON 流式：用 ijson 库按路径提取字段，例如 ijson.parse(f) 或 ijson.items(f, 'item.name')
- ✅ XML 流式：用 xml.etree.ElementTree.iterparse() 边解析边清理已处理节点，防止内存堆积
- ⚠️ 切勿：用 json.loads(f.read()) —— 本质仍是全量加载字符串再解析，双重内存开销
