处理大体积数据文件应避免全量加载，采用流式读写、分块处理和合理编码：逐行读取用for line in open()并指定encoding；超大或无换行文件用f.read(8192)分块；写入时聚合批量落盘；始终用with管理文件，关键写入先写临时文件再原子替换。
处理大体积数据文件时，核心是避免一次性加载全部内容到内存，而是通过流式读写、分块处理和合理编码来保持效率与稳定性。
用生成器逐行读取文本文件
对于超大文本文件（如日志、CSV），直接 readlines() 会耗尽内存。推荐用迭代方式逐行处理：
- 使用
for line in open('large.txt'):—— 文件对象本身是可迭代的，底层按缓冲区读取，内存占用低 - 显式控制编码：加
encoding='utf-8'防止解码错误，尤其含中文或特殊符号时 - 配合
strip()去除换行符和空格，避免后续处理出错
分块读取二进制或超大文本文件
当单行也可能极大（如无换行的 JSON 行、Base64 数据），或需自定义处理单元时，用固定大小分块更稳妥：
- 用
with open('data.bin', 'rb') as f:打开，再循环调用f.read(8192)（每次读 8KB） - 对文本类大文件，也可用
io.TextIOWrapper包装二进制流，指定编码后分块解码 - 注意块末尾可能截断多字节字符（如 UTF-8 中文），建议在文本场景优先用逐行；若必须分块，可在解码后检查是否以不完整字节序列结尾并合并下一块
高效写入：避免频繁磁盘 I/O
高频小量写入（如循环中每轮写一行）会严重拖慢速度。应聚合后再批量落盘：
立即学习“Python免费学习笔记（深入）”；
- 用列表暂存多条记录，达到一定数量（如 1000 条）或内存阈值后，一次性
f.writelines(lines) - 写入前确保已用
'\n'.join(...)拼接，并统一换行符（\n兼容性更好） - 对 CSV 或 JSONL 等格式，优先用标准库
csv.writer或json.dump流式写入，它们内部已做缓冲优化
上下文管理与异常安全
大文件操作周期长，意外中断易导致文件损坏或资源泄漏：
- 始终用
with open(...)自动关闭文件，即使发生异常也不遗漏 - 写入关键数据时，先写入临时文件（如
output.tmp），成功后再os.replace()原子替换原文件，防止中断造成脏数据 - 读取前用
os.path.getsize()快速判断文件是否为空或过小，提前规避无效处理
