Python文件写入慢主要因缓冲策略和编码方式不当；应合理设置缓冲区大小、优先用writelines()批量写入、默认选UTF-8编码、必要时用二进制模式跳过编码开销。
Python文件写入慢，往往不是代码逻辑问题，而是缓冲策略和编码方式没调好。合理设置缓冲区、避免频繁小写、选对编码和写入方式，性能能提升数倍甚至一个数量级。
缓冲区大小不是越大越好，要匹配使用场景
Python内置的open()默认开启行缓冲（终端）或全缓冲（文件），缓冲区大小通常为8192字节。但默认值未必最优：
- 写入大量小字符串（如日志逐条记录）：默认缓冲可能频繁触发刷盘，改用
buffering=1（行缓冲）或手动flush()更可控 - 批量写入大文本（如导出CSV/JSON）：显式设大缓冲（如
buffering=65536）可显著减少系统调用次数 - 实时性要求高（如监控日志）：用
buffering=0（仅限二进制模式）禁用缓冲，但会极大降低吞吐量，慎用
别用write()反复拼接字符串，优先用writelines()或批量构造
每次f.write(s)都涉及Python对象调用和I/O层判断，叠加编码转换开销。例如写10万行：
- ❌ 错误示范：
for line in lines: f.write(line + '\n')—— 10万次函数调用+10万次编码+潜在多次刷缓存 - ✅ 推荐做法：
f.writelines(line + '\n' for line in lines)或先'\n'.join(lines)再一次性write()—— 编码和系统调用大幅减少 - 注意：
writelines()不自动加换行符，需自行处理
编码选择影响性能，UTF-8通常是平衡之选
写入时字符→字节的编码过程是隐藏瓶颈。实测常见编码相对性能（以10MB中文文本为例）：
立即学习“Python免费学习笔记（深入）”；
- UTF-8：最快（ASCII字符单字节，常用汉字三字节，编码器高度优化）
- UTF-16：慢约30%~50%，因BOM处理、字节序判断及非ASCII字符固定双字节，冗余高
- GBK/GB2312：中文快，但兼容性差，遇到非中文字符易报错，不推荐通用场景
- 建议：除非明确需要兼容旧系统，否则统一用
encoding='utf-8'，并确保源数据无非法码点
二进制模式写入更高效，但需自行处理编码
如果对写入内容完全可控（如已知是UTF-8字节流），跳过文本层直接写二进制：
-
with open('out.bin', 'wb') as f: f.write(data_bytes)—— 避免Python文本I/O的换行符转换、编码/解码、错误处理器等开销 - 适用场景：序列化数据（pickle、msgpack）、网络响应体保存、日志聚合后写入
- 注意：必须确保
data_bytes是合法字节对象，不能传str；换行符需手动写b'\n'
不复杂但容易忽略。把缓冲、批量、编码、模式四点理清楚，多数文件写入性能问题就解决了。
