Python文件处理性能优化关键在于匹配场景选择I/O模式与缓冲策略：小文件随机访问用mmap，大日志顺序读用迭代器，高行号定位用mmap+find，编码需预判并显式指定，批量写入优于逐行flush，路径操作优先pathlib，减少冗余系统调用。
Python 文件处理性能主要取决于 I/O 模式选择、缓冲策略、数据结构使用以及是否涉及磁盘寻址瓶颈。单纯用 open() 读写不等于高效，关键在匹配场景做合理取舍。
同步读写 vs. 内存映射（mmap）
小文件（open() + read() 足够；大文件（>100MB）且需随机访问某段内容时，mmap 可避免整块加载，减少内存压力。但 mmap 不适合频繁修改的场景，因写回磁盘行为不可控。
- 顺序读大日志？用
for line in f:迭代器，比f.readlines()节省内存 - 要提取第 500 万行？不用跳过前 4999999 行，改用
mmap+find(b'\n', start)定位更快 - 注意：Windows 上 mmap 对追加写入支持有限，生产环境建议先测试
文本编码与解码开销不可忽视
UTF-8 是默认且推荐的编码，但若文件实际是 GBK 或 Latin-1，强制用 utf-8 解码会触发大量异常回退或替换逻辑，拖慢 2–5 倍。用 chardet 或 charset-normalizer 预判编码仅需一次，后续可指定 encoding 加速。
- 读取前先采样前 10KB 判断编码：
charset_normalizer.from_path("file.txt")[0].confidence - 已知编码就显式传入：
open("file.txt", encoding="gbk")，避免 Python 自动探测 - 纯二进制处理（如图片、压缩包）直接用
rb模式，绕过所有文本解码
批量写入优于逐行 flush
每次调用 print(..., file=f) 或 f.write() 后跟 f.flush()，会强制刷盘，极大降低吞吐。除非日志要求实时落盘，否则让系统自动缓冲更高效。
立即学习“Python免费学习笔记（深入）”；
- 写入百万行数据？先拼成列表或用生成器，再
f.writelines(lines) - 需要控制缓冲大小？初始化时指定
buffering=8192（单位字节），而非默认 -1（系统推荐） - 临时文件写完再重命名（atomic write）：用
tempfile.NamedTemporaryFile(delete=False)，避免中断导致损坏
路径操作和存在性检查也影响性能
频繁调用 os.path.exists() 或 pathlib.Path.is_file() 本质是系统调用，每秒几千次就会成为瓶颈。能缓存就缓存，能合并就合并。
- 批量处理前先
os.scandir()一次性获取目录项及属性，比多次stat()快 2–3 倍 - 判断路径是否存在且可读？用
os.access(path, os.R_OK)单次调用替代 exists + stat - 路径拼接别用字符串加法，用
pathlib.Path / "sub" / "file.txt"，既安全又略快于os.path.join
不复杂但容易忽略。IO 性能不是靠换库，而是看清数据流、减少冗余系统调用、匹配真实访问模式。
