最可靠的方式是先写入同目录临时文件再用os.replace()原子替换原文件:它跨平台原子、避免损坏,需防覆盖、权限冲突及磁盘空间不足。

用 os.replace() 替换临时文件是最可靠的方式
Python 原生的 open(..., 'w') 不具备原子性:写入中途崩溃或被中断,目标文件会残留损坏内容。真正安全的做法是先写入临时文件,再用原子系统调用替换原文件。os.replace() 在 POSIX 和 Windows 上都保证原子性(只要源和目标在同个文件系统),比 os.rename() 更稳妥(后者在 Windows 上对已存在目标可能失败)。
- 临时文件必须与目标文件在同一目录下,否则跨分区移动不原子
- 推荐用
tempfile.NamedTemporaryFile(delete=False, dir=os.path.dirname(path))创建临时路径,避免命名冲突 - 写完后务必调用
os.replace(temp_path, target_path),不是shutil.move()(它可能退化为复制+删除) - 写入前可加
fd = os.open(temp_path, os.O_WRONLY | os.O_CREAT | os.O_EXCL)防止临时文件意外覆盖
为什么不能直接 f.write() 后 os.fsync()
os.fsync() 只能确保数据落盘,不能解决“写到一半程序挂了,文件内容既不是旧版也不是新版”这个问题。它解决的是持久性(durability),不是原子性(atomicity)。用户看到的仍是半截文件——这在配置文件、数据库快照等场景里是不可接受的。
- 即使调用了
f.flush()和os.fsync(f.fileno()),仍无法避免写入过程中断导致的中间态 - 某些文件系统(如 ext4 默认)还可能重排写入顺序,
fsync()也不能完全阻止元数据与数据不同步 - 这个方案常见于日志追加场景(append-only),但绝不适用于“全量覆写”需求
Windows 下要注意 os.replace() 的权限陷阱
Windows 默认不允许用新文件直接替换正在被其他进程打开读取的文件(比如另一个程序正用记事本打开它)。此时 os.replace() 会抛出 PermissionError: [WinError 5],而非静默失败。
- 如果目标文件可能被占用,需捕获异常并重试(例如加短延迟后循环尝试 3 次)
- 避免用
open(target_path, 'r')长时间持有句柄;读取方应使用sharing参数(如win32file.CreateFile(..., win32file.FILE_SHARE_READ))显式声明共享读取 - 不要依赖
os.remove()+os.rename()组合,它在 Windows 上不是原子的
小文件 vs 大文件:临时文件策略要区分
对几 KB 的配置文件,生成临时文件再替换毫无压力;但对几百 MB 的导出文件,频繁写临时文件会放大磁盘 I/O 和空间占用风险,尤其在低配机器或容器环境里。
立即学习“Python免费学习笔记(深入)”;
- 大文件建议先校验(如
hashlib.blake2b())再替换,防止写入完成但内容损坏 - 可考虑分块写入临时文件 +
os.replace(),而不是把整个内容 load 到内存再写 - 若磁盘空间紧张,替换前可用
shutil.disk_usage(os.path.dirname(path))检查剩余空间是否 ≥ 文件大小 × 2










