0

0

如何在 Windows 上安全地让多个 Python 脚本并发写入同一文件

花韻仙語

花韻仙語

发布时间:2026-01-05 14:03:16

|

319人浏览过

|

来源于php中文网

原创

如何在 Windows 上安全地让多个 Python 脚本并发写入同一文件

本文介绍使用 `portalocker` 库实现跨进程文件写入锁,确保多实例 python 脚本在 windows 下安全、有序地向同一文本文件追加内容,避免竞态与覆盖,且支持自动等待而非报错退出。

在 Windows 环境下运行多个 Python 进程(如并行执行相同脚本)时,若它们都尝试写入同一个文本文件(如记录已完成任务的 completed.txt),极易因缺乏同步机制导致数据丢失、内容错乱或 PermissionError/IOError 异常。你当前的逻辑是:每处理完一个任务就将该任务名追加到 completedlist,再一次性写入文件——这种“累积后批量写入”模式虽简洁,但在多实例场景下存在明显风险:两个进程可能同时打开文件、覆盖彼此内容,或因写入顺序混乱导致重复/遗漏。

解决此问题的核心是强制写入操作互斥,即任一进程写入时,其他进程必须等待。Python 标准库中的 threading.Lock 仅作用于线程内,无法跨进程;而 Windows 对文件句柄的独占控制又较严格,简单用 open(..., 'a') 并不能保证原子性。此时,推荐使用轻量、稳定、跨平台的第三方库 portalocker ——它通过调用系统级文件锁(Windows 使用 _winapi.LockFileEx,类 Unix 使用 fcntl.flock)实现真正的进程级排他访问。

✅ 正确做法:带自动等待的排他写入

首先安装依赖:

纳米漫剧流水线
纳米漫剧流水线

360推出的国内首个工业级AI漫剧生产平台

下载
pip install portalocker

然后重构你的写入逻辑(注意:必须使用 'a' 模式打开文件,并在写入前加锁、写入后解锁):

立即学习Python免费学习笔记(深入)”;

import portalocker
import time

FILE_PATH = "completed.txt"

def append_to_file(items):
    """安全地将 items 列表逐行追加到文件,自动等待锁释放"""
    for item in items:
        # 关键:每次写入单行,避免长时持锁影响并发效率
        while True:
            try:
                with open(FILE_PATH, 'a', encoding='utf-8') as f:
                    portalocker.lock(f, portalocker.LOCK_EX | portalocker.LOCK_NB)
                    f.write(f"{item}\n")
                    f.flush()  # 确保立即写入磁盘,避免缓冲区延迟
                    portalocker.unlock(f)
                break  # 写入成功,跳出重试循环
            except portalocker.LockException:
                # 文件被其他进程锁定,等待 0.5 秒后重试
                time.sleep(0.5)
            except OSError as e:
                # 兜底:捕获可能的权限/路径异常(如文件被删除)
                print(f"写入失败: {e}")
                time.sleep(1)

# 在你的主循环中调用(保持原有结构不变)
for i in newlist:
    runFunction()
    completedlist.append(i)
    append_to_file([i])  # 每次只追加当前项,更健壮

⚠️ 注意事项与最佳实践

  • 不要批量写整个 completedlist:原逻辑中“累积后全量写入”会显著延长锁持有时间,降低并发吞吐。改为每完成一项立即追加一行,既保持语义清晰,又最小化锁竞争窗口。
  • 务必使用 'a'(append)模式:确保所有写入都发生在文件末尾,避免因文件指针偏移引发覆盖。
  • 显式调用 f.flush():防止操作系统缓存导致内容未及时落盘,尤其在多进程环境下至关重要。
  • LOCK_NB + time.sleep() 实现非阻塞等待:避免 portalocker.lock(f, portalocker.LOCK_EX) 直接抛出异常终止程序;通过捕获 LockException 并轮询,实现优雅等待。
  • 编码声明不可省略:Windows 默认编码易引发 UnicodeEncodeError,显式指定 encoding='utf-8' 提升鲁棒性。
  • 避免锁文件本身被误删:确保 completed.txt 不被其他程序意外删除或移动,否则锁机制失效。

通过以上改造,你无需更改脚本整体流程,即可安全启动任意数量的实例并行处理 newlist ——每个任务结果都会按实际完成顺序、无冲突地持久化到同一文件中。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

765

2023.08.10

append用法
append用法

append是一个常用的命令行工具,用于将一个文件的内容追加到另一个文件的末尾。想了解更多append用法相关内容,可以阅读本专题下面的文章。

348

2023.10.25

python中append的用法
python中append的用法

在Python中,append()是列表对象的一个方法,用于向列表末尾添加一个元素。想了解更多append的更多内容,可以阅读本专题下面的文章。

1080

2023.11.14

python中append的含义
python中append的含义

本专题整合了python中append的相关内容,阅读专题下面的文章了解更多详细内容。

185

2025.09.12

windows查看端口占用情况
windows查看端口占用情况

Windows端口可以认为是计算机与外界通讯交流的出入口。逻辑意义上的端口一般是指TCP/IP协议中的端口,端口号的范围从0到65535,比如用于浏览网页服务的80端口,用于FTP服务的21端口等等。怎么查看windows端口占用情况呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

1496

2023.07.26

查看端口占用情况windows
查看端口占用情况windows

端口占用是指与端口关联的软件占用端口而使得其他应用程序无法使用这些端口,端口占用问题是计算机系统编程领域的一个常见问题,端口占用的根本原因可能是操作系统的一些错误,服务器也可能会出现端口占用问题。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

1169

2023.07.27

windows照片无法显示
windows照片无法显示

当我们尝试打开一张图片时,可能会出现一个错误提示,提示说"Windows照片查看器无法显示此图片,因为计算机上的可用内存不足",本专题为大家提供windows照片无法显示相关的文章,帮助大家解决该问题。

835

2023.08.01

windows查看端口被占用的情况
windows查看端口被占用的情况

windows查看端口被占用的情况的方法:1、使用Windows自带的资源监视器;2、使用命令提示符查看端口信息;3、使用任务管理器查看占用端口的进程。本专题为大家提供windows查看端口被占用的情况的相关的文章、下载、课程内容,供大家免费下载体验。

462

2023.08.02

C# ASP.NET Core微服务架构与API网关实践
C# ASP.NET Core微服务架构与API网关实践

本专题围绕 C# 在现代后端架构中的微服务实践展开,系统讲解基于 ASP.NET Core 构建可扩展服务体系的核心方法。内容涵盖服务拆分策略、RESTful API 设计、服务间通信、API 网关统一入口管理以及服务治理机制。通过真实项目案例,帮助开发者掌握构建高可用微服务系统的关键技术,提高系统的可扩展性与维护效率。

3

2026.03.11

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.5万人学习

Django 教程
Django 教程

共28课时 | 4.9万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.9万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号