0

0

Python aiofiles 如何与 asyncio 配合实现高并发文件写入

冰川箭仙

冰川箭仙

发布时间:2026-01-25 19:16:02

|

131人浏览过

|

来源于php中文网

原创

aiofiles.open写文件更慢是因为默认无缓冲,每次write都触发系统调用,且底层依赖线程池而非真正的异步I/O;提升吞吐关键在减少I/O次数、合理限流并发,并根据场景选择同步buffering或asyncio.to_thread。

python aiofiles 如何与 asyncio 配合实现高并发文件写入

为什么直接用 aiofiles.open 写文件反而更慢?

因为 aiofiles.open 默认不缓冲,每次 write() 都触发一次系统调用(即使内容很小),在高并发场景下会放大事件循环调度开销。真正提升吞吐的关键不是“用异步函数”,而是减少 I/O 次数 + 合理控制协程并发量。

  • 单个大文件写入:用同步 open() + buffering=8192 通常比 aiofiles 更快
  • 大量小文件并发写入:才适合 aiofiles,但必须配合 asyncio.Semaphore 限流,否则可能耗尽系统文件描述符或触发 OSError: Too many open files
  • aiofiles 底层仍依赖线程池(loop.run_in_executor)模拟异步,不是真正的异步 I/O —— 这点常被忽略

如何安全地并发写入多个文件?

核心是用 asyncio.Semaphore 控制同时打开的文件数,避免资源打满。示例中限制为 10 个并发写操作:

import asyncio
import aiofiles
import os
<p>sem = asyncio.Semaphore(10)  # 控制最大并发写入数</p><p>async def write_file(filename: str, content: str):
async with sem:  # 等待许可
try:
async with aiofiles.open(filename, "w") as f:
await f.write(content)
except OSError as e:
if e.errno == 24:  # Too many open files
print(f"警告:{filename} 写入失败 - {e}")
raise</p><h1>启动 100 个写任务</h1><p>tasks = [write<em>file(f"out</em>{i}.txt", f"data_{i}") for i in range(100)]
await asyncio.gather(*tasks, return_exceptions=True)
  • 不要省略 async with sem,尤其在循环中启动大量任务时
  • return_exceptions=True 防止一个失败导致整个 gather 中断
  • 注意 aiofiles.open(..., "w") 不支持 buffering 参数,无法像同步那样调优缓冲区

写入大字符串时要不要手动分块?

要。如果单次 write() 传入几 MB 的字符串,aiofiles 会把它整个加载进内存再交由线程池处理,容易引发内存峰值。建议按 64KB~1MB 分块写入:

Chromox
Chromox

Chromox是一款领先的AI在线生成平台,专为喜欢AI生成技术的爱好者制作的多种图像、视频生成方式的内容型工具平台。

下载

立即学习Python免费学习笔记(深入)”;

async def write_large_content(filename: str, content: str, chunk_size: int = 1024*64):
    async with aiofiles.open(filename, "w") as f:
        for i in range(0, len(content), chunk_size):
            chunk = content[i:i + chunk_size]
            await f.write(chunk)
  • 分块大小不是越大越好:超过 1MB 可能增加单次线程池阻塞时间
  • 若内容来自生成器(如逐行处理日志),优先用 async for line in ... 流式写入,而非拼成大字符串
  • 对超大文件(>1GB),考虑用同步方式配合 mmapshutil.copyfileobj,异步在此场景无优势

有没有比 aiofiles 更适合高并发写的替代方案?

有,但取决于场景。纯文本批量写入时,asyncio.to_thread + 同步 open 往往更稳、更易调试:

import asyncio
<p>async def sync_write_in_thread(filename: str, content: str):
def _write():
with open(filename, "w", buffering=8192) as f:
f.write(content)
await asyncio.to_thread(_write)
  • to_thread(Python 3.9+)比 aiofiles 更轻量,且能利用 bufferingnewline 等底层优化
  • 如果项目已用 aiofiles,不必强行替换;但新项目遇到写性能瓶颈,先测 to_thread 版本
  • 真正需要异步 I/O 的场景(如网络响应直接落盘、实时日志流),应考虑 uvloop + libuv 绑定方案,而非纯 Python 层的 aiofiles

实际压测中,多数 Web 日志或批处理写入场景,瓶颈不在「是否异步」,而在磁盘随机写延迟和 OS 文件缓存策略。别过早优化 aiofiles 调用本身,先确认是不是真的卡在写文件上。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

WorkBuddy
WorkBuddy

腾讯云推出的AI原生桌面智能体工作台

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

760

2023.08.03

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

221

2023.09.04

java基础知识汇总
java基础知识汇总

java基础知识有Java的历史和特点、Java的开发环境、Java的基本数据类型、变量和常量、运算符和表达式、控制语句、数组和字符串等等知识点。想要知道更多关于java基础知识的朋友,请阅读本专题下面的的有关文章,欢迎大家来php中文网学习。

1567

2023.10.24

字符串介绍
字符串介绍

字符串是一种数据类型,它可以是任何文本,包括字母、数字、符号等。字符串可以由不同的字符组成,例如空格、标点符号、数字等。在编程中,字符串通常用引号括起来,如单引号、双引号或反引号。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

649

2023.11.24

java读取文件转成字符串的方法
java读取文件转成字符串的方法

Java8引入了新的文件I/O API,使用java.nio.file.Files类读取文件内容更加方便。对于较旧版本的Java,可以使用java.io.FileReader和java.io.BufferedReader来读取文件。在这些方法中,你需要将文件路径替换为你的实际文件路径,并且可能需要处理可能的IOException异常。想了解更多java的相关内容,可以阅读本专题下面的文章。

1228

2024.03.22

php中定义字符串的方式
php中定义字符串的方式

php中定义字符串的方式:单引号;双引号;heredoc语法等等。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

1204

2024.04.29

go语言字符串相关教程
go语言字符串相关教程

本专题整合了go语言字符串相关教程,阅读专题下面的文章了解更多详细内容。

193

2025.07.29

c++字符串相关教程
c++字符串相关教程

本专题整合了c++字符串相关教程,阅读专题下面的文章了解更多详细内容。

131

2025.08.07

C# ASP.NET Core微服务架构与API网关实践
C# ASP.NET Core微服务架构与API网关实践

本专题围绕 C# 在现代后端架构中的微服务实践展开,系统讲解基于 ASP.NET Core 构建可扩展服务体系的核心方法。内容涵盖服务拆分策略、RESTful API 设计、服务间通信、API 网关统一入口管理以及服务治理机制。通过真实项目案例,帮助开发者掌握构建高可用微服务系统的关键技术,提高系统的可扩展性与维护效率。

76

2026.03.11

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.5万人学习

Django 教程
Django 教程

共28课时 | 5万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.9万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号