0

0

Python aiohttp 异步网络请求实践

舞夢輝影

舞夢輝影

发布时间:2026-02-22 09:50:03

|

694人浏览过

|

来源于php中文网

原创

必须用 async with aiohttp.clientsession() 管理会话生命周期,显式设置 timeout 防止协程挂起,post json 用 json= 参数而非 data+headers,限制并发数避免连接耗尽或 429 错误。

python aiohttp 异步网络请求实践

async with aiohttp.ClientSession() 必须用,不能只写 await session.get()

直接 await session.get("https://example.com") 会报 RuntimeError: Session is closed —— 因为 aiohttp.ClientSession 不是“即用即弃”的工具,它管理连接池、Cookie、DNS 缓存等资源,必须用 async with 确保正确生命周期。不用上下文管理器,连接可能泄漏,短时间高频请求后出现 Too many open files 或连接超时。

  • 错误写法:session = aiohttp.ClientSession(); await session.get(...); await session.close()(手动 close 容易遗漏或抛异常中断)
  • 正确写法:async with aiohttp.ClientSession() as session: await session.get(...)
  • 如果要复用 session(比如多个请求),把它作为参数传入协程,或放在类实例中,但别在函数里反复创建/关闭

timeout 参数不设就等于没设,aiohttp 默认不超时

aiohttpClientTimeout 默认是 None,意味着 DNS 查询、TCP 握手、TLS 握手、首字节等待、整个响应读取……全都不设限。线上服务一旦上游卡住,你的协程就永远挂起,拖垮整个 asyncio event loop。

  • 必须显式配置:timeout=aiohttp.ClientTimeout(total=10, connect=3, sock_read=5)
  • total 是总上限,其他子项不能超过它;connect 控制建连阶段(含 DNS),sock_read 控制从 socket 读响应体的时间
  • 注意:如果用 raise_for_status=True,HTTP 4xx/5xx 错误仍会抛异常,但超时是独立机制,二者不冲突

POST 发 JSON 数据,别手动 json.dumps + headers,用 json= 参数

session.post(url, data=json.dumps({...}), headers={"Content-Type": "application/json"}) 看似没问题,实则埋雷:手动序列化可能忽略 ensure_ascii=False 导致中文乱码;headers 写错大小写或漏掉 charset;更严重的是,data= 会绕过 aiohttp 对 JSON 的自动编码和 content-type 设置逻辑,某些服务器(尤其 FastAPI/Starlette)会拒绝解析。

Calliper 文档对比神器
Calliper 文档对比神器

文档内容对比神器

下载
  • 正确做法:await session.post(url, json={"key": "中文值"}) —— aiohttp 自动处理编码、header、content-type
  • 如果需要控制 JSON 序列化选项(如 default 函数),得自己构造 json.dumps(...),但此时必须配 data= + 手动 header,且确保 Content-Typeapplication/json; charset=utf-8
  • json=data= 互斥,同时传会报 ValueError

并发请求数量失控导致 ConnectionRefusedError 或 429

asyncio.gather(*[session.get(...) for _ in range(1000)]) 看起来高效,实际会让 aiohttp 在默认配置下瞬间发起上千 TCP 连接,远超系统文件描述符限制或目标服务器承受能力,结果不是本地报 [Errno 24] Too many open files,就是对方返回 429 Too Many Requests 或直接 ConnectionRefusedError

立即学习Python免费学习笔记(深入)”;

  • 限制并发数:用 asyncio.Semaphore(10) 包裹请求逻辑,确保最多 10 个并发
  • ClientSession 默认启用连接池(connector=aiohttp.TCPConnector(limit=100, limit_per_host=30)),但这个 limit 是“最大空闲连接数”,不是并发请求数,别混淆
  • 对同一 host 大量请求,建议调高 limit_per_host,否则可能因连接复用不足反复建连
aiohttp 的异步行为高度依赖底层 connector 和 event loop 配置,真正上线前一定要压测并观察连接状态(netstat -an | grep :443 | wc -l)、timeouts 日志、以及是否出现 Unclosed client session 警告。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
json数据格式
json数据格式

JSON是一种轻量级的数据交换格式。本专题为大家带来json数据格式相关文章,帮助大家解决问题。

443

2023.08.07

json是什么
json是什么

JSON是一种轻量级的数据交换格式,具有简洁、易读、跨平台和语言的特点,JSON数据是通过键值对的方式进行组织,其中键是字符串,值可以是字符串、数值、布尔值、数组、对象或者null,在Web开发、数据交换和配置文件等方面得到广泛应用。本专题为大家提供json相关的文章、下载、课程内容,供大家免费下载体验。

544

2023.08.23

jquery怎么操作json
jquery怎么操作json

操作的方法有:1、“$.parseJSON(jsonString)”2、“$.getJSON(url, data, success)”;3、“$.each(obj, callback)”;4、“$.ajax()”。更多jquery怎么操作json的详细内容,可以访问本专题下面的文章。

322

2023.10.13

go语言处理json数据方法
go语言处理json数据方法

本专题整合了go语言中处理json数据方法,阅读专题下面的文章了解更多详细内容。

81

2025.09.10

Python FastAPI异步API开发_Python怎么用FastAPI构建异步API
Python FastAPI异步API开发_Python怎么用FastAPI构建异步API

Python FastAPI 异步开发利用 async/await 关键字,通过定义异步视图函数、使用异步数据库库 (如 databases)、异步 HTTP 客户端 (如 httpx),并结合后台任务队列(如 Celery)和异步依赖项,实现高效的 I/O 密集型 API,显著提升吞吐量和响应速度,尤其适用于处理数据库查询、网络请求等耗时操作,无需阻塞主线程。

28

2025.12.22

Python 微服务架构与 FastAPI 框架
Python 微服务架构与 FastAPI 框架

本专题系统讲解 Python 微服务架构设计与 FastAPI 框架应用,涵盖 FastAPI 的快速开发、路由与依赖注入、数据模型验证、API 文档自动生成、OAuth2 与 JWT 身份验证、异步支持、部署与扩展等。通过实际案例,帮助学习者掌握 使用 FastAPI 构建高效、可扩展的微服务应用,提高服务响应速度与系统可维护性。

225

2026.02.06

cookie
cookie

Cookie 是一种在用户计算机上存储小型文本文件的技术,用于在用户与网站进行交互时收集和存储有关用户的信息。当用户访问一个网站时,网站会将一个包含特定信息的 Cookie 文件发送到用户的浏览器,浏览器会将该 Cookie 存储在用户的计算机上。之后,当用户再次访问该网站时,浏览器会向服务器发送 Cookie,服务器可以根据 Cookie 中的信息来识别用户、跟踪用户行为等。

6475

2023.06.30

document.cookie获取不到怎么解决
document.cookie获取不到怎么解决

document.cookie获取不到的解决办法:1、浏览器的隐私设置;2、Same-origin policy;3、HTTPOnly Cookie;4、JavaScript代码错误;5、Cookie不存在或过期等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

363

2023.11.23

pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法
pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法

本专题系统整理pixiv网页版官网入口及登录访问方式,涵盖官网登录页面直达路径、在线阅读入口及快速进入方法说明,帮助用户高效找到pixiv官方网站,实现便捷、安全的网页端浏览与账号登录体验。

928

2026.02.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.4万人学习

Django 教程
Django 教程

共28课时 | 4.4万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.6万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号