需在每次创建ClientSession时显式传入aiohttp.ClientTimeout和TCPConnector:timeout控制DNS、连接、读写全周期超时,推荐显式设total/connect/sock_read;connector管理连接池,需设limit和limit_per_host防止单域名占满,并复用session对象。

如何用 aiohttp.ClientTimeout 设置全局请求超时
全局超时不是靠环境变量或全局配置实现的,必须在每次创建 aiohttp.ClientSession 时显式传入 timeout 参数。它控制整个请求生命周期(DNS 解析、连接、读写),不是仅限于某一个阶段。
常见错误是只设 timeout=10 却没意识到这其实是 ClientTimeout(total=10),而默认的 connect 和 sock_read 等子超时继承自 total,容易在高延迟网络下被误触发。
- 推荐显式构造:
timeout=aiohttp.ClientTimeout(total=30, connect=10, sock_read=20) - 若想彻底禁用超时(不建议),用
timeout=None,但会失去对卡死连接的保护 -
total必须 ≥ 所有子超时之和,否则初始化会报ValueError: Total timeout cannot be less than connect timeout
如何通过 aiohttp.TCPConnector 控制连接池大小
连接池由 TCPConnector 管理,默认最多 100 个空闲连接、总共不限(limit=100, limit_per_host=0),但实际并发请求数受 limit 和 limit_per_host 共同约束。
很多人以为调大 limit 就能提升吞吐,却忽略了 DNS 缓存、服务端连接限制、本地文件描述符上限等隐性瓶颈。
- 设总连接数上限:
connector = aiohttp.TCPConnector(limit=50) - 防止单域名占满池子:
limit_per_host=10(尤其爬多域名时必加) - 启用连接复用需设
keepalive_timeout=30(默认 15s),太短会导致频繁重连 - 注意:连接池对象必须复用,不要每次请求都新建
ClientSession(connector=...)
把超时和连接池一起配进 ClientSession
二者必须同时配置才生效,且 connector 和 timeout 都是一次性绑定到 session 的——session 关闭后所有设置失效。
import aiohttptimeout = aiohttp.ClientTimeout(total=30, connect=10, sock_read=20) connector = aiohttp.TCPConnector( limit=50, limit_per_host=10, keepalive_timeout=30, pool_limit=50, # 已废弃,用 limit 替代 )
async with aiohttp.ClientSession( timeout=timeout, connector=connector ) as session: async with session.get("https://www.php.cn/link/85c19375f0c12c6793bf66b4e2666dc4") as resp: print(await resp.text())
漏掉 timeout=... 或 connector=... 中任意一个,对应功能就不起作用;用完记得 await session.close() 或用 async with,否则连接不会释放。
为什么有时设了 limit_per_host=5 还是发了 20 个并发请求?
因为 limit_per_host 只限制「同一 host」的并发连接数,但如果你请求的是 https://api1.example.com、https://api2.example.com、https://www.example.com,它们被视为不同 host,各自独立计数。
更隐蔽的问题是:HTTP/2 或 HTTPS 的 SNI 主机名解析可能让看似相同的域名被拆成多个连接组;某些代理或负载均衡器也会插入额外跳转,导致 host 判断失准。
- 调试时可打印
session.connector._conns(非公开属性,仅用于排查)观察当前各 host 的活跃连接数 - 用
curl -v https://host看实际响应头中的Server和重定向目标,确认是否真为同一 host - 如需严格控并发,建议上层加
asyncio.Semaphore(5),比依赖 connector 更可靠
连接池和超时参数看着简单,但组合使用时相互影响明显——比如 keepalive_timeout 太短会让连接提前关闭,导致后续请求被迫走新连接,进而触发 connect 超时;这些细节不验证就上线,压测时才暴露。










