Python单线程高并发I/O靠事件循环+非阻塞I/O+协程协作调度,非多线程;await挂起协程交还控制权,I/O就绪后恢复;CPU密集型任务需用run_in_executor避免阻塞循环。

Python 单线程能处理高并发 I/O,靠的不是“同时执行多个任务”,而是“不等”——在等待 I/O(比如网络请求、文件读写、数据库查询)时,主动把控制权交出去,去处理其他已经就绪的任务。核心机制是 事件循环 + 非阻塞 I/O + 协程协作式调度,而不是靠多线程或 CPU 并行。
非阻塞 I/O 让线程不卡在等待上
传统同步 I/O(如 requests.get())会一直卡住线程,直到响应返回;而异步 I/O(如 aiohttp 或 asyncio.open_connection)底层使用操作系统提供的非阻塞接口(如 Linux 的 epoll、macOS 的 kqueue)。调用后立刻返回,系统会在数据就绪时通知事件循环。
- socket 设置为 non-blocking 模式,read/write 立即返回,若无数据则抛出
BlockingIOError - 事件循环持续监控成百上千个 socket 的状态变化,只对“可读/可写”的 socket 才真正发起操作
- 没有“空转轮询”,效率远高于 while 循环检查
协程让逻辑可暂停、可恢复
Python 的 async/await 定义的是协程函数,它不是线程,也不开新栈,只是普通函数对象加了个状态机。遇到 await 时,当前协程主动挂起,把控制权还给事件循环;等 I/O 就绪、结果可用时,事件循环再唤醒它继续执行。
-
await后面必须是Awaitable对象(如asyncio.Future、asyncio.Task、另一个协程) - 挂起和恢复不涉及线程切换开销,上下文保存在协程对象内部(如局部变量存在
__code__和__closure__中) - 一个线程里可以轻松维持数万协程,内存占用极小(每个协程约几百字节)
事件循环统一调度,避免竞态与锁
整个异步程序运行在一个事件循环中(如 asyncio.run() 启动的默认循环),所有协程共享同一个线程、同一套变量空间。因为没有真实并发(无抢占式多任务),只要不手动调用阻塞函数(如 time.sleep()、requests.get()),就不会出现竞态条件。
立即学习“Python免费学习笔记(深入)”;
- 不需要
threading.Lock,多数场景下普通变量即可安全读写 - 调度完全由程序员控制:
await是明确的让点,不是操作系统随机中断 - 调试更可预测——协程执行路径是确定的,不像多线程那样难以复现时序问题
注意:CPU 密集型任务仍会阻塞整个循环
异步 I/O 解决的是“等待慢设备”的问题,不是“计算慢”的问题。如果协程里做了大量数学运算、图像处理或正则匹配,事件循环会被独占,其他协程无法运行。
-
解决方法:用
loop.run_in_executor()把 CPU 工作扔进线程池或进程池 - 不要在协程中调用
time.sleep(),改用await asyncio.sleep() - 第三方库必须提供异步接口(如
aiohttp、aiomysql),否则需包装或换库










