Python中的多进程与多线程如何选择？

夢幻星辰

发布时间：2025-09-03 19:24:02

375人浏览过

来源于php中文网

原创

CPU密集型任务应选多进程，因GIL限制多线程无法并行计算；I/O密集型任务宜用多线程，因等待期间可释放GIL实现高效并发。

python中的多进程与多线程如何选择？

在Python中决定使用多进程还是多线程，关键在于你的任务类型：是CPU密集型还是I/O密集型。如果你的程序大部分时间都在进行计算，那多进程几乎是唯一能真正利用多核CPU的途径；而如果你的程序大部分时间都在等待外部资源（比如网络请求、文件读写），那么多线程通常能提供更好的并发表现。

解决方案

坦白说，这选择背后最核心的考量，就是Python那个让人又爱又恨的全局解释器锁（GIL）。它像一个守门员，确保同一时刻只有一个线程能执行Python字节码。这意味着，即使你有八核CPU，纯粹的Python多线程也无法让你的CPU密集型任务跑得更快，因为它们依然需要轮流进入GIL才能执行。这听起来有点沮丧，对吧？

所以，对于那些需要大量数学运算、图像处理、数据分析等CPU密集型任务，多进程（

multiprocessing

模块）是绕开GIL限制的有效手段。每个进程都有自己独立的Python解释器和内存空间，互不干扰，自然也就没有GIL的束缚。你可以将任务分解成多个子任务，让不同的进程并行处理，从而真正发挥多核CPU的威力。我个人在处理大规模数据处理时，几乎都会优先考虑

multiprocessing.Pool

，它用起来非常方便，能有效地将任务分发给多个工作进程。

然而，当你的程序大部分时间都在等待外部操作完成时，比如从网络下载数据、等待数据库响应、或者读写磁盘文件，这时候多线程（

threading

模块）就有了用武之地。在等待I/O操作完成的这段时间里，Python解释器会释放GIL，允许其他线程运行。这样，一个线程在等待网络响应时，另一个线程可以去处理用户界面事件，或者发起另一个网络请求。这并不能加快单个I/O操作的速度，但它能让你在等待一个任务的同时，启动或处理其他任务，从而提高程序的整体吞吐量和响应速度。想象一下，你一边等咖啡机出咖啡，一边可以回复邮件，这就是I/O密集型多线程的魅力。

立即学习“Python免费学习笔记（深入）”；

选择的逻辑其实很简单：如果你的代码会“忙碌地计算”，就用多进程；如果你的代码会“空闲地等待”，就用多线程。当然，这只是一个粗略的划分，实际情况往往更复杂，可能需要混合使用，甚至考虑异步编程（

asyncio

）这种更高级的并发模型。

Python全局解释器锁（GIL）究竟带来了哪些限制？

GIL，全称Global Interpreter Lock，是Python解释器（特指Cpython）的一个机制，它确保在任何给定时刻，只有一个线程能够执行Python字节码。这听起来可能有点反直觉，尤其是在多核处理器普及的今天。但它的存在有其历史原因，主要是为了简化Cpython内部的内存管理和避免复杂的死锁问题。

BJXSHOP网上购物系统 - 书店版

BJXSHOP购物管理系统是一个功能完善、展示信息丰富的电子商店销售平台；针对企业与个人的网上销售系统；开放式远程商店管理；完善的订单管理、销售统计、结算系统；强力搜索引擎支持；提供网上多种在线支付方式解决方案；强大的技术应用能力和网络安全系统 BJXSHOP网上购物系统 - 书店版，它具备其他通用购物系统不同的功能，有针对图书销售而进行开发的一个电子商店销售平台，如图书ISBN，图书目录

下载

那么，它具体带来了什么限制呢？最直接的影响就是，它使得Python的多线程在CPU密集型任务上无法实现真正的并行。无论你有多少个核心，你的Python程序在执行纯计算任务时，都只能在一个核心上“单线程”地跑。其他线程必须等待GIL的释放才能轮流执行。这就像在一个只有一条单行道的厨房里，即使有多个厨师，他们也只能排队使用炉灶，无法同时炒菜。这无疑是Python在高性能计算领域被诟病的一个主要原因。

不过，GIL并非一无是处。它简化了Cpython的实现，让垃圾回收机制和内存管理变得更容易，也避免了C扩展开发者在编写线程安全代码时面临的巨大挑战。可以说，GIL是Cpython设计权衡下的产物。理解了GIL，你就能明白为什么在Python中，多线程并不意味着“更快”的计算，而更多的是“更高效”的等待。

哪些场景下，多进程是Python并发的首选？

当你的Python程序需要榨干CPU的每一滴性能时，多进程无疑是首选。我个人遇到过很多这样的场景，比如：

科学计算与数值分析： 大规模矩阵运算、蒙特卡洛模拟、信号处理等。这些任务通常涉及复杂的数学计算，可以很容易地分解成独立的子任务，让不同的进程并行处理。
图像与视频处理： 对大量图片进行滤镜、缩放、特征提取，或者对视频帧进行逐帧处理。每个图片或视频帧的处理通常是独立的，非常适合多进程。
数据并行处理： 当你有海量数据需要进行相同的转换或分析时，比如日志分析、文本挖掘。你可以将数据集切分成若干块，每个进程处理一块数据。
Web服务器的并发请求处理： 像Gunicorn、uWSGI这样的WSGI服务器，就是通过启动多个Python进程来处理并发的HTTP请求，每个进程都有自己的GIL，互不影响，从而提升了Web应用的吞吐量。

使用

multiprocessing

模块时，你通常会创建

Process

对象或者使用

Pool

。

Pool

尤其方便，它提供了一个进程池，你可以把任务提交给它，它会自动管理进程的创建、销毁和任务分发，极大简化了并行编程的复杂度。当然，进程间通信（IPC）会引入一些开销，比如通过队列（

Queue

）或管道（

Pipe

）传递数据，但对于CPU密集型任务来说，这种开销通常是值得的。

Python多线程在实际开发中还有用武之地吗？

当然有！尽管GIL限制了Python多线程在CPU密集型任务上的表现，但在I/O密集型任务中，它依然是提高程序响应性和吞吐量的利器。很多时候，我们编写的程序并不是纯粹的计算，而是需要频繁地与外部世界打交道。

网络爬虫： 当你需要从多个网站或API获取数据时，多线程可以让你同时发起多个HTTP请求。一个线程在等待某个网站响应时，其他线程可以去请求另一个网站，大大缩短了总体的等待时间。
GUI应用： 在桌面应用中，如果你有一个耗时的操作（比如文件压缩或网络下载），将其放在一个单独的线程中执行，可以避免主线程（UI线程）被阻塞，从而保持界面的响应性，用户就不会觉得程序“卡死”了。
文件操作： 当需要处理大量小文件，或者从多个文件并行读取数据时，多线程也能发挥作用。比如，同时从不同的磁盘位置读取数据，或者在读取一个文件的同时，处理另一个文件的内容。
异步I/O的补充： 即使有了
```
asyncio
```
这样的异步框架，在某些需要阻塞式库或无法轻易转换为异步模式的场景下，多线程仍然是一个实用的选择。你可以将阻塞操作封装在一个线程中，然后通过队列将结果传递给主线程或
```
asyncio
```
事件循环。