python中线程计算密集型如何实现？-Python教程-PHP中文网

python中线程计算密集型如何实现？

冰川箭仙

发布： 2025-11-29 21:56:30

原创

841人浏览过

对于CPU密集型任务应使用多进程绕过GIL限制，示例通过multiprocessing和ProcessPoolExecutor实现并行计算，结合NumPy等工具可进一步优化性能。

python中线程计算密集型如何实现？

在Python中，由于全局解释器锁（GIL）的存在，多线程并不适合用于CPU密集型任务。GIL会限制同一时刻只有一个线程执行Python字节码，因此即使使用多个线程，计算密集型操作也无法真正并行执行，性能提升非常有限。

使用多进程代替多线程

对于计算密集型任务，推荐使用多进程（multiprocessing）来实现真正的并行计算，绕过GIL的限制。每个进程拥有独立的Python解释器和内存空间，可以充分利用多核CPU。

示例：使用 multiprocessing 计算大量数据的平方和

import multiprocessing as mp
import time
<p>def calculate_sum(n):
return sum(i * i for i in range(n))</p><p>if <strong>name</strong> == '<strong>main</strong>':
nums = [1000000, 1200000, 1500000, 2000000]
start_time = time.time()</p><pre class="brush:php;toolbar:false;"><pre class="brush:php;toolbar:false;">with mp.Pool(processes=mp.cpu_count()) as pool:
    results = pool.map(calculate_sum, nums)

total = sum(results)
print(f"结果: {total}")
print(f"耗时: {time.time() - start_time:.2f}秒")

登录后复制

使用 concurrent.futures 提高代码可读性

concurrent.futures 模块提供了更高级的接口，使用 ProcessPoolExecutor 可以更方便地管理进程池。

示例：使用 ProcessPoolExecutor

from concurrent.futures import ProcessPoolExecutor
import time
<p>def cpu_task(n):
return sum(i ** i % 1000 for i in range(1, n))</p><p>if <strong>name</strong> == '<strong>main</strong>':
tasks = [10000, 12000, 15000]</p><pre class="brush:php;toolbar:false;"><pre class="brush:php;toolbar:false;">start = time.time()
with ProcessPoolExecutor(max_workers=4) as executor:
    results = list(executor.map(cpu_task, tasks))

print("完成:", results)
print("用时:", time.time() - start)

登录后复制