对于CPU密集型任务应使用多进程绕过GIL限制,示例通过multiprocessing和ProcessPoolExecutor实现并行计算,结合NumPy等工具可进一步优化性能。

在Python中,由于全局解释器锁(GIL)的存在,多线程并不适合用于CPU密集型任务。GIL会限制同一时刻只有一个线程执行Python字节码,因此即使使用多个线程,计算密集型操作也无法真正并行执行,性能提升非常有限。
使用多进程代替多线程
对于计算密集型任务,推荐使用多进程(multiprocessing)来实现真正的并行计算,绕过GIL的限制。每个进程拥有独立的Python解释器和内存空间,可以充分利用多核CPU。
示例:使用 multiprocessing 计算大量数据的平方和import multiprocessing as mp import timedef calculate_sum(n): return sum(i * i for i in range(n))
if name == 'main': nums = [1000000, 1200000, 1500000, 2000000] start_time = time.time()
with mp.Pool(processes=mp.cpu_count()) as pool: results = pool.map(calculate_sum, nums) total = sum(results) print(f"结果: {total}") print(f"耗时: {time.time() - start_time:.2f}秒")使用 concurrent.futures 提高代码可读性
concurrent.futures 模块提供了更高级的接口,使用 ProcessPoolExecutor 可以更方便地管理进程池。
示例:使用 ProcessPoolExecutorfrom concurrent.futures import ProcessPoolExecutor import timedef cpu_task(n): return sum(i ** i % 1000 for i in range(1, n))
if name == 'main': tasks = [10000, 12000, 15000]
start = time.time() with ProcessPoolExecutor(max_workers=4) as executor: results = list(executor.map(cpu_task, tasks)) print("完成:", results) print("用时:", time.time() - start)考虑使用C扩展或NumPy进行优化
某些计算密集型任务如果使用 NumPy、Numba 或 Cython 实现,可以在底层释放GIL,从而在多线程中获得性能提升。
iWebMall多用户商城系统下载iWebMall 是一款高性能高扩展能力的开源 LAMP 电子商务软件,定位为大中型电子商务平台软件,服务于有建立电子商务需求的商业客户。这些商业客户不必学习任何计算机编程代码知识,只需要使用 iWebMall 软件他们就可以轻松建立一个功能强大的网上商城,实现用户注册、产品展示、在线定购、在线支付等电子商务功能;iWebMall 集成了产品发布与查询、会员注册登录、购物车、在线订单、在线支付、在
立即学习“Python免费学习笔记(深入)”;
例如:NumPy操作自动释放GIL
- NumPy 的数组运算在C层面执行,不受GIL影响
- 可以结合 threading + NumPy 实现I/O与计算重叠或部分并行
- 但纯Python循环仍需使用多进程
基本上就这些。对于纯CPU密集型任务,优先选择多进程方案。多线程更适合I/O密集型场景。











