Python多线程适合I/O密集型任务(如网络请求、文件读写),因GIL限制对CPU密集型任务提速有限;应据任务类型选ThreadPoolExecutor或ProcessPoolExecutor,并控制并发数、避免共享状态。

Python中多线程对I/O密集型任务(如文件读写、网络请求、数据库查询)能明显提速,但对CPU密集型任务效果有限——因为全局解释器锁(GIL)会限制同一时刻只有一个线程执行Python字节码。
明确任务类型,选对并发模型
判断你的数据处理属于哪一类:
-
I/O密集型:比如批量下载网页、读取上百个CSV文件、调用API获取JSON数据 → 用
threading或concurrent.futures.ThreadPoolExecutor很合适 -
CPU密集型:比如数值计算、图像处理、加密解密 → 应改用
multiprocessing或concurrent.futures.ProcessPoolExecutor
用ThreadPoolExecutor管理线程更安全省心
比手动创建Thread对象更推荐使用高层接口,自动管理线程生命周期和异常:
from concurrent.futures import ThreadPoolExecutor, as_completed import requestsdef fetch_url(url): try: return requests.get(url, timeout=5).status_code except Exception as e: return f"Error: {e}"
urls = ["https://www.php.cn/link/5f69e19efaba426d62faeab93c308f5c"] * 10 with ThreadPoolExecutor(max_workers=5) as executor:
提交所有任务
futures = [executor.submit(fetch_url, url) for url in urls] # 按完成顺序获取结果 for future in as_completed(futures): print(future.result())立即学习“Python免费学习笔记(深入)”;
避免共享状态引发的竞态条件
多个线程同时读写同一个变量(如列表、字典、计数器)容易出错。解决方法:
- 尽量让每个线程处理独立数据,结果用
return返回,主线程统一收集 - 必须共享时,用
threading.Lock保护临界区 - 简单计数可用
threading.local()为每个线程提供独立副本
控制并发数,防止资源过载
不是线程越多越快。过多线程反而增加调度开销,还可能触发目标服务限流或本地文件句柄耗尽:
- 网络请求一般设
max_workers=5~20,视带宽和远端响应时间调整 - 文件IO可参考系统打开文件数限制(
ulimit -n),通常max_workers=8~16较稳妥 - 用
time.perf_counter()实测不同并发数下的总耗时,找到拐点
基本上就这些。多线程不是银弹,关键在匹配场景、合理控制规模、避开共享陷阱。










