0

0

Python多线程系统学习路线第536讲_核心原理与实战案例详解【技巧】

舞夢輝影

舞夢輝影

发布时间:2025-12-25 22:02:48

|

730人浏览过

|

来源于php中文网

原创

Python多线程无法并行执行CPU密集型任务,因CPython的GIL强制字节码串行执行;仅IO密集型任务能受益,因其等待时释放GIL;CPU密集型应选multiprocessing或asyncio。

python多线程系统学习路线第536讲_核心原理与实战案例详解【技巧】

Python 的多线程并不真正并行执行 CPU 密集型任务,这是由 GIL(全局解释器锁)决定的——它让同一时刻只有一个线程执行 Python 字节码。

为什么 threading 模块跑不满多核?

根本原因不是代码写得不对,而是 CPython 解释器的设计选择:为内存管理安全,GIL 会强制串行化字节码执行。即使你开了 8 个 threading.Thread,CPU 密集型运算(如数值计算、加密、递归)依然只占用一个逻辑核心。

常见错误现象:

  • time.time() 测总耗时,发现 4 线程版本比单线程还慢
  • top 或任务管理器里 CPU 使用率始终卡在 100%(单核满载),而非 400%
  • 线程数调到 os.cpu_count() 以上毫无收益,甚至因上下文切换拖慢整体

适用场景反而是:IO 密集型 操作(文件读写、网络请求、数据库查询)。此时线程在等待响应时会主动释放 GIL,其他线程得以运行。

立即学习Python免费学习笔记(深入)”;

threading.Thread 的关键参数与陷阱

最常被忽略的是 daemon 参数,默认为 False。非守护线程会阻塞主程序退出,哪怕主线程执行完了,只要还有非守护子线程在跑,Python 进程就不会结束。

天工大模型
天工大模型

中国首个对标ChatGPT的双千亿级大语言模型

下载

实操建议:

  • 后台轮询、日志上报等不需等待完成的任务,显式设 daemon=True
  • 涉及资源清理(如关闭文件、断开连接)的线程,务必保持 daemon=False,并用 join() 显式等待
  • 避免在 __init__ 中直接启动线程;应先实例化,再调 start() —— 否则异常可能发生在构造过程中,难以捕获
  • target 函数若抛出未捕获异常,该线程静默死亡,不会传播到主线程,也无 traceback 输出(除非重写 run() 并加 try/except)

如何验证 GIL 的影响?用 time.sleep 和 math.sin 对比

下面两个例子能直观体现 GIL 的“开关”效果:

import threading
import time
import math
<h1>IO 模拟:sleep 会释放 GIL,多线程有效加速</h1><p>def io<em>task(n):
for </em> in range(n):
time.sleep(0.001)</p><h1>CPU 模拟:math.sin 不触发系统调用,GIL 持有时间长</h1><p>def cpu<em>task(n):
x = 0.1
for </em> in range(n):
x = math.sin(x) + 0.001</p><h1>测试函数(略去计时包装)</h1><h1>结果:io_task 多线程耗时 ≈ 单线程 / 线程数;cpu_task 多线程耗时 ≈ 单线程 × 1.1~1.3(因调度开销)

注意:math.sin 是纯 Python 调用的 C 函数,但它不释放 GIL;而 time.sleep 是系统调用,会主动让出 GIL。这种差异正是判断某操作是否受 GIL 制约的关键线索。

替代方案:什么时候该换 multiprocessing 或 asyncio?

当你的任务确实是 CPU 密集型,且必须提速时,threading 就是错的选择。此时应考虑:

  • multiprocessing.Process:绕过 GIL 的最直接方式,每个进程有独立解释器和内存空间,适合数据可序列化、任务边界清晰的场景
  • concurrent.futures.ProcessPoolExecutor:比裸用 multiprocessing 更简洁,支持 mapsubmit 和统一异常处理
  • asyncio:适用于高并发 IO(如万级 HTTP 请求),但要求所有调用都是异步的(aiohttpaiomysql),同步库(requestssqlite3)会阻塞整个 event loop

别试图用 threading 强行“优化” CPU 任务——这不是技巧问题,是模型误用。真正要学的不是怎么写更多线程,而是怎么识别任务类型,再选对抽象层。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

WorkBuddy
WorkBuddy

腾讯云推出的AI原生桌面智能体工作台

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

765

2023.08.10

Python 多线程与异步编程实战
Python 多线程与异步编程实战

本专题系统讲解 Python 多线程与异步编程的核心概念与实战技巧,包括 threading 模块基础、线程同步机制、GIL 原理、asyncio 异步任务管理、协程与事件循环、任务调度与异常处理。通过实战示例,帮助学习者掌握 如何构建高性能、多任务并发的 Python 应用。

377

2025.12.24

java多线程相关教程合集
java多线程相关教程合集

本专题整合了java多线程相关教程,阅读专题下面的文章了解更多详细内容。

32

2026.01.21

C++多线程相关合集
C++多线程相关合集

本专题整合了C++多线程相关教程,阅读专题下面的的文章了解更多详细内容。

29

2026.01.21

C# 多线程与异步编程
C# 多线程与异步编程

本专题深入讲解 C# 中多线程与异步编程的核心概念与实战技巧,包括线程池管理、Task 类的使用、async/await 异步编程模式、并发控制与线程同步、死锁与竞态条件的解决方案。通过实际项目,帮助开发者掌握 如何在 C# 中构建高并发、低延迟的异步系统,提升应用性能和响应速度。

103

2026.02.06

Python 多线程与异步编程实战
Python 多线程与异步编程实战

本专题系统讲解 Python 多线程与异步编程的核心概念与实战技巧,包括 threading 模块基础、线程同步机制、GIL 原理、asyncio 异步任务管理、协程与事件循环、任务调度与异常处理。通过实战示例,帮助学习者掌握 如何构建高性能、多任务并发的 Python 应用。

377

2025.12.24

java多线程相关教程合集
java多线程相关教程合集

本专题整合了java多线程相关教程,阅读专题下面的文章了解更多详细内容。

32

2026.01.21

C++多线程相关合集
C++多线程相关合集

本专题整合了C++多线程相关教程,阅读专题下面的的文章了解更多详细内容。

29

2026.01.21

C# ASP.NET Core微服务架构与API网关实践
C# ASP.NET Core微服务架构与API网关实践

本专题围绕 C# 在现代后端架构中的微服务实践展开,系统讲解基于 ASP.NET Core 构建可扩展服务体系的核心方法。内容涵盖服务拆分策略、RESTful API 设计、服务间通信、API 网关统一入口管理以及服务治理机制。通过真实项目案例,帮助开发者掌握构建高可用微服务系统的关键技术,提高系统的可扩展性与维护效率。

76

2026.03.11

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
MySQL 教程
MySQL 教程

共48课时 | 2.5万人学习

MySQL 初学入门(mosh老师)
MySQL 初学入门(mosh老师)

共3课时 | 0.3万人学习

简单聊聊mysql8与网络通信
简单聊聊mysql8与网络通信

共1课时 | 848人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号