0

0

Python多线程如何提升计算效率 Python多线程并行计算实战

雪夜

雪夜

发布时间:2025-11-14 15:58:02

|

285人浏览过

|

来源于php中文网

原创

Python多线程适用于IO密集型任务如网络请求、文件读写和数据库查询,因GIL限制不适用于CPU密集型任务;1. 多线程可提升IO等待期间的资源利用率;2. 实战中使用threading模块或concurrent.futures可显著缩短批量请求耗时;3. CPU密集型任务应改用multiprocessing模块以绕过GIL实现并行计算。

python多线程如何提升计算效率 python多线程并行计算实战

Python多线程在提升计算效率方面有其特定适用场景,但需注意语言本身的限制。由于全局解释器锁(GIL)的存在,Python中的多线程并不能真正实现CPU密集型任务的并行执行。然而,在IO密集型任务中,多线程能显著提高程序的响应速度和资源利用率。

多线程适合的场景

理解何时使用多线程是关键。以下类型的任务更适合用多线程处理:

  • 网络请求:如同时抓取多个网页内容,等待时间远大于计算时间
  • 文件读写操作:涉及磁盘IO时,线程可在等待期间切换执行其他任务
  • 数据库查询:多个独立查询可并发发起,减少总耗时

实战:使用threading模块进行并行请求

以批量获取网页标题为例,展示多线程如何缩短整体执行时间:

import threading
import requests
from bs4 import BeautifulSoup
import time
<p>def fetch_title(url, results, index):
try:
response = requests.get(url, timeout=5)
soup = BeautifulSoup(response.text, 'html.parser')
title = soup.find('title').get_text() if soup.find('title') else 'No Title'
results[index] = title
except Exception as e:
results[index] = f"Error: {e}"</p><p>urls = [
"<a href="https://www.php.cn/link/5f69e19efaba426d62faeab93c308f5c">https://www.php.cn/link/5f69e19efaba426d62faeab93c308f5c</a>",
"<a href="https://www.php.cn/link/ef246753a70fce661e16668898810624">https://www.php.cn/link/ef246753a70fce661e16668898810624</a>",
"<a href="https://www.php.cn/link/5f69e19efaba426d62faeab93c308f5c">https://www.php.cn/link/5f69e19efaba426d62faeab93c308f5c</a>"
]</p><h1>单线程执行</h1><p>start = time.time()
results_single = []
for i, url in enumerate(urls):
temp_results = [None]
fetch_title(url, temp_results, 0)
results_single.append(temp_results[0])
print(f"单线程耗时: {time.time() - start:.2f}秒")</p><h1>多线程执行</h1><p>start = time.time()
threads = []
results_multi = [None] * len(urls)
for i, url in enumerate(urls):
t = threading.Thread(target=fetch_title, args=(url, results_multi, i))
threads.append(t)
t.start()</p><p>for t in threads:
t.join()</p><p>print(f"多线程耗时: {time.time() - start:.2f}秒")
print("结果:", results_multi)</p>

使用concurrent.futures简化线程管理

对于更简洁的代码结构,推荐使用concurrent.futures.ThreadPoolExecutor

立即学习Python免费学习笔记(深入)”;

PPT.AI
PPT.AI

AI PPT制作工具

下载
from concurrent.futures import ThreadPoolExecutor
import requests
<p>def get_status(url):
try:
return requests.get(url, timeout=3).status_code
except:
return -1</p><p>with ThreadPoolExecutor(max_workers=5) as executor:
urls = ["<a href="https://www.php.cn/link/98a733901e53052474f2320d0a3a9473">https://www.php.cn/link/98a733901e53052474f2320d0a3a9473</a>"] * 10
statuses = list(executor.map(get_status, urls))
print("状态码:", statuses)</p>

这种方式自动管理线程生命周期,避免手动创建和join线程,代码更清晰且不易出错。

CPU密集型任务的替代方案

若任务主要为数值计算、图像处理等CPU密集型操作,应考虑使用multiprocessing模块绕过GIL限制:

from multiprocessing import Pool
import math
<p>def cpu_task(n):
return sum(i * i for i in range(n))</p><p>if <strong>name</strong> == '<strong>main</strong>':
data = [100000] * 8
with Pool(4) as p:
result = p.map(cpu_task, data)
print("计算完成")</p>

多进程能真正利用多核优势,适合纯计算场景。

基本上就这些。选择多线程还是多进程,取决于任务类型。IO等待多就用线程,计算重就用进程。合理使用工具,才能有效提升效率。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

WorkBuddy
WorkBuddy

腾讯云推出的AI原生桌面智能体工作台

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

765

2023.08.10

Python 多线程与异步编程实战
Python 多线程与异步编程实战

本专题系统讲解 Python 多线程与异步编程的核心概念与实战技巧,包括 threading 模块基础、线程同步机制、GIL 原理、asyncio 异步任务管理、协程与事件循环、任务调度与异常处理。通过实战示例,帮助学习者掌握 如何构建高性能、多任务并发的 Python 应用。

377

2025.12.24

java多线程相关教程合集
java多线程相关教程合集

本专题整合了java多线程相关教程,阅读专题下面的文章了解更多详细内容。

32

2026.01.21

C++多线程相关合集
C++多线程相关合集

本专题整合了C++多线程相关教程,阅读专题下面的的文章了解更多详细内容。

30

2026.01.21

C# 多线程与异步编程
C# 多线程与异步编程

本专题深入讲解 C# 中多线程与异步编程的核心概念与实战技巧,包括线程池管理、Task 类的使用、async/await 异步编程模式、并发控制与线程同步、死锁与竞态条件的解决方案。通过实际项目,帮助开发者掌握 如何在 C# 中构建高并发、低延迟的异步系统,提升应用性能和响应速度。

103

2026.02.06

数据库三范式
数据库三范式

数据库三范式是一种设计规范,用于规范化关系型数据库中的数据结构,它通过消除冗余数据、提高数据库性能和数据一致性,提供了一种有效的数据库设计方法。本专题提供数据库三范式相关的文章、下载和课程。

387

2023.06.29

如何删除数据库
如何删除数据库

删除数据库是指在MySQL中完全移除一个数据库及其所包含的所有数据和结构,作用包括:1、释放存储空间;2、确保数据的安全性;3、提高数据库的整体性能,加速查询和操作的执行速度。尽管删除数据库具有一些好处,但在执行任何删除操作之前,务必谨慎操作,并备份重要的数据。删除数据库将永久性地删除所有相关数据和结构,无法回滚。

2111

2023.08.14

vb怎么连接数据库
vb怎么连接数据库

在VB中,连接数据库通常使用ADO(ActiveX 数据对象)或 DAO(Data Access Objects)这两个技术来实现:1、引入ADO库;2、创建ADO连接对象;3、配置连接字符串;4、打开连接;5、执行SQL语句;6、处理查询结果;7、关闭连接即可。

357

2023.08.31

TypeScript类型系统进阶与大型前端项目实践
TypeScript类型系统进阶与大型前端项目实践

本专题围绕 TypeScript 在大型前端项目中的应用展开,深入讲解类型系统设计与工程化开发方法。内容包括泛型与高级类型、类型推断机制、声明文件编写、模块化结构设计以及代码规范管理。通过真实项目案例分析,帮助开发者构建类型安全、结构清晰、易维护的前端工程体系,提高团队协作效率与代码质量。

25

2026.03.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.5万人学习

Django 教程
Django 教程

共28课时 | 5万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.9万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号