0

0

Python中如何实现并行计算?multiprocessing

爱谁谁

爱谁谁

发布时间:2025-08-02 13:37:01

|

262人浏览过

|

来源于php中文网

原创

multiprocessing是python中实现并行计算的有效方式,它通过创建独立进程绕过gil限制,适合cpu密集型任务。相比多线程,其能真正利用多核优势。使用时可通过1.process类创建单独进程执行任务;2.pool类批量管理进程处理大量任务。注意事项包括:3.避免频繁创建进程;4.进程间通信较慢需用queue或共享内存;5.windows下需将入口代码置于if name == "__main__":中;6.输出可能混乱建议加锁或记录日志。适用场景为图像处理、视频编码、批量文件操作等需要提高cpu利用率的任务。

Python中如何实现并行计算?multiprocessing

在Python中实现并行计算,

multiprocessing
模块是一个非常直接且有效的方式。它利用多核CPU来同时执行多个任务,从而加快程序运行速度。相比多线程,它能真正绕过GIL(全局解释器锁)的限制,适合CPU密集型任务。

Python中如何实现并行计算?multiprocessing

什么是
multiprocessing
为什么用它?

multiprocessing
是Python标准库中的一个模块,专门用来创建进程,实现真正的并行计算。因为每个进程都有自己独立的内存空间和Python解释器实例,所以可以完全绕过GIL的影响。

你可能会问:为什么不直接用多线程?这是因为CPython中有GIL的存在,导致多线程在同一时间只能有一个线程执行Python字节码,对CPU密集型任务帮助不大。而

multiprocessing
通过启动多个进程,让每个进程独立运行,就能充分利用多核优势。

立即学习Python免费学习笔记(深入)”;

Python中如何实现并行计算?multiprocessing

如何使用
multiprocessing
进行并行计算?

最常见也是最简单的方式就是使用

Process
类来创建进程。下面是一个简单的例子:

ASP.NET 4.0电子商城
ASP.NET 4.0电子商城

在现实生活中的购物过程,购物者需要先到商场,找到指定的产品柜台下,查看产品实体以及标价信息,如果产品合适,就将该产品放到购物车中,到收款处付款结算。电子商务网站通过虚拟网页的形式在计算机上摸拟了整个过程,首先电子商务设计人员将产品信息分类显示在网页上,用户查看网页上的产品信息,当用户看到了中意的产品后,可以将该产品添加到购物车,最后使用网上支付工具进行结算,而货物将由公司通过快递等方式发送给购物者

下载
from multiprocessing import Process
import time

def worker(name):
    print(f"开始 {name}")
    time.sleep(2)
    print(f"结束 {name}")

if __name__ == "__main__":
    p1 = Process(target=worker, args=("任务A",))
    p2 = Process(target=worker, args=("任务B",))

    p1.start()
    p2.start()

    p1.join()
    p2.join()

这里我们创建了两个子进程分别执行

worker
函数。
start()
方法启动进程,
join()
确保主进程等待子进程全部完成后再继续执行。

Python中如何实现并行计算?multiprocessing

如果你要处理的任务数量较多,比如处理大量数据、图像、文件等,可以用

Pool
类批量管理进程:

from multiprocessing import Pool

def square(x):
    return x * x

if __name__ == "__main__":
    with Pool(4) as pool:  # 创建最多4个进程的进程池
        results = pool.map(square, [1, 2, 3, 4, 5])
    print(results)

这样你可以一次提交多个任务,由进程池自动分配资源去处理。


使用
multiprocessing
时需要注意的问题

  • 避免频繁创建进程
    进程的创建和销毁是有开销的,建议尽量复用已有的进程,例如使用

    Pool
    而不是反复创建
    Process
    对象。

  • 进程间通信(IPC)比较慢
    因为每个进程有独立的内存空间,共享数据需要额外手段(如

    Queue
    Pipe
    或共享内存),这会带来一定性能损耗。

  • 注意Windows平台下的兼容性问题
    在Windows上运行时,一定要把入口代码写在

    if __name__ == "__main__":
    下,否则可能报错或者无限递归启动新进程。

  • 调试时要注意输出混乱
    多个进程同时打印内容到控制台,可能导致输出混杂在一起。如果调试困难,可以考虑加锁或记录日志代替print。


哪些场景适合用
multiprocessing

  • 图像处理、视频编码等计算密集型任务
  • 批量下载、文件转换等IO+计算混合任务
  • 需要长时间运行的后台任务
  • 想绕过GIL限制,提高CPU利用率的情况

但如果你的任务主要是网络请求、磁盘读写等IO密集型操作,其实更推荐用

concurrent.futures
里的
ThreadPoolExecutor
,或者用异步编程模型,那样效率更高也更轻量。


基本上就这些。

multiprocessing
虽然功能强大,但在实际使用中还是有几个细节容易忽略,比如入口保护、进程池大小设置、通信方式选择等等。只要理解清楚它的机制,用起来也不复杂。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
python中print函数的用法
python中print函数的用法

python中print函数的语法是“print(value1, value2, ..., sep=' ', end=' ', file=sys.stdout, flush=False)”。本专题为大家提供print相关的文章、下载、课程内容,供大家免费下载体验。

186

2023.09.27

if什么意思
if什么意思

if的意思是“如果”的条件。它是一个用于引导条件语句的关键词,用于根据特定条件的真假情况来执行不同的代码块。本专题提供if什么意思的相关文章,供大家免费阅读。

780

2023.08.22

线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

525

2023.08.10

Python 多线程与异步编程实战
Python 多线程与异步编程实战

本专题系统讲解 Python 多线程与异步编程的核心概念与实战技巧,包括 threading 模块基础、线程同步机制、GIL 原理、asyncio 异步任务管理、协程与事件循环、任务调度与异常处理。通过实战示例,帮助学习者掌握 如何构建高性能、多任务并发的 Python 应用。

187

2025.12.24

java多线程相关教程合集
java多线程相关教程合集

本专题整合了java多线程相关教程,阅读专题下面的文章了解更多详细内容。

19

2026.01.21

C++多线程相关合集
C++多线程相关合集

本专题整合了C++多线程相关教程,阅读专题下面的的文章了解更多详细内容。

16

2026.01.21

windows查看端口占用情况
windows查看端口占用情况

Windows端口可以认为是计算机与外界通讯交流的出入口。逻辑意义上的端口一般是指TCP/IP协议中的端口,端口号的范围从0到65535,比如用于浏览网页服务的80端口,用于FTP服务的21端口等等。怎么查看windows端口占用情况呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

810

2023.07.26

查看端口占用情况windows
查看端口占用情况windows

端口占用是指与端口关联的软件占用端口而使得其他应用程序无法使用这些端口,端口占用问题是计算机系统编程领域的一个常见问题,端口占用的根本原因可能是操作系统的一些错误,服务器也可能会出现端口占用问题。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

1129

2023.07.27

C++ 设计模式与软件架构
C++ 设计模式与软件架构

本专题深入讲解 C++ 中的常见设计模式与架构优化,包括单例模式、工厂模式、观察者模式、策略模式、命令模式等,结合实际案例展示如何在 C++ 项目中应用这些模式提升代码可维护性与扩展性。通过案例分析,帮助开发者掌握 如何运用设计模式构建高质量的软件架构,提升系统的灵活性与可扩展性。

14

2026.01.30

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.4万人学习

Django 教程
Django 教程

共28课时 | 3.7万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.3万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号