0

0

Python中如何使用多进程?multiprocessing详解

星夢妙者

星夢妙者

发布时间:2025-07-12 13:27:01

|

854人浏览过

|

来源于php中文网

原创

python中使用multiprocessing模块可通过多进程提升性能,尤其适合计算密集型任务。1. 创建并启动进程使用process类,通过target指定函数,start()启动,join()确保主进程等待;2. 多个进程并发执行可循环创建多个process实例并启动,适用于任务相互独立的情况;3. 使用pool进程池管理大量进程,常见方法有map、apply_async和starmap,with pool(...)推荐写法自动管理资源;4. 进程间通信通过queue、pipe、value/array和manager实现,支持数据传递与共享。掌握这些内容即可灵活优化程序性能。

Python中如何使用多进程?multiprocessing详解

在Python中,使用多进程(multiprocessing)是提升程序性能、充分利用多核CPU的有效方式。尤其当你需要处理大量计算密集型任务时,多进程比多线程更合适,因为它是绕过GIL(全局解释器锁)限制的一种手段。

Python中如何使用多进程?multiprocessing详解

下面我们就来看看如何在Python中使用multiprocessing模块进行多进程编程。


1. 创建并启动一个进程

最基础的用法就是通过Process类来创建一个新的进程。和threading.Thread类似,但不同的是每个进程拥有独立的内存空间。

立即学习Python免费学习笔记(深入)”;

Python中如何使用多进程?multiprocessing详解
from multiprocessing import Process
import os

def show_pid():
    print(f"当前进程ID: {os.getpid()}")

if __name__ == "__main__":
    p = Process(target=show_pid)
    p.start()
    p.join()
  • target:指定要运行的函数;
  • start():启动子进程;
  • join():等待子进程执行完毕再继续主进程;
小提示:如果你不加join(),主进程可能在子进程还没执行完就结束了,导致输出不全或看不到结果。

2. 多个进程并发执行

实际应用中,我们往往需要同时运行多个进程来处理不同的任务。可以通过循环创建多个Process实例,并依次启动它们。

Python中如何使用多进程?multiprocessing详解
processes = []
for i in range(4):
    p = Process(target=show_pid)
    processes.append(p)
    p.start()

for p in processes:
    p.join()
  • 启动多个进程后记得都调用join()
  • 如果不控制顺序,所有进程会“几乎”同时开始执行;
  • 这种方式适合任务之间相互独立的情况。

3. 使用进程池(Pool)管理大量进程

当你需要处理几十甚至上百个任务时,手动管理每个进程效率太低,这时候应该使用Pool进程池。

盛世企业网站管理系统1.1.2
盛世企业网站管理系统1.1.2

免费 盛世企业网站管理系统(SnSee)系统完全免费使用,无任何功能模块使用限制,在使用过程中如遇到相关问题可以去官方论坛参与讨论。开源 系统Web代码完全开源,在您使用过程中可以根据自已实际情况加以调整或修改,完全可以满足您的需求。强大且灵活 独创的多语言功能,可以直接在后台自由设定语言版本,其语言版本不限数量,可根据自已需要进行任意设置;系统各模块可在后台自由设置及开启;强大且适用的后台管理支

下载
from multiprocessing import Pool

def square(x):
    return x * x

if __name__ == "__main__":
    with Pool(4) as pool:  # 启动4个进程
        results = pool.map(square, range(10))
    print(results)

常见方法:

  • map(func, iterable):将可迭代对象分发给多个进程;
  • apply_async(func[, args]):异步执行函数;
  • starmap():支持传入多个参数的map版本;

注意:with Pool(...)是推荐写法,它能自动关闭资源,避免忘记调用pool.close()pool.join()


4. 进程间通信与数据共享

由于每个进程都有自己独立的内存空间,所以不能像多线程那样直接共享变量。但multiprocessing提供了一些机制来实现进程间通信(IPC):

  • Queue:安全的队列,用于传递数据;
  • Pipe:点对点通信,适用于两个进程;
  • Value / Array:共享内存,适用于少量数据;
  • Manager:更高级的共享方式,支持列表、字典等复杂结构。

例如使用Queue

from multiprocessing import Process, Queue

def put_data(q):
    q.put("Hello from child")

def get_data(q):
    print(q.get())

if __name__ == "__main__":
    q = Queue()
    p1 = Process(target=put_data, args=(q,))
    p2 = Process(target=get_data, args=(q,))
    p1.start()
    p2.start()
    p1.join()
    p2.join()

基本上就这些。掌握好这些内容,你就可以在Python中灵活地使用多进程来优化你的程序了。虽然看起来有点复杂,但只要理解了基本逻辑和适用场景,用起来其实并不难。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

547

2023.08.10

Python 多线程与异步编程实战
Python 多线程与异步编程实战

本专题系统讲解 Python 多线程与异步编程的核心概念与实战技巧,包括 threading 模块基础、线程同步机制、GIL 原理、asyncio 异步任务管理、协程与事件循环、任务调度与异常处理。通过实战示例,帮助学习者掌握 如何构建高性能、多任务并发的 Python 应用。

235

2025.12.24

java多线程相关教程合集
java多线程相关教程合集

本专题整合了java多线程相关教程,阅读专题下面的文章了解更多详细内容。

20

2026.01.21

C++多线程相关合集
C++多线程相关合集

本专题整合了C++多线程相关教程,阅读专题下面的的文章了解更多详细内容。

19

2026.01.21

Java 并发编程高级实践
Java 并发编程高级实践

本专题深入讲解 Java 在高并发开发中的核心技术,涵盖线程模型、Thread 与 Runnable、Lock 与 synchronized、原子类、并发容器、线程池(Executor 框架)、阻塞队列、并发工具类(CountDownLatch、Semaphore)、以及高并发系统设计中的关键策略。通过实战案例帮助学习者全面掌握构建高性能并发应用的工程能力。

87

2025.12.01

golang map内存释放
golang map内存释放

本专题整合了golang map内存相关教程,阅读专题下面的文章了解更多相关内容。

75

2025.09.05

golang map相关教程
golang map相关教程

本专题整合了golang map相关教程,阅读专题下面的文章了解更多详细内容。

36

2025.11.16

golang map原理
golang map原理

本专题整合了golang map相关内容,阅读专题下面的文章了解更多详细内容。

61

2025.11.17

AO3官网入口与中文阅读设置 AO3网页版使用与访问
AO3官网入口与中文阅读设置 AO3网页版使用与访问

本专题围绕 Archive of Our Own(AO3)官网入口展开,系统整理 AO3 最新可用官网地址、网页版访问方式、正确打开链接的方法,并详细讲解 AO3 中文界面设置、阅读语言切换及基础使用流程,帮助用户稳定访问 AO3 官网,高效完成中文阅读与作品浏览。

89

2026.02.02

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.4万人学习

Django 教程
Django 教程

共28课时 | 3.8万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.4万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号