0

0

Python多进程怎么使用_Python多进程编程方法与实例讲解

蓮花仙者

蓮花仙者

发布时间:2025-11-03 19:59:02

|

317人浏览过

|

来源于php中文网

原创

Python多进程编程通过multiprocessing模块实现并行计算,1. 使用Process类创建独立进程,target指定函数,args传参,start启动,join等待结束;2. 用Pool进程池管理大量任务,map同步执行,map_async异步执行,apply处理单任务;3. 进程间通信可用Queue(多生产者消费者)或Pipe(双向通信);4. 共享内存通过Value和Array实现,需指定类型码如'i'、'd'。掌握这些可应对多数场景。

python多进程怎么使用_python多进程编程方法与实例讲解

Python多进程编程主要用于提升程序在多核CPU上的执行效率,尤其适合CPU密集型任务。通过multiprocessing模块,Python能够绕过GIL(全局解释器锁),真正实现并行计算。

1. multiprocessing基础:创建进程

最简单的多进程方式是使用Process类启动独立进程。

示例:

from multiprocessing import Process import os

def worker(name):
print(f'进程名称: {name}, 进程ID: {os.getpid()}')

if name == 'main':
processes = []
for i in range(3):
p = Process(target=worker, args=(f'Worker-{i}',))
processes.append(p)
p.start()

for p in processes:  
    p.join()  

print('所有子进程完成')

立即学习Python免费学习笔记(深入)”;

说明:

  • target 指定要运行的函数
  • args 是传递给函数的参数(元组)
  • start() 启动进程
  • join() 等待进程结束

2. 使用进程池(Pool)批量处理任务

当需要并发执行大量任务时,Pool更高效,能自动管理进程数量。

示例:并行计算平方

from multiprocessing import Pool

def square(x):
return x * x

if name == 'main':
with Pool(processes=4) as pool:
result = pool.map(square, [1, 2, 3, 4, 5])
print(result) # 输出: [1, 4, 9, 16, 25]

常用方法:

  • pool.map(func, iterable):同步执行,阻塞直到完成
  • pool.map_async(func, iterable):异步执行,立即返回结果对象
  • pool.apply(func, args):单个任务同步执行
  • pool.apply_async(func, args):单个任务异步执行

3. 进程间通信与数据共享

多个进程默认不共享内存。可通过QueuePipe进行通信。

阿里云AI平台
阿里云AI平台

阿里云AI平台

下载

使用Queue通信示例:

from multiprocessing import Process, Queue

def producer(q):
q.put('Hello from producer')

def consumer(q):
msg = q.get()
print(f'Received: {msg}')

if name == 'main':
q = Queue()
p1 = Process(target=producer, args=(q,))
p2 = Process(target=consumer, args=(q,))

p1.start(); p2.start()  
p1.join(); p2.join()

立即学习Python免费学习笔记(深入)”;

说明:

  • Queue是线程和进程安全的,适合多生产者多消费者场景
  • Pipe更适合两个进程之间的双向通信

4. 共享内存:Value和Array

若需共享简单数据,可用ValueArray

from multiprocessing import Process, Value, Array import ctypes

def modify(n, arr):
n.value = 3.14
for i in range(len(arr)):
arr[i] = arr[i] * 2

if name == 'main':
num = Value('d', 0.0) # 'd' 表示double类型
arr = Array('i', [1, 2, 3, 4, 5]) # 'i' 表示int类型

p = Process(target=modify, args=(num, arr))  
p.start()  
p.join()  

print(num.value)        # 输出: 3.14  
print(list(arr))        # 输出: [2, 4, 6, 8, 10]

立即学习Python免费学习笔记(深入)”;

注意类型码如'i'(整型)、'd'(浮点型)需正确设置。

基本上就这些。掌握Process、Pool、Queue和共享内存,就能应对大多数多进程场景。关键是理解进程隔离特性,并合理选择通信机制。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

WorkBuddy
WorkBuddy

腾讯云推出的AI原生桌面智能体工作台

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
python中print函数的用法
python中print函数的用法

python中print函数的语法是“print(value1, value2, ..., sep=' ', end=' ', file=sys.stdout, flush=False)”。本专题为大家提供print相关的文章、下载、课程内容,供大家免费下载体验。

193

2023.09.27

python print用法与作用
python print用法与作用

本专题整合了python print的用法、作用、函数功能相关内容,阅读专题下面的文章了解更多详细教程。

19

2026.02.03

if什么意思
if什么意思

if的意思是“如果”的条件。它是一个用于引导条件语句的关键词,用于根据特定条件的真假情况来执行不同的代码块。本专题提供if什么意思的相关文章,供大家免费阅读。

847

2023.08.22

string转int
string转int

在编程中,我们经常会遇到需要将字符串(str)转换为整数(int)的情况。这可能是因为我们需要对字符串进行数值计算,或者需要将用户输入的字符串转换为整数进行处理。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

1031

2023.08.02

int占多少字节
int占多少字节

int占4个字节,意味着一个int变量可以存储范围在-2,147,483,648到2,147,483,647之间的整数值,在某些情况下也可能是2个字节或8个字节,int是一种常用的数据类型,用于表示整数,需要根据具体情况选择合适的数据类型,以确保程序的正确性和性能。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

614

2024.08.29

c++怎么把double转成int
c++怎么把double转成int

本专题整合了 c++ double相关教程,阅读专题下面的文章了解更多详细内容。

335

2025.08.29

C++中int的含义
C++中int的含义

本专题整合了C++中int相关内容,阅读专题下面的文章了解更多详细内容。

235

2025.08.29

c++怎么把double转成int
c++怎么把double转成int

本专题整合了 c++ double相关教程,阅读专题下面的文章了解更多详细内容。

335

2025.08.29

TypeScript类型系统进阶与大型前端项目实践
TypeScript类型系统进阶与大型前端项目实践

本专题围绕 TypeScript 在大型前端项目中的应用展开,深入讲解类型系统设计与工程化开发方法。内容包括泛型与高级类型、类型推断机制、声明文件编写、模块化结构设计以及代码规范管理。通过真实项目案例分析,帮助开发者构建类型安全、结构清晰、易维护的前端工程体系,提高团队协作效率与代码质量。

26

2026.03.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.5万人学习

Django 教程
Django 教程

共28课时 | 5万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.9万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号