multiprocessing.queue吞吐量低、延迟高,因序列化与锁开销;pipe延迟更低、带宽更高,适合一对一通信;共享内存和mmap避免拷贝,适合大数据;unix域套接字灵活但需处理粘包。

如果您需要在多个 Python 进程之间传递数据,不同通信机制的实际吞吐量、延迟和资源开销存在显著差异。以下是几种主流进程间通信方式的性能对比分析步骤:
一、使用 multiprocessing.Queue
multiprocessing.Queue 基于底层管道和锁实现,适用于多生产者多消费者场景,但序列化与线程安全机制会引入额外开销。
1、导入 multiprocessing 模块并创建 Queue 实例。
2、在子进程中调用 queue.put() 发送序列化后的对象。
立即学习“Python免费学习笔记(深入)”;
3、在主进程中调用 queue.get() 接收对象,每次调用触发反序列化操作。
4、重复执行 10000 次收发操作,记录总耗时与内存占用峰值。
二、使用 multiprocessing.Pipe
multiprocessing.Pipe 创建一对连接的端点,仅支持一对一通信,绕过队列的锁和缓冲管理,因此延迟更低、带宽更高。
1、调用 multiprocessing.Pipe() 获取 conn1 和 conn2 两个连接对象。
2、在发送进程调用 conn1.send() 直接写入字节流。
3、在接收进程调用 conn2.recv() 同步读取,不经过中间序列化队列。
4、关闭未使用的连接端,避免文件描述符泄漏。
三、使用共享内存(multiprocessing.shared_memory)
共享内存允许进程直接读写同一块物理内存区域,避免数据拷贝,适合传输大型 NumPy 数组或二进制块。
1、调用 shared_memory.SharedMemory(create=True, size=1024*1024) 创建 1MB 共享内存块。
本文档主要讲述的是Android 本地数据存储;对于需要跨应用程序执行期间或生命期而维护重要信息的应用程序来说,能够在移动设备上本地存储数据是一种非常关键的功能。作为一名开发人员,您经常需要存储诸如用户首选项或应用程序配置之类的信息。您还必须根据一些特征(比如访问可见性)决定是否需要涉及内部或外部存储器,或者是否需要处理更复杂的、结构化的数据类型。跟随本文学习 Android 数据存储 API,具体来讲就是首选项、SQLite 和内部及外部内存 API。希望本文档会给有需要的朋友带来帮助;感兴趣的朋友可以
2、将数据通过 memoryview 写入 shm.buf,确保字节对齐与边界安全。
3、子进程通过名称附加到同一共享内存对象,直接访问 shm.buf。
4、通信完成后,由创建方显式调用 shm.close() 和 shm.unlink() 释放资源。
四、使用文件映射(mmap)
mmap 将文件或匿名内存区域映射为进程地址空间的一部分,支持随机访问和大块数据零拷贝交换。
1、在主进程中使用 mmap.mmap(-1, length=1024*1024) 创建匿名映射。
2、将结构化数据按预定义偏移写入 mmap 对象。
3、通过 os.fork() 或 multiprocessing.Process 启动子进程,继承 mmap 句柄。
4、子进程在相同偏移处读取原始字节,需自行处理字节序与解析逻辑。
五、使用 Unix 域套接字(socket.AF_UNIX)
Unix 域套接字提供面向连接或无连接的本地通信,内核路径优化使其性能接近 Pipe,但支持更灵活的消息边界控制。
1、主进程调用 socket.socket(socket.AF_UNIX, socket.SOCK_STREAM) 创建服务端套接字。
2、绑定到本地路径(如 /tmp/proc_comm.sock),并监听连接请求。
3、子进程创建客户端套接字,connect 到该路径,建立双向字节流通道。
4、双方使用 send() 和 recv() 传输数据,需手动处理消息长度头以避免粘包。










