0

0

Python 中实现“每个进程绑定 N 个 CPU 核心”的多进程调度方案

聖光之護

聖光之護

发布时间:2026-01-16 21:35:01

|

656人浏览过

|

来源于php中文网

原创

Python 中实现“每个进程绑定 N 个 CPU 核心”的多进程调度方案

python 的 `multiprocessing.pool` 本身不支持直接指定“每进程分配 n 个 cpu 核心”,但可通过合理计算进程数、结合 `psutil` 或 `os.sched_setaffinity` 手动绑定 cpu 核心,实现近似效果。本文详解原理、安全计算方式与实用示例。

标准 multiprocessing.Pool 的第一个参数 processes 表示启动的进程数量,而非对每个进程的资源配额。操作系统负责将这些进程调度到可用核心上,但默认不保证独占或绑定——这意味着多个进程可能竞争同一核心,导致实际并行度下降或 NUMA 不均衡。

要实现“每个工作进程独占 N 个核心”的语义(即软性资源隔离),关键在于两点:

  1. 控制总进程数,确保 总核心数 ≥ 进程数 × N;
  2. 在子进程中显式绑定 CPU 亲和性(CPU affinity),防止 OS 调度器跨核迁移。

✅ 正确做法示例(推荐使用 psutil + multiprocessing.Pool 初始化):

import multiprocessing as mp
import psutil
import os

def worker_init(n_cores_per_worker: int):
    """子进程初始化:绑定当前进程到 n_cores_per_worker 个空闲核心"""
    # 获取所有逻辑核心索引
    all_cores = list(range(psutil.cpu_count(logical=True)))
    # 简单策略:按进程 ID 分片(需配合固定进程数)
    pid = os.getpid()
    core_start = (pid % (len(all_cores) // n_cores_per_worker)) * n_cores_per_worker
    assigned_cores = all_cores[core_start : core_start + n_cores_per_worker]

    # 绑定(仅 Linux/macOS;Windows 需用其他方式如 job objects)
    try:
        psutil.Process().cpu_affinity(assigned_cores)
    except (NotImplementedError, AttributeError):
        pass  # Windows 不支持或未安装 psutil

def func(x):
    return x ** 2

if __name__ == "__main__":
    TOTAL_CORES = psutil.cpu_count(logical=True)  # 例如 16
    N_CORES_PER_PROCESS = 2
    RESERVED_CORES = 2  # 为主进程等预留核心(可设为 0)

    # 安全计算最大工作进程数:向下取整,避免超订
    max_workers = max(1, (TOTAL_CORES - RESERVED_CORES) // N_CORES_PER_PROCESS)

    with mp.Pool(
        processes=max_workers,
        initializer=worker_init,
        initargs=(N_CORES_PER_PROCESS,)
    ) as pool:
        results = pool.map(func, range(10000))

    print(f"Using {max_workers} workers, each bound to {N_CORES_PER_PROCESS} cores.")

⚠️ 注意事项:

Chromox
Chromox

Chromox是一款领先的AI在线生成平台,专为喜欢AI生成技术的爱好者制作的多种图像、视频生成方式的内容型工具平台。

下载

立即学习Python免费学习笔记(深入)”;

  • cpu_affinity() 仅在 Linux/macOS 且 psutil ≥ 5.7.0 下可靠生效;Windows 上需借助 win32process.SetProcessAffinityMask(需 pywin32)或进程组管理。
  • 绑定核心前建议调用 psutil.cpu_count(logical=False) 获取物理核心数,避免超线程干扰(尤其对 CPU 密集型任务)。
  • 若任务本身是 Python 多线程(如含 threading 或 concurrent.futures.ThreadPoolExecutor),需额外注意 GIL 与线程调度冲突,此时更推荐纯进程级隔离。
  • multiprocessing.Pool 不提供原生“N 核/进程”接口,所谓 cool_new_pool 是概念抽象,真实工程中应通过组合控制(进程数 + 亲和性 + 资源预估)达成目标。

? 总结:没有银弹,但有稳健解法。核心逻辑是——用数学约束进程数,用系统调用约束调度行为。只要明确硬件资源边界、预留余量、并在子进程启动时固化 CPU 亲和性,即可在 Python 生态中高效模拟“N 核每进程”的并行模型。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

WorkBuddy
WorkBuddy

腾讯云推出的AI原生桌面智能体工作台

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
硬盘接口类型介绍
硬盘接口类型介绍

硬盘接口类型有IDE、SATA、SCSI、Fibre Channel、USB、eSATA、mSATA、PCIe等等。详细介绍:1、IDE接口是一种并行接口,主要用于连接硬盘和光驱等设备,它主要有两种类型:ATA和ATAPI,IDE接口已经逐渐被SATA接口;2、SATA接口是一种串行接口,相较于IDE接口,它具有更高的传输速度、更低的功耗和更小的体积;3、SCSI接口等等。

1946

2023.10.19

PHP接口编写教程
PHP接口编写教程

本专题整合了PHP接口编写教程,阅读专题下面的文章了解更多详细内容。

656

2025.10.17

php8.4实现接口限流的教程
php8.4实现接口限流的教程

PHP8.4本身不内置限流功能,需借助Redis(令牌桶)或Swoole(漏桶)实现;文件锁因I/O瓶颈、无跨机共享、秒级精度等缺陷不适用高并发场景。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2399

2025.12.29

java接口相关教程
java接口相关教程

本专题整合了java接口相关内容,阅读专题下面的文章了解更多详细内容。

47

2026.01.19

线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

765

2023.08.10

Python 多线程与异步编程实战
Python 多线程与异步编程实战

本专题系统讲解 Python 多线程与异步编程的核心概念与实战技巧,包括 threading 模块基础、线程同步机制、GIL 原理、asyncio 异步任务管理、协程与事件循环、任务调度与异常处理。通过实战示例,帮助学习者掌握 如何构建高性能、多任务并发的 Python 应用。

377

2025.12.24

java多线程相关教程合集
java多线程相关教程合集

本专题整合了java多线程相关教程,阅读专题下面的文章了解更多详细内容。

32

2026.01.21

C++多线程相关合集
C++多线程相关合集

本专题整合了C++多线程相关教程,阅读专题下面的的文章了解更多详细内容。

29

2026.01.21

Python异步编程与Asyncio高并发应用实践
Python异步编程与Asyncio高并发应用实践

本专题围绕 Python 异步编程模型展开,深入讲解 Asyncio 框架的核心原理与应用实践。内容包括事件循环机制、协程任务调度、异步 IO 处理以及并发任务管理策略。通过构建高并发网络请求与异步数据处理案例,帮助开发者掌握 Python 在高并发场景中的高效开发方法,并提升系统资源利用率与整体运行性能。

37

2026.03.12

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL 教程
PostgreSQL 教程

共48课时 | 10.6万人学习

Git 教程
Git 教程

共21课时 | 4.2万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号