0

0

Linux cpuset cgroup 的 CPU 隔离与 NUMA 节点绑定生产实践

冷炫風刃

冷炫風刃

发布时间:2026-02-16 17:16:58

|

378人浏览过

|

来源于php中文网

原创

cpuset.cpus 和 cpuset.mems 必须同时非空设置才生效,否则写入任一文件均报 invalid argument;若 cgroup 中有任务需先清空 tasks;父 cgroup 掩码限制子 cgroup 可用资源;numa 绑定需配合关闭 numa_balancing 和进程级内存策略;v2 下路径和行为不同,需确认版本并按新规则配置。

linux cpuset cgroup 的 cpu 隔离与 numa 节点绑定生产实践

cpuset.cpus 和 cpuset.mems 必须同时设置才生效

Linux 内核要求 cpuset.cpuscpuset.mems 在同一个 cgroup 中必须都非空,否则写入任意一个都会失败(报错 Invalid argument)。这和直觉相反——很多人以为先设 CPU、再设内存节点是可行的。

常见错误现象:echo 0-1 > cpuset.cpus 成功,但紧接着 echo 0 > cpuset.mems 报错;或者反过来,cpuset.mems 写入成功后,cpuset.cpus 却拒绝写入。

  • 必须用原子方式同时设置:比如 echo 0-1 > cpuset.cpus && echo 0 > cpuset.mems(注意顺序不重要,但不能有间隔)
  • 如果 cgroup 已存在任务(tasks 非空),必须先清空 tasks 才能修改这两个值
  • cpuset.mems 的值必须是当前系统实际存在的 NUMA 节点 ID,可通过 numactl --hardware 查看;写入不存在的节点(如 echo 99 > cpuset.mems)也会报 Invalid argument

绑定进程前必须确认其不在父 cgroup 的 cpuset 掩码中

cpuset 是严格继承的:子 cgroup 只能使用父 cgroup 允许的 CPU 和内存节点。如果父 cgroup(比如 /sys/fs/cgroup/cpuset/ 根目录)的 cpuset.cpus 是空的或限制过窄,子 cgroup 再怎么配也没用。

典型场景:在 Kubernetes 中用 cpusets 限制 Pod,但 Node 上 kubelet 启动时没显式配置根 cgroup 的 cpuset.cpuscpuset.mems,导致所有子 cgroup 实际被锁死在默认掩码下(通常是全 0 节点)。

  • 检查父级掩码:cat /sys/fs/cgroup/cpuset/cpuset.cpuscat /sys/fs/cgroup/cpuset/cpuset.mems
  • 生产环境建议在系统启动早期(如 systemd service 或 init.d 脚本中)就初始化根 cgroup,例如:echo 0-63 > /sys/fs/cgroup/cpuset/cpuset.cpus && echo 0-3 > /sys/fs/cgroup/cpuset/cpuset.mems
  • 修改父 cgroup 掩码会立即影响所有未显式覆盖的子 cgroup,需评估对已有负载的影响

NUMA 绑定失效的三个隐蔽原因

即使 cpuset.mems 正确设置了 NUMA 节点,进程仍可能跨节点分配内存,本质是内核内存策略未同步约束。

酷表ChatExcel
酷表ChatExcel

北大团队开发的通过聊天来操作Excel表格的AI工具

下载

关键点在于:cpuset 只控制「可访问哪些节点」,不控制「优先从哪个节点分配」。要真正实现本地内存分配,还需配合 numa_balancing 关闭和进程级 mbindset_mempolicy 调用。

  • 检查是否启用了自动 NUMA 平衡:cat /proc/sys/kernel/numa_balancing,生产环境建议设为 0echo 0 > /proc/sys/kernel/numa_balancing
  • 进程启动时若未调用 set_mempolicy(MPOL_BIND, ...),malloc 默认仍走系统全局策略,可能 fallback 到其他节点
  • 某些语言运行时(如 JVM)有自己的内存管理器,需额外参数支持 NUMA 感知,例如 OpenJDK 的 -XX:+UseNUMA,且仅在启用 cpuset.mems 后才有效

cpuset v2 下路径和行为差异必须注意

如果你用的是较新内核(5.11+)且启用了 cgroup v2(systemd 默认),cpuset 控制器的行为和路径完全不同:没有独立的 cpuset.cpus 文件,而是统一通过 cgroup.procs + cpuset.cpus.effective + cpuset.mems.effective 管理,且父子继承逻辑更严格。

错误现象:在 v2 下仍尝试写 cpuset.cpus,得到 No such file or directory;或发现 cpuset.cpus.effective 显示为空,其实是被父级限制为 0。

  • 确认版本:mount | grep cgroup —— 若挂载点含 unified,就是 v2
  • v2 中设置 CPU 掩码应写入 cgroup.subtree_control 启用 cpuset,再写 cpuset.cpus(注意:v2 的 cpuset.cpus 是可写的,但需先启用控制器)
  • v2 下 cpuset.mems 同样必须与 cpuset.cpus 同时设置,且子 cgroup 的 effective 值由父级 cpuset.cpus/cpuset.mems 与自身共同决定,不可越界

最常被忽略的一点:cpuset 对线程粒度无效。一个进程绑定了 CPU 0-1 和 NUMA 节点 0,它的某个线程仍可能被调度到其他 CPU(除非用 sched_setaffinity 单独绑核),而内存分配策略也只作用于进程首次 malloc 的上下文。真要隔离,得在应用层做细粒度控制,不能只靠 cgroup 配置。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

675

2023.08.10

Golang云原生微服务Kubernetes_Golang怎么集成Kubernetes开发云原生服务
Golang云原生微服务Kubernetes_Golang怎么集成Kubernetes开发云原生服务

Golang云原生微服务Kubernetes (K8s) 是指 使用 Go 语言(Golang)编写的云原生微服务,并利用 Kubernetes 平台进行容器化部署、自动化管理、弹性伸缩和高效编排的一整套现代应用架构方案。

27

2025.12.22

Golang云原生微服务Kubernetes_Golang怎么集成Kubernetes开发云原生服务
Golang云原生微服务Kubernetes_Golang怎么集成Kubernetes开发云原生服务

Golang云原生微服务Kubernetes (K8s) 是指 使用 Go 语言(Golang)编写的云原生微服务,并利用 Kubernetes 平台进行容器化部署、自动化管理、弹性伸缩和高效编排的一整套现代应用架构方案。

27

2025.12.22

磁盘配额是什么
磁盘配额是什么

磁盘配额是计算机中指定磁盘的储存限制,就是管理员可以为用户所能使用的磁盘空间进行配额限制,每一用户只能使用最大配额范围内的磁盘空间。php中文网为大家提供各种磁盘配额相关的内容,教程,供大家免费下载安装。

1520

2023.06.21

如何安装LINUX
如何安装LINUX

本站专题提供如何安装LINUX的相关教程文章,还有相关的下载、课程,大家可以免费体验。

714

2023.06.29

linux find
linux find

find是linux命令,它将档案系统内符合 expression 的档案列出来。可以指要档案的名称、类别、时间、大小、权限等不同资讯的组合,只有完全相符的才会被列出来。find根据下列规则判断 path 和 expression,在命令列上第一个 - ( ) , ! 之前的部分为 path,之后的是 expression。还有指DOS 命令 find,Excel 函数 find等。本站专题提供linux find相关教程文章,还有相关

300

2023.06.30

linux修改文件名
linux修改文件名

本专题为大家提供linux修改文件名相关的文章,这些文章可以帮助用户快速轻松地完成文件名的修改工作,大家可以免费体验。

791

2023.07.05

linux系统安装教程
linux系统安装教程

linux系统是一种可以免费使用,自由传播,多用户、多任务、多线程、多CPU的操作系统。本专题提供linux系统安装教程相关的文章,大家可以免费体验。

584

2023.07.06

pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法
pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法

本专题系统整理pixiv网页版官网入口及登录访问方式,涵盖官网登录页面直达路径、在线阅读入口及快速进入方法说明,帮助用户高效找到pixiv官方网站,实现便捷、安全的网页端浏览与账号登录体验。

283

2026.02.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL 教程
PostgreSQL 教程

共48课时 | 9.2万人学习

Git 教程
Git 教程

共21课时 | 3.7万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号