0

0

Python 运行指标采集的实现思路

冷炫風刃

冷炫風刃

发布时间:2026-02-17 15:03:10

|

315人浏览过

|

来源于php中文网

原创

psutil是python进程指标采集的事实标准,避免手动解析/proc或wmi;需注意cpu_percent首次调用为0、内存用rss而非vms、容器中指标受限、定时采集应基于monotonic时间对齐、上报用线程池、快照用字典而非threading.local。

python 运行指标采集的实现思路

psutil 读进程指标最稳,别自己去扒 /proc

Python 做运行时指标采集,psutil 是事实标准。它封装了跨平台的底层调用,避免你手动解析 /proc/pid/stat 或 Windows WMI,省掉权限、路径、字段偏移、字符串切分等一堆易错环节。

常见错误是看到“Linux 下能读 /proc”,就直接上 open('/proc/...') —— 实际会遇到:PID 已消亡导致文件不存在、权限被容器限制、字段顺序在不同内核版本里有微小变动、没处理符号链接跳转(比如 /proc/self)。

  • psutil.Process().cpu_percent(interval=0.1)interval 小于 0.1 秒时可能返回 0.0,因为需要两次采样差值;首次调用必为 0.0,得调两次才有效
  • 内存指标优先用 memory_info().rss,不是 vms(后者含 swap 和未分配页,对 OOM 判断无意义)
  • 容器环境里 psutil.sensors_temperatures() 通常不可用,别默认开启

定时采集别用 time.sleep() 循环

用阻塞式休眠做周期采集,在信号中断、GC 暂停、系统负载高时,实际间隔会漂移甚至堆积。尤其当采集逻辑里包含网络请求或磁盘 I/O,误差可能达秒级。

更可靠的做法是基于绝对时间对齐:记录下一次该触发的时间点,用 time.monotonic() 判断是否到达,再执行采集。这样即使单次耗时长,下次也会“追赶”而非“跳过”。

立即学习Python免费学习笔记(深入)”;

Heeyo
Heeyo

Heeyo:AI儿童启蒙陪伴师,风靡于硅谷的儿童AI导师和玩伴

下载
  • 别写 while True: collect(); time.sleep(5) —— 这会让周期变成 5 + collect耗时
  • 改用 next_run = time.monotonic() + 5; while True: if time.monotonic() >= next_run: collect(); next_run += 5
  • 如果采集要发 HTTP 上报,建议用独立线程或 concurrent.futures.ThreadPoolExecutor 提交,避免阻塞主采集循环

threading.local 不适合存指标快照

有人想在线程本地存储每次采集的 cpu_percent 或内存值,方便后续聚合,结果发现数据错乱或丢失。这是因为 threading.local 绑定的是 OS 线程,而 Python 的 concurrent.futures 或异步任务可能复用线程,且主线程和采集线程不是同一个上下文。

真正轻量又安全的方式是每次采集生成一个字典或 dataclass 实例,显式传给上报函数。若需跨阶段共享,用全局 dictthreading.RLock,但多数场景没必要——指标本来就是离散快照。

  • 错误示范:local_store = threading.local(); local_store.cpu = psutil.cpu_percent()
  • 正确做法:snapshot = {'ts': time.time(), 'cpu': psutil.cpu_percent(), 'mem_rss': p.memory_info().rss}
  • 如果用 asyncio,更别碰 threading.local —— 它对协程完全无效

容器里 psutil 看不到宿主机指标,也别硬绕

在 Docker 或 Kubernetes Pod 里,默认 cgroups v2 + pid namespace 隔离后,psutil 只能看到本容器内进程,psutil.disk_usage('/') 返回的是容器 rootfs 而非宿主机磁盘,psutil.net_if_addrs() 也可能只暴露虚拟网卡。

强行挂载 /proc/sys 宿主机路径进来,虽然能读到数据,但会破坏容器边界,带来权限提升风险,且在 OpenShift 等强化环境中直接被拒绝。真要宿主机级指标,应该由专门的 DaemonSet agent(如 Prometheus Node Exporter)统一采集并暴露 HTTP 接口,你的 Python 服务只消费它。

  • 容器内调用 psutil.sensors_battery() 总是空,因为没设备节点映射
  • psutil.boot_time() 在容器里返回的是宿主机启动时间,不是容器启动时间 —— 如需后者,读 /proc/1/comm 或环境变量 START_TIME 更靠谱
  • 别在容器里尝试 psutil.pids() 后遍历所有 PID 做全量分析 —— 大部分 PID 你根本没权限读,会抛 psutil.AccessDenied
事情说清了就结束

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
if什么意思
if什么意思

if的意思是“如果”的条件。它是一个用于引导条件语句的关键词,用于根据特定条件的真假情况来执行不同的代码块。本专题提供if什么意思的相关文章,供大家免费阅读。

815

2023.08.22

while的用法
while的用法

while的用法是“while 条件: 代码块”,条件是一个表达式,当条件为真时,执行代码块,然后再次判断条件是否为真,如果为真则继续执行代码块,直到条件为假为止。本专题为大家提供while相关的文章、下载、课程内容,供大家免费下载体验。

103

2023.09.25

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

553

2023.08.03

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

216

2023.09.04

java基础知识汇总
java基础知识汇总

java基础知识有Java的历史和特点、Java的开发环境、Java的基本数据类型、变量和常量、运算符和表达式、控制语句、数组和字符串等等知识点。想要知道更多关于java基础知识的朋友,请阅读本专题下面的的有关文章,欢迎大家来php中文网学习。

1553

2023.10.24

字符串介绍
字符串介绍

字符串是一种数据类型,它可以是任何文本,包括字母、数字、符号等。字符串可以由不同的字符组成,例如空格、标点符号、数字等。在编程中,字符串通常用引号括起来,如单引号、双引号或反引号。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

640

2023.11.24

java读取文件转成字符串的方法
java读取文件转成字符串的方法

Java8引入了新的文件I/O API,使用java.nio.file.Files类读取文件内容更加方便。对于较旧版本的Java,可以使用java.io.FileReader和java.io.BufferedReader来读取文件。在这些方法中,你需要将文件路径替换为你的实际文件路径,并且可能需要处理可能的IOException异常。想了解更多java的相关内容,可以阅读本专题下面的文章。

945

2024.03.22

php中定义字符串的方式
php中定义字符串的方式

php中定义字符串的方式:单引号;双引号;heredoc语法等等。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

876

2024.04.29

pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法
pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法

本专题系统整理pixiv网页版官网入口及登录访问方式,涵盖官网登录页面直达路径、在线阅读入口及快速进入方法说明,帮助用户高效找到pixiv官方网站,实现便捷、安全的网页端浏览与账号登录体验。

283

2026.02.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.4万人学习

Django 教程
Django 教程

共28课时 | 4.3万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.6万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号