0

0

Python 内存快照与分析工具使用

舞夢輝影

舞夢輝影

发布时间:2026-02-18 11:00:12

|

436人浏览过

|

来源于php中文网

原创

用pympler.tracker.summarytracker()做实时内存快照最轻量,需在业务前后各调用take_snapshot()比对,避免循环新建、禁用gc以保增量准确,重点关注dict/list/str类型。

python 内存快照与分析工具使用

怎么用 pympler 做实时内存快照

直接调用 tracker.SummaryTracker() 是最轻量的起点,它不侵入业务逻辑,适合在关键路径前后各拍一次快照比对。注意别在循环里反复初始化 tracker——每次新建都会重置统计基准,导致增量归零。

常见错误是以为 tracker.print_diff() 能自动识别“新增对象”,其实它只对比两次 tracker.take_snapshot() 的结果,中间若有 GC 发生,存活对象数可能反降。建议配合 gc.disable() 短暂禁用垃圾回收(仅调试期)。

  • 用法示例:
    from pympler import tracker<br>tr = tracker.SummaryTracker()<br># ... 业务代码前<br>s1 = tr.take_snapshot()<br># ... 业务代码后<br>s2 = tr.take_snapshot()<br>tr.print_diff(s1, s2)
  • 重点关注 types 列里的 dictliststr —— 它们占内存大且容易意外累积
  • 避免在多线程环境共享同一个 SummaryTracker 实例,线程不安全

objgraph 查不到对象?先确认引用链是否被截断

objgraph 找不到目标对象,大概率不是工具失效,而是你传进去的变量名本身已不持有引用。比如函数返回一个大列表,你在函数外只做了 res = func(),但紧接着又执行了 res = None,那原始列表可能已被 GC 标记为待回收,objgraph.by_type("list") 就查不到它。

更隐蔽的情况是:对象被闭包、__dict__ 或弱引用容器(如 weakref.WeakKeyDictionary)持有,objgraph.show_backrefs() 默认不穿透这些结构。必须显式加参数:max_depth=5, too_many=10, extra_ignore=[id(locals())]

立即学习Python免费学习笔记(深入)”;

网奇.NET网络商城系统
网奇.NET网络商城系统

系统优势: 1、 使用全新ASP.Net+c#和三层结构开发. 2、 可生成各类静态页面(html,htm,shtm,shtml和.aspx) 3、 管理后台风格模板自由选择,界面精美 4、 风格模板每月更新多套,还可按需定制 5、 独具的缓存技术加快网页浏览速度 6、 智能销售统计,图表分析 7、 集成国内各大统计系统 8、 多国语言支持,内置简体繁体和英语 9、 UTF-8编码,可使用于全球

下载
  • 典型误判场景:Django 视图里临时构造的 QuerySet 对象,因缓存机制被 Model 类的 _meta 引用链间接持有着,不设 max_depth 就看不到根因
  • objgraph.show_growth()by_type() 更可靠——它基于全局对象计数器,不依赖当前变量作用域
  • Windows 下若报 Graphviz not found,不是必须装 Graphviz;改用 objgraph.show_most_common_types(limit=20) 同样能定位热点类型

tracemalloc 定位内存分配源头时,为什么行号总是 <frozen importlib._bootstrap></frozen>

这是 Python 3.6+ 默认行为:tracemalloc 只记录“分配发生时”的栈帧,而很多第三方库(尤其是 C 扩展或用 __import__ 动态加载的模块)的内存申请发生在 import 过程中,真实业务代码行号被压在底层帧之下。

解决办法是启动时就启用,并过滤掉无关路径:tracemalloc.start(25) # depth=25 足够展开嵌套 import,再用 filter_traces() 排除标准库路径:

  • import tracemalloc<br>tracemalloc.start(25)<br># ... 运行后<br>snapshot = tracemalloc.take_snapshot()<br>top_stats = snapshot.filter_traces((<br>    tracemalloc.Filter(False, "<frozen importlib._bootstrap>"),<br>    tracemalloc.Filter(False, "lib/python3.*"),<br>)).statistics('lineno')
  • 注意 tracemalloc 无法跟踪 C 扩展分配的内存(如 NumPy 数组底层 malloc),这类得靠 psutil.Process().memory_info().rss 结合时间戳粗略估算
  • 生产环境慎用:开启后每个 malloc 调用会增加约 10% CPU 开销,且 snapshot 本身也吃内存

生成的 .heapsnapshot 文件怎么导入 Chrome DevTools

Python 没有原生导出 Chrome 兼容格式的能力,必须用 memray 或手动转换。推荐用 memray:它生成的 .bin 文件可直接转成 Chrome 能读的 .heapsnapshot

关键步骤是加 --native 参数启动采集,否则看不到 C 扩展分配点;导出时指定 --format chrome

  • pip install memray<br>memray run --native --output profile.bin python my_script.py<br>memray tree profile.bin  # 快速看热点<br>memray convert --format chrome profile.bin  # 输出 profile.heapsnapshot
  • Chrome 中打开 DevTools → Memory → Load → 选中文件,注意顶部切换到 “Allocation instrumentation on timeline” 才能看到按时间轴分布的分配事件
  • 如果转换失败,大概率是 profile.bin 里含多进程数据(如用了 multiprocessing),需加 --pid 指定目标进程 ID 重采

实际分析时,真正卡住人的往往不是工具不会用,而是没意识到「Python 对象引用关系」和「C 层内存分配」是两套体系——前者用 objgraphpympler,后者得靠 memrayvalgrind。混着查,才不容易漏掉释放失败的 ctypes 指针或未 close 的 mmap 区域。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
Python Web 框架 Django 深度开发
Python Web 框架 Django 深度开发

本专题系统讲解 Python Django 框架的核心功能与进阶开发技巧,包括 Django 项目结构、数据库模型与迁移、视图与模板渲染、表单与认证管理、RESTful API 开发、Django 中间件与缓存优化、部署与性能调优。通过实战案例,帮助学习者掌握 使用 Django 快速构建功能全面的 Web 应用与全栈开发能力。

69

2026.02.04

chrome什么意思
chrome什么意思

chrome是浏览器的意思,由Google开发的网络浏览器,它在2008年首次发布,并迅速成为全球最受欢迎的浏览器之一。本专题为大家提供chrome相关的文章、下载、课程内容,供大家免费下载体验。

960

2023.08.11

chrome无法加载插件怎么办
chrome无法加载插件怎么办

chrome无法加载插件可以通过检查插件是否已正确安装、禁用和启用插件、清除插件缓存、更新浏览器和插件、检查网络连接和尝试在隐身模式下加载插件方法解决。更多关于chrome相关问题,详情请看本专题下面的文章。php中文网欢迎大家前来学习。

791

2023.11.06

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

865

2023.07.31

python中的format是什么意思
python中的format是什么意思

python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

449

2024.06.27

堆和栈的区别
堆和栈的区别

堆和栈的区别:1、内存分配方式不同;2、大小不同;3、数据访问方式不同;4、数据的生命周期。本专题为大家提供堆和栈的区别的相关的文章、下载、课程内容,供大家免费下载体验。

419

2023.07.18

堆和栈区别
堆和栈区别

堆(Heap)和栈(Stack)是计算机中两种常见的内存分配机制。它们在内存管理的方式、分配方式以及使用场景上有很大的区别。本文将详细介绍堆和栈的特点、区别以及各自的使用场景。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

594

2023.08.10

线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

675

2023.08.10

pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法
pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法

本专题系统整理pixiv网页版官网入口及登录访问方式,涵盖官网登录页面直达路径、在线阅读入口及快速进入方法说明,帮助用户高效找到pixiv官方网站,实现便捷、安全的网页端浏览与账号登录体验。

462

2026.02.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.4万人学习

Django 教程
Django 教程

共28课时 | 4.3万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.6万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号