0

0

Python 内存分配器 pymalloc vs mimalloc 的对比

舞夢輝影

舞夢輝影

发布时间:2026-02-23 21:08:03

|

196人浏览过

|

来源于php中文网

原创

cpython 3.12+ 支持 --with-mimalloc 编译选项,启用后将 pymem_* 和 pyobject_malloc 全部转发至 mimalloc,需禁用 pymalloc 并静态链接;mimalloc 按 2mb segment 管理,支持部分回收,缓解 arena 碎片问题,但 gc.collect() 对其无效。

python 内存分配器 pymalloc vs mimalloc 的对比

Python 默认用的是 pymalloc,不是系统 malloc

CPython 在小对象分配(pymalloc,这是它自己实现的内存池机制,和系统级的 malloc(如 glibc 的 ptmalloc)完全隔离。你改环境变量或 LD_PRELOAD mimalloc,对 Python 小对象分配路径基本没影响——除非你绕过 CPython 分配器,直接调用 C 层接口。

常见错误现象:malloc_stats() 看不到 Python 对象分配、valgrind --tool=massif 显示堆行为“不匹配”、替换 LD_PRELOAD=./libmimalloc.so 后内存占用/性能无变化。

  • pymalloc 只管 PyObject* 和内部小块(如 intstr 的字符缓冲区),大对象(>512B)才 fallback 到系统 malloc
  • 想让 mimalloc 接管,得编译 CPython 时加 --with-mimalloc(3.12+ 支持),或手动 patch PyMem_RawMalloc 等函数指针
  • pymalloc 的 arena 是 256KB 固定块,碎片化集中在 arena 内部;mimalloc 按 segment(2MB)管理,更适应长生命周期混合分配

3.12+ 可以用 --with-mimalloc 编译,但有兼容代价

CPython 3.12 开始支持 --with-mimalloc 配置选项,启用后会把所有 PyMem_*PyObject_Malloc 转发到 mimalloc。但这不是简单“换库”,而是重绑整个内存分配入口。

使用场景:你有大量自定义 C 扩展,且这些扩展直接调用 PyMem_Malloc,又对尾部延迟敏感(比如实时音视频处理)。

立即学习Python免费学习笔记(深入)”;

Dreamina
Dreamina

字节跳动推出的AI绘画工具,用简单的文案创作精美的图片

下载
  • 必须静态链接 mimalloc--with-mimalloc=static),否则运行时找不到符号
  • 禁用 pymalloc--without-pymalloc)是强制的,否则两种分配器混用会导致 free() 错配崩溃
  • 某些调试构建(如 --with-pydebug)可能触发 mimalloc 的 assert,因为 CPython debug 模式会插桩检查指针来源

不用改解释器,也能让 mimalloc 生效的边界情况

如果你的应用重度依赖 NumPy、Pillow 或 PyTorch 这类底层用 C/C++ 分配内存的库,mimalloc 仍可能起作用——只要它们没显式调用 malloc,而是走标准 libc 接口。

典型例子:numpy.array(shape=(1000, 1000), dtype=float) 底层调的是 aligned_allocposix_memalign,这些会被 LD_PRELOAD 拦截;但 list.append() 一百万次,还是走 pymalloc

  • 验证是否生效:启动前设 export MIMALLOC_VERBOSE=1,看是否有 “mimalloc: init” 日志
  • 注意 glibcmalloc hook 机制在 musl 或某些容器里不可靠,Alpine Linux 上大概率失效
  • Python 的 GC 不感知 mimalloc,所以 gc.collect() 对它分配的内存无效——这反而减少 GC 假阳性扫描

pymalloc 的碎片问题比想象中难观察

很多人以为 pymalloc 碎片多是因为“对象频繁创建销毁”,其实关键在 **arena 复用策略**:一个 arena 被释放后,如果还有任意一个 block 被占用,整个 arena 就卡住不还给系统,直到全部 block 归还。

这意味着:短生命周期小对象 + 极少数长生命周期对象(比如某个缓存字典一直活着),会让整块 256KB arena 锁死。而 mimalloc 的 segment 可以部分回收,更灵活。

  • sys.getsizeof() 算不出碎片,得看 tracemallocget_traced_memory()/proc/PID/smapsMMUPageSize 字段
  • pymalloc 不做 compaction,一旦碎片化,只能等 arena 彻底空闲;mimalloc 有 lazy sweep,但代价是分配时可能稍慢
  • 别指望 gc.collect() 清掉 pymalloc 碎片——GC 只管 PyObject 引用计数,不管底层 block 是否空闲

真正要对比效果,得压测具体 workload:比如开 100 个线程持续生成临时 dict/list,跑 1 小时,再看 RSS 增长斜率。pymalloc 在这种场景下容易“只涨不跌”,mimalloc 相对平缓——但前提是它真被用上了。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
css中float用法
css中float用法

css中float属性允许元素脱离文档流并沿其父元素边缘排列,用于创建并排列、对齐文本图像、浮动菜单边栏和重叠元素。想了解更多float的相关内容,可以阅读本专题下面的文章。

592

2024.04.28

C++中int、float和double的区别
C++中int、float和double的区别

本专题整合了c++中int和double的区别,阅读专题下面的文章了解更多详细内容。

105

2025.10.23

string转int
string转int

在编程中,我们经常会遇到需要将字符串(str)转换为整数(int)的情况。这可能是因为我们需要对字符串进行数值计算,或者需要将用户输入的字符串转换为整数进行处理。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

830

2023.08.02

int占多少字节
int占多少字节

int占4个字节,意味着一个int变量可以存储范围在-2,147,483,648到2,147,483,647之间的整数值,在某些情况下也可能是2个字节或8个字节,int是一种常用的数据类型,用于表示整数,需要根据具体情况选择合适的数据类型,以确保程序的正确性和性能。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

581

2024.08.29

c++怎么把double转成int
c++怎么把double转成int

本专题整合了 c++ double相关教程,阅读专题下面的文章了解更多详细内容。

294

2025.08.29

C++中int的含义
C++中int的含义

本专题整合了C++中int相关内容,阅读专题下面的文章了解更多详细内容。

210

2025.08.29

硬盘接口类型介绍
硬盘接口类型介绍

硬盘接口类型有IDE、SATA、SCSI、Fibre Channel、USB、eSATA、mSATA、PCIe等等。详细介绍:1、IDE接口是一种并行接口,主要用于连接硬盘和光驱等设备,它主要有两种类型:ATA和ATAPI,IDE接口已经逐渐被SATA接口;2、SATA接口是一种串行接口,相较于IDE接口,它具有更高的传输速度、更低的功耗和更小的体积;3、SCSI接口等等。

1607

2023.10.19

PHP接口编写教程
PHP接口编写教程

本专题整合了PHP接口编写教程,阅读专题下面的文章了解更多详细内容。

483

2025.10.17

pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法
pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法

本专题系统整理pixiv网页版官网入口及登录访问方式,涵盖官网登录页面直达路径、在线阅读入口及快速进入方法说明,帮助用户高效找到pixiv官方网站,实现便捷、安全的网页端浏览与账号登录体验。

1127

2026.02.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.4万人学习

Django 教程
Django 教程

共28课时 | 4.5万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.7万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号