Python 内存映射文件优化 mmap

冰川箭仙

发布时间：2025-09-21 19:27:01

487人浏览过

来源于php中文网

原创

mmap通过将文件映射到内存，避免传统I/O的数据拷贝，适用于大文件或频繁随机访问；使用mmap.mmap创建映射后可像操作字符串一样读写数据，读取时按需加载页减少内存占用，写入时选择ACCESS_WRITE或ACCESS_COPY模式并注意flush和同步问题，适合GB级文件处理但不适用于小文件或顺序读取，跨平台需注意兼容性。

python 内存映射文件优化 mmap

内存映射文件的基本原理

Python 中的 mmap 模块允许将文件直接映射到内存，通过操作内存地址来读写文件内容，避免传统 I/O 的多次数据拷贝。适用于大文件处理或频繁随机访问的场景。操作系统在背后管理页的加载与换出，程序只需像操作字符串一样处理数据。

使用 mmap 提升读取性能

对于大文件，常规的

read()

会一次性加载全部内容，消耗大量内存。而 mmap 只加载需要的页，减少内存占用。例如读取日志文件中的某一行：

打开文件后用

mmap.mmap(fd, 0, access=mmap.ACCESS_READ)

创建只读映射

使用切片或
```
find()
```
快速定位内容，如
```
mm.find(b"ERROR")
```
无需读完整个文件即可获取目标数据，响应更快

写入优化与注意事项

写入时使用

mmap.ACCESS_WRITE

或

mmap.ACCESS_COPY

，根据是否需要原文件备份选择模式。

ACCESS_WRITE：直接修改原文件，节省空间但风险高
ACCESS_COPY：写时复制，适合测试或临时修改
频繁小写操作建议批量处理，避免页频繁刷新影响性能
写完后调用
```
flush()
```
确保数据落盘，特别是在 Windows 上

适用场景与局限性

mmap 在处理 GB 级文本、数据库快照或二进制文件时优势明显。但不适用于小文件或顺序流式读取，因为映射本身有开销。多进程共享同一映射时需注意同步问题。Windows 和 Unix 行为略有差异，跨平台代码应测试兼容性。

科大讯飞-AI虚拟主播

科大讯飞推出的移动互联网智能交互平台，为开发者免费提供：涵盖语音能力增强型SDK，一站式人机智能语音交互解决方案，专业全面的移动应用分析；

下载

立即学习“Python免费学习笔记（深入）”；

基本上就这些，合理使用 mmap 能显著提升 I/O 效率，关键是理解系统页机制和访问模式匹配。

Python 单元测试设计与 pytest 实战

Python itertools 常用迭代组合技巧

Python 模块拆分与依赖控制技巧

Python 对象 ID 与内存地址的对应关系

Python 可调用对象的类型判断

相关标签:

python windows 操作系统 access unix win 内存占用文件备份 Error 字符串切片 windows 数据库 unix Access

本站声明：本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn

上一篇：高效对比Pandas DataFrame并提取差异数据下一篇：python如何读取一个txt文件_python读写TXT文件的基本操作

作者最新文章

拼多多3人团拼了2个人退款可以吗

2026-01-27 14:07

Linux 内核日志如何正确解读

2026-01-27 14:13

三国猛将传2026兑换码是多少最新礼包码领取入口

2026-01-27 14:15

拼多多商家版退店后还能开吗

2026-01-27 14:21

拼多多拼团怎么加入别人的团拼多多三人团免拼技巧

2026-01-27 14:25

天猫魔盒怎么安装第三方app 天猫魔盒识别不了apk怎么办

2026-01-27 14:27

windows任务栏大小怎么调？任务栏高度及图标大小调整方法

2026-01-27 14:43

百度云盘vip免费领取_百度网盘VIP会员免费领取教程

2026-01-27 14:47

三国猛将传官网版入口三国猛将传官网版手游免下载入口

2026-01-27 15:21

云服务查找手机定位登录怎么操作？小米云服务i.mi.com登录后查找设备定位步骤

2026-01-27 15:27

热门AI工具

DeepSeek

幻方量化公司旗下的开源大模型平台

AI 编程开发 AI 聊天问答

豆包大模型

字节跳动自主研发的一系列大型语言模型

AI 编程开发 AI大模型

通义千问

阿里巴巴推出的全能AI助手

AI 编程开发 Agent智能体

腾讯元宝

腾讯混元平台推出的AI助手

文档处理 AI 聊天问答

文心一言

文心一言是百度开发的AI聊天机器人，通过对话可以生成各种形式的内容。

AI 编程开发 AI 文本写作

讯飞写作

基于讯飞星火大模型的AI写作工具，可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

AI 文本写作中文写作

即梦AI

一站式AI创作平台，免费AI图片和视频生成。

图片拼接图画生成

ChatGPT

最最强大的AI聊天机器人程序，ChatGPT不单是聊天机器人，还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

AI 编程开发 AI 文本写作

智谱清言 - 免费全能的AI助手

AI 编程开发 Agent智能体

相关专题

scripterror怎么解决

scripterror的解决办法有检查语法、文件路径、检查网络连接、浏览器兼容性、使用try-catch语句、使用开发者工具进行调试、更新浏览器和JavaScript库或寻求专业帮助等。本专题为大家提供相关的文章、下载、课程内容，供大家免费下载体验。

208

2023.10.18

500error怎么解决

500error的解决办法有检查服务器日志、检查代码、检查服务器配置、更新软件版本、重新启动服务、调试代码和寻求帮助等。本专题为大家提供相关的文章、下载、课程内容，供大家免费下载体验。

295

2023.10.25

js 字符串转数组

js字符串转数组的方法：1、使用“split()”方法；2、使用“Array.from()”方法；3、使用for循环遍历；4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容，供大家免费下载体验。

298

2023.08.03

js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容，供大家免费下载体验。

212

2023.09.04

java基础知识汇总

java基础知识有Java的历史和特点、Java的开发环境、Java的基本数据类型、变量和常量、运算符和表达式、控制语句、数组和字符串等等知识点。想要知道更多关于java基础知识的朋友，请阅读本专题下面的的有关文章，欢迎大家来php中文网学习。

1498

2023.10.24

字符串介绍

字符串是一种数据类型，它可以是任何文本，包括字母、数字、符号等。字符串可以由不同的字符组成，例如空格、标点符号、数字等。在编程中，字符串通常用引号括起来，如单引号、双引号或反引号。想了解更多字符串的相关内容，可以阅读本专题下面的文章。

623

2023.11.24

java读取文件转成字符串的方法

Java8引入了新的文件I/O API，使用java.nio.file.Files类读取文件内容更加方便。对于较旧版本的Java，可以使用java.io.FileReader和java.io.BufferedReader来读取文件。在这些方法中，你需要将文件路径替换为你的实际文件路径，并且可能需要处理可能的IOException异常。想了解更多java的相关内容，可以阅读本专题下面的文章。

612

2024.03.22

php中定义字符串的方式

php中定义字符串的方式：单引号；双引号；heredoc语法等等。想了解更多字符串的相关内容，可以阅读本专题下面的文章。

588

2024.04.29

Python 自然语言处理（NLP）基础与实战

本专题系统讲解 Python 在自然语言处理（NLP）领域的基础方法与实战应用，涵盖文本预处理（分词、去停用词）、词性标注、命名实体识别、关键词提取、情感分析，以及常用 NLP 库（NLTK、spaCy）的核心用法。通过真实文本案例，帮助学习者掌握使用 Python 进行文本分析与语言数据处理的完整流程，适用于内容分析、舆情监测与智能文本应用场景。

2026.01.27

热门下载

网站特效

网站源码

网站素材

前端模板