0

0

Python glob 与 os.walk 的性能与使用场景对比

舞姬之光

舞姬之光

发布时间:2026-02-25 19:07:13

|

340人浏览过

|

来源于php中文网

原创

该用 glob 而不是 os.walk 时:匹配单层目录下符合简单通配符的文件(如 .py),不关心子目录结构;glob 更轻量、直接,适合配置扫描、日志清理等任务。

python glob 与 os.walk 的性能与使用场景对比

什么时候该用 glob 而不是 os.walk

当你要匹配**单层目录下符合简单通配符的文件**(比如所有 .py 文件),且不关心子目录结构时,glob 更轻、更直接。

它底层调用系统 glob 或路径展开逻辑,不做递归遍历,也没有生成器开销。适合配置扫描、日志轮转清理、批量重命名这类“一眼看到底”的任务。

  • glob.glob("*.log") 只查当前目录;加 **/*.log 才递归——但这时已接近 os.walk 的职责边界
  • glob 不区分文件/目录,返回路径字符串,需手动用 os.path.isfile() 过滤
  • Windows 下大小写不敏感,Linux/macOS 敏感——同一行代码在不同系统可能返回不同结果

为什么 os.walk 在深度遍历时更可控

当你需要逐层访问目录树、对每个目录做判断(比如跳过 __pycache__)、或同时收集文件和目录元信息时,os.walk 的三元组返回值(root, dirs, files)提供了明确的干预点。

它本质是广度优先的迭代器,每次 yield 前允许你修改 dirs 列表来控制是否进入子目录——这是 glob 完全做不到的。

立即学习Python免费学习笔记(深入)”;

杰易CRM客户关系管理系统
杰易CRM客户关系管理系统

软件介绍 a.. 当今的市场压力迫使企业在提高产品质量和性能的同时,降低成本和缩短产品上市的时间。每个企业都在努力更新自己,包括其生产过程和产品,以满足这些需求。实现这些目标的三种方法是:业务处理再设计、新技术应用、与顾客形成战略联盟。 b.. 对所有的商业应用只有建立整体的IT体系结构,才能形成战略优势,才能确定企业的突破口。这种新的体系结构是以三层结构标准为基础的客户关系

下载
  • 修改 dirs 可实现条件跳过:dirs[:] = [d for d in dirs if d != "__pycache__"]
  • 如果只想要文件路径,别写 for root, dirs, files in os.walk(...): for f in files: yield os.path.join(root, f) ——这样拼接慢,改用 pathlib.Path(root).joinpath(f) 更安全
  • os.walk 默认不遵循符号链接,加 followlinks=True 会带来循环遍历风险,慎开

glob.iglobos.walk 的内存与速度差异在哪

glob.iglob 返回生成器,不占额外内存;os.walk 本身也是生成器,但它的每次 yield 都要读取并解析一个目录的完整内容(readdir 系统调用),而 glob 在单层场景下只需一次目录扫描。

实测:在含 10 万文件的单层目录中,glob("*.txt")os.walk 快 3–5 倍;但在嵌套 5 层、每层平均 200 个条目的目录中,两者耗时接近,os.walk 反而因可剪枝略优。

  • 别为了“看起来更现代”强行用 pathlib.Path.rglob 替代 os.walk——它底层仍是调用 os.walk,还多一层对象封装
  • glob 不支持正则,只认 shell 通配符(*, ?, [abc]);想按正则过滤,得先拿到路径再用 re.match
  • Python 3.12+ 中 glob 加了 root_dirdir_fd 参数,可限定扫描起点,但兼容性差,生产环境慎用

真实项目里最容易踩的坑

不是语法错,而是路径语义混淆:比如用 glob("src/**/*.py") 却忘了开启 recursive=True,结果返回空列表——错误信息不会提示,只会静默失败。

另一个高频问题是相对路径处理:os.walk 返回的 root 是绝对路径还是相对路径,取决于你传入的起始路径;而 glob 总是以当前工作目录(os.getcwd())为基准,跟脚本位置无关。

  • Path(__file__).parent 明确基准路径,别依赖 os.chdir()
  • glob 不支持 ~ 展开,~/project/*.py 会字面匹配,得先用 os.path.expanduser()
  • 在容器或 CI 环境中,os.walk 可能因权限问题中断(比如遇到 /proc 下的不可读目录),建议包一层 try/except OSError
事情说清了就结束

相关文章

数码产品性能查询
数码产品性能查询

该软件包括了市面上所有手机CPU,手机跑分情况,电脑CPU,电脑产品信息等等,方便需要大家查阅数码产品最新情况,了解产品特性,能够进行对比选择最具性价比的商品。

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
if什么意思
if什么意思

if的意思是“如果”的条件。它是一个用于引导条件语句的关键词,用于根据特定条件的真假情况来执行不同的代码块。本专题提供if什么意思的相关文章,供大家免费阅读。

830

2023.08.22

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

638

2023.08.03

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

218

2023.09.04

java基础知识汇总
java基础知识汇总

java基础知识有Java的历史和特点、Java的开发环境、Java的基本数据类型、变量和常量、运算符和表达式、控制语句、数组和字符串等等知识点。想要知道更多关于java基础知识的朋友,请阅读本专题下面的的有关文章,欢迎大家来php中文网学习。

1559

2023.10.24

字符串介绍
字符串介绍

字符串是一种数据类型,它可以是任何文本,包括字母、数字、符号等。字符串可以由不同的字符组成,例如空格、标点符号、数字等。在编程中,字符串通常用引号括起来,如单引号、双引号或反引号。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

642

2023.11.24

java读取文件转成字符串的方法
java读取文件转成字符串的方法

Java8引入了新的文件I/O API,使用java.nio.file.Files类读取文件内容更加方便。对于较旧版本的Java,可以使用java.io.FileReader和java.io.BufferedReader来读取文件。在这些方法中,你需要将文件路径替换为你的实际文件路径,并且可能需要处理可能的IOException异常。想了解更多java的相关内容,可以阅读本专题下面的文章。

1047

2024.03.22

php中定义字符串的方式
php中定义字符串的方式

php中定义字符串的方式:单引号;双引号;heredoc语法等等。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

980

2024.04.29

go语言字符串相关教程
go语言字符串相关教程

本专题整合了go语言字符串相关教程,阅读专题下面的文章了解更多详细内容。

186

2025.07.29

batoto漫画官网入口与网页版访问指南
batoto漫画官网入口与网页版访问指南

本专题系统整理batoto漫画官方网站最新可用入口,涵盖最新官网地址、网页版登录页面及防走失访问方式说明,帮助用户快速找到batoto漫画官方平台,稳定在线阅读各类漫画内容。

127

2026.02.25

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.4万人学习

Django 教程
Django 教程

共28课时 | 4.5万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.7万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号