0

0

Python多文件处理教程_目录遍历与批量操作

冷炫風刃

冷炫風刃

发布时间:2026-01-09 16:24:09

|

537人浏览过

|

来源于php中文网

原创

python处理多层文件结构推荐pathlib.rglob(),批量读写需按需加载并指定编码,重命名移动要校验存在性,过滤统计用关键词或后缀,脚本化应加argparse、tqdm和错误日志。

python多文件处理教程_目录遍历与批量操作

遍历目录:用 os.walk() 和 pathlib 处理多层文件结构

处理多个文件时,第一步往往是找到它们。Python 提供了两种主流方式:传统 os.walk() 和更现代的 pathlib.Path.rglob()

os.walk() 返回三元组(根路径、子目录名列表、文件名列表),适合需要同时操作目录层级信息的场景:

  • 逐层进入子目录,可控制是否跳过某些文件夹(通过修改 dirnames 列表)
  • 对每个目录下的文件做统一判断,比如只处理 .py 或 .txt 文件
  • 示例中常配合 os.path.join(root, file) 构建完整路径,避免路径拼接错误

pathlib 更简洁直观,推荐新项目使用:

  • Path("data").rglob("*.log") 直接获取所有匹配的日志文件路径对象
  • 路径对象自带 .stem、.suffix、.parent 等属性,无需额外拆解字符串
  • 支持链式调用,比如 p.resolve().is_file() 安全判断是否存在且为文件

批量读写文件:避免内存爆炸与编码陷阱

一次打开几百个文件?别直接用 open() 全部加载——容易触发 MemoryError 或乱码。关键在“按需”和“统一编码”。

AI角色脑洞生成器
AI角色脑洞生成器

一键打造完整角色设定,轻松创造专属小说漫画游戏角色背景故事

下载

立即学习Python免费学习笔记(深入)”;

  • with open(...) 保证自动关闭,即使出错也不留句柄
  • 文本文件务必显式指定 encoding="utf-8"(Windows 记事本保存的 ANSI 文件除外,可用 "gbk" 或 chardet 检测)
  • 大文件不用 read() 全读,改用 for line in f: 逐行处理;二进制文件用 f.read(8192) 分块读取
  • 写入前检查目标目录是否存在:Path(out_dir).mkdir(parents=True, exist_ok=True)

常见批量操作:重命名、移动、过滤与统计

实际工作中,多数需求逃不开这几类动作。核心是“先查后动”,加一层安全校验。

  • 重命名:用 rename() 前先用 exists() 检查目标名是否已存在,避免覆盖;建议加时间戳或序号前缀,如 f"backup_{p.stem}_{int(time.time())}{p.suffix}"
  • 移动/复制:shutil.move() 和 shutil.copy2() 保留修改时间等元数据;跨磁盘移动本质是复制+删除,大文件注意磁盘空间
  • 按内容过滤:比如只处理含特定关键词的文件,可用 if "ERROR" in f.read():,但记得小文件才全文读,否则用正则逐行 scan
  • 快速统计:统计总大小用 sum(p.stat().st_size for p in files),统计类型分布用 Counter(p.suffix for p in files)

封装成可复用脚本:加参数、进度条与错误日志

临时脚本跑一次就丢?稍加改造就能变成团队共享工具

  • argparse 接收路径、后缀、动作类型等参数,比如 python batch.py -d ./logs -e .log --action clean
  • 处理大量文件时加 tqdm(files) 显示进度条,用户不干等
  • 异常不能吞掉:对每个文件单独 try/except,记录失败路径到 error.log,不影响其余文件执行
  • 操作前打印将要处理的文件数和预估影响范围,加 --dry-run 参数先预览不执行

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
if什么意思
if什么意思

if的意思是“如果”的条件。它是一个用于引导条件语句的关键词,用于根据特定条件的真假情况来执行不同的代码块。本专题提供if什么意思的相关文章,供大家免费阅读。

839

2023.08.22

scripterror怎么解决
scripterror怎么解决

scripterror的解决办法有检查语法、文件路径、检查网络连接、浏览器兼容性、使用try-catch语句、使用开发者工具进行调试、更新浏览器和JavaScript库或寻求专业帮助等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

411

2023.10.18

500error怎么解决
500error怎么解决

500error的解决办法有检查服务器日志、检查代码、检查服务器配置、更新软件版本、重新启动服务、调试代码和寻求帮助等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

368

2023.10.25

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

678

2023.08.03

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

219

2023.09.04

java基础知识汇总
java基础知识汇总

java基础知识有Java的历史和特点、Java的开发环境、Java的基本数据类型、变量和常量、运算符和表达式、控制语句、数组和字符串等等知识点。想要知道更多关于java基础知识的朋友,请阅读本专题下面的的有关文章,欢迎大家来php中文网学习。

1561

2023.10.24

字符串介绍
字符串介绍

字符串是一种数据类型,它可以是任何文本,包括字母、数字、符号等。字符串可以由不同的字符组成,例如空格、标点符号、数字等。在编程中,字符串通常用引号括起来,如单引号、双引号或反引号。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

645

2023.11.24

java读取文件转成字符串的方法
java读取文件转成字符串的方法

Java8引入了新的文件I/O API,使用java.nio.file.Files类读取文件内容更加方便。对于较旧版本的Java,可以使用java.io.FileReader和java.io.BufferedReader来读取文件。在这些方法中,你需要将文件路径替换为你的实际文件路径,并且可能需要处理可能的IOException异常。想了解更多java的相关内容,可以阅读本专题下面的文章。

1128

2024.03.22

Swift iOS架构设计与MVVM模式实战
Swift iOS架构设计与MVVM模式实战

本专题聚焦 Swift 在 iOS 应用架构设计中的实践,系统讲解 MVVM 模式的核心思想、数据绑定机制、模块拆分策略以及组件化开发方法。内容涵盖网络层封装、状态管理、依赖注入与性能优化技巧。通过完整项目案例,帮助开发者构建结构清晰、可维护性强的 iOS 应用架构体系。

3

2026.03.03

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.5万人学习

Django 教程
Django 教程

共28课时 | 4.7万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.8万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号