在python中遍历目录并过滤特定文件类型可使用os.walk()结合字符串操作或fnmatch模块,1.使用os.walk()递归遍历目录获取文件名;2.通过endswith()或fnmatch.fnmatch()筛选目标文件类型;3.用os.path.join()组合完整路径;4.处理权限错误可用try...except捕获oserror;5.避免遍历符号链接需设置followlinks=false;6.使用生成器实现延迟加载提升效率;7.通过concurrent.futures模块结合多线程或多进程加速io密集型任务。

遍历目录下的文件,在Python中主要通过os和os.path模块,当然glob模块在某些场景下也很方便。过滤特定文件类型,则需要结合字符串操作或者fnmatch模块。

解决方案:

在Python中,遍历目录下的文件通常使用os.walk()函数。这个函数会递归地遍历指定目录及其子目录,返回一个生成器,每次迭代都会产生一个三元组 (dirpath, dirnames, filenames),分别表示当前目录的路径、当前目录下的子目录名列表和当前目录下的文件名列表。
立即学习“Python免费学习笔记(深入)”;

以下是一个基本的示例:
import os
def traverse_directory(directory):
for dirpath, dirnames, filenames in os.walk(directory):
print(f"当前目录:{dirpath}")
for filename in filenames:
print(f" 文件:{filename}")
print(f" 子目录:{dirnames}")
# 使用示例
traverse_directory("/path/to/your/directory")要过滤特定文件类型,可以结合字符串的endswith()方法或者fnmatch模块。例如,只遍历.txt文件:
import os
import fnmatch
def traverse_and_filter(directory, pattern):
for dirpath, dirnames, filenames in os.walk(directory):
for filename in filenames:
if filename.endswith(pattern): # 使用endswith
print(f"找到 {pattern} 文件:{os.path.join(dirpath, filename)}")
def traverse_and_filter_fnmatch(directory, pattern):
for dirpath, dirnames, filenames in os.walk(directory):
for filename in filenames:
if fnmatch.fnmatch(filename, pattern): # 使用fnmatch
print(f"找到匹配 {pattern} 的文件:{os.path.join(dirpath, filename)}")
# 使用示例
traverse_and_filter("/path/to/your/directory", ".txt")
traverse_and_filter_fnmatch("/path/to/your/directory", "*.log") # 匹配所有.log文件os.path.join()函数用于将目录路径和文件名组合成完整的文件路径,这是一个好习惯,可以避免手动拼接字符串时出现错误。
在遍历目录时,可能会遇到权限不足的情况,导致os.walk()抛出OSError异常。为了程序的健壮性,可以使用try...except块来捕获并处理这些异常。
import os
def traverse_directory_safe(directory):
for dirpath, dirnames, filenames in os.walk(directory):
try:
print(f"当前目录:{dirpath}")
for filename in filenames:
print(f" 文件:{filename}")
print(f" 子目录:{dirnames}")
except OSError as e:
print(f" 警告:无法访问 {dirpath} - {e}")
# 使用示例
traverse_directory_safe("/path/to/your/directory")这样,即使遇到无法访问的目录,程序也会继续执行,而不会崩溃。记录下出错的目录路径,方便后续排查问题。
默认情况下,os.walk()会跟随符号链接进入其指向的目录。如果需要避免这种情况,可以将followlinks参数设置为False。
import os
def traverse_without_links(directory):
for dirpath, dirnames, filenames in os.walk(directory, followlinks=False):
print(f"当前目录:{dirpath}")
for filename in filenames:
print(f" 文件:{filename}")
print(f" 子目录:{dirnames}")
# 使用示例
traverse_without_links("/path/to/your/directory")设置followlinks=False后,os.walk()会将符号链接当作普通文件或目录处理,而不会进入其指向的目录进行遍历。这在处理包含大量符号链接的目录结构时非常有用,可以避免无限循环。
os.walk() 本身就是一个生成器,但我们可以进一步利用生成器来延迟处理文件,从而提高效率。例如,我们可以创建一个生成器函数,只在需要时才返回文件路径,而不是一次性加载所有文件路径到内存中。
import os
def file_path_generator(directory, pattern):
for dirpath, dirnames, filenames in os.walk(directory):
for filename in filenames:
if filename.endswith(pattern):
yield os.path.join(dirpath, filename)
# 使用示例
file_generator = file_path_generator("/path/to/your/directory", ".txt")
# 延迟处理文件
for file_path in file_generator:
# 对 file_path 进行处理
print(f"处理文件:{file_path}")这样做的好处是,只有在迭代到某个文件时,才会计算其完整路径,从而节省了内存和计算资源。特别是在处理大型目录结构时,这种延迟处理的方式可以显著提高程序的性能。可以把生成器想象成一个“按需供应”的工厂,只有你需要的时候,它才会生产。
对于IO密集型的任务,例如文件遍历和处理,可以使用多线程或多进程来加速。concurrent.futures模块提供了一个高级接口,可以方便地实现并发执行。
import os
import concurrent.futures
def process_file(file_path):
# 对文件进行处理
print(f"处理文件:{file_path}")
# 模拟耗时操作
import time
time.sleep(0.1) # 模拟IO操作
def traverse_and_process_parallel(directory, pattern, num_workers=4):
with concurrent.futures.ThreadPoolExecutor(max_workers=num_workers) as executor:
for dirpath, dirnames, filenames in os.walk(directory):
for filename in filenames:
if filename.endswith(pattern):
file_path = os.path.join(dirpath, filename)
executor.submit(process_file, file_path)
# 使用示例
traverse_and_process_parallel("/path/to/your/directory", ".txt", num_workers=8)在这个示例中,ThreadPoolExecutor创建了一个线程池,用于并发执行process_file函数。每个符合条件的文件都会被提交到线程池中进行处理。通过调整num_workers参数,可以控制并发执行的线程数量。对于CPU密集型的任务,可以考虑使用ProcessPoolExecutor来代替ThreadPoolExecutor,利用多进程来提高性能。需要注意的是,多线程和多进程都会带来额外的开销,例如线程/进程的创建和切换,以及数据同步等。因此,需要根据实际情况进行权衡,选择合适的并发策略。
以上就是Python中如何遍历目录下的文件?遍历时如何过滤特定文件类型?的详细内容,更多请关注php中文网其它相关文章!
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移,垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是,许多工具可以让 Windows 保持平稳运行。
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号