批量处理文件需兼顾高效、健壮与可复用：用glob+pathlib安全遍历，try/except单文件容错，pandas.concat合并CSV并分块读取，tqdm添加进度反馈，joblib并行加速I/O密集任务。
批量处理文件是机器学习项目中高频且刚需的操作——读取成百上千张图片、加载多个CSV特征表、统一清洗日志文本，都绕不开它。关键不在“会不会写for循环”，而在于高效、健壮、可复用：避免内存爆掉、跳过损坏文件、自动识别编码、按需分块加载。
用glob+pathlib安全遍历文件
别再硬写os.listdir()拼路径了。glob支持通配符，pathlib让路径操作直观又跨平台：
- 用
Path("data/images").glob("*.jpg")代替os.listdir()+ 字符串判断后缀 - 调用
.resolve()自动展开相对路径和符号链接，防止后续open报错 - 加
try/except包裹单个文件处理逻辑，出错只跳过当前文件，不中断整个批次
用pandas.concat高效合并多个CSV
100个同结构CSV？别一个个pd.read_csv再append。concat能一次对齐列、自动忽略缺失列、控制索引：
- 先用列表推导式生成DataFrame列表：
dfs = [pd.read_csv(f) for f in files] - 再用
pd.concat(dfs, ignore_index=True, sort=False)合并；ignore_index重置行号，sort=False避免列名自动排序打乱顺序 - 大文件加
chunksize参数分块读取，边读边concat，省内存
用tqdm给循环加进度条，一眼看卡点
处理几千个文件时，光等没反馈容易误判卡死。tqdm一行就能嵌入任何迭代器：
立即学习“Python免费学习笔记（深入）”；
- 替换
for f in files:为for f in tqdm(files, desc="Processing"): - 配合pandas的
chunksize，在内层循环也套tqdm，显示“已读XX块/共YY块” - 加
leave=False让子任务进度条不残留，界面更清爽
用joblib并行加速I/O密集型任务
单核读文件太慢？硬盘或网络I/O不占CPU，多进程正合适（注意：不是所有场景都适合并行）：
- 用
Parallel(n_jobs=4)(delayed(process_file)(f) for f in files)替代for循环 - 函数
process_file必须可被pickle序列化（别用lambda、嵌套函数） - 首次运行会编译，后续调用才真正加速；小文件多时效果明显，单个超大文件反而可能变慢
基本上就这些——不复杂但容易忽略。真正跑通一个批量流程，比调参还让人踏实。
