0

0

Linux 下怎么批量复制上万张图片(高效方法)

舞夢輝影

舞夢輝影

发布时间:2025-12-04 20:45:08

|

329人浏览过

|

来源于php中文网

原创

推荐rsync+--files-from方案:先用find生成图片路径列表,再通过rsync单次扫描批量复制,避免重复系统调用,兼顾速度、安全与通用性。

linux 下怎么批量复制上万张图片(高效方法)

直接用 cp 复制上万张图片会非常慢,尤其当源目录文件极多、路径深或目标盘 I/O 负载高时。真正高效的核心不是“换命令”,而是减少系统调用开销 + 并行 + 避免重复遍历。下面几种方法按推荐顺序排列,兼顾通用性、安全性和速度。

用 rsync + --files-from 实现单次扫描 + 并行复制

这是最稳又够快的方案。先生成文件列表(只扫一次),再让 rsync 批量读取并复制,避免 cp 对每个文件都 stat/open/close 一遍。

  • 生成所有图片路径列表(假设全是 .jpg/.png):
find /source/dir -type f \( -iname "*.jpg" -o -iname "*.png" \) > filelist.txt
  • 用 rsync 批量复制(自动跳过已存在且内容一致的文件):
rsync -av --files-from=filelist.txt / /dest/dir/

注意:/ 是根路径占位符,rsync 会把 filelist.txt 中的相对路径(如 photos/2023/001.jpg)按源目录为基准拼接。若 list 是绝对路径,需加 --relative 或改用 rsync -a --files-from=filelist.txt / /dest/dir/ 并确保 list 内路径以 / 开头。

用 parallel + cp 实现真正多线程复制

单个 cp 是单线程,而 parallel 可把文件列表分片并发执行,特别适合多核 CPU 和 NVMe 盘。

  • 安装 parallel(Ubuntu/Debian):
sudo apt install parallel
  • 并发复制(限制 8 个进程,防止 I/O 打满):
find /source/dir -type f \( -iname "*.jpg" -o -iname "*.png" \) | parallel -j 8 cp {} /dest/dir/{/}

{/} 表示取文件名(不含路径),可保留原名;若要保留完整子目录结构,改用 rsync -a --relative 更稳妥。

ToonMe
ToonMe

一款风靡Instagram的软件,一键生成卡通头像

下载

用 tar 管道流式复制(零磁盘临时文件,适合同盘或高速网络)

不落地生成中间文件,内存+管道直传,对 SSD 或远程 NFS/CIFS 共享特别友好。

  • 一行搞定(自动过滤图片,保留目录结构):
find /source/dir -type f \( -iname "*.jpg" -o -iname "*.png" \) -print0 | tar -c --null -T - | (cd /dest/dir && tar -x)

优点:无临时文件、stat 开销小、支持长路径和特殊字符;缺点:无法跳过已有文件,全量覆盖。如需增量,还是优先选 rsync。

避坑提醒

  • 别用 cp -r 整目录 —— 它会递归 stat 每个子目录,哪怕里面全是空文件夹
  • 慎用 cp --reflink=always(仅 Btrfs/XFS)—— 虽快但复制后仍是硬链接,删源文件会影响目标
  • 复制前先 df -h 确认目标空间足够,万级图片容易误估体积
  • 关键数据务必加 --dry-run(rsync)或先试 100 张,验证路径和权限

基本上就这些。实际速度取决于你的存储类型(HDD 还是 NVMe)、CPU 核数、是否跨文件系统。一般 rsync + files-from 或 parallel + cp 能比原始 cp 快 3–10 倍,而且稳定可控。

相关专题

更多
线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

481

2023.08.10

Python 多线程与异步编程实战
Python 多线程与异步编程实战

本专题系统讲解 Python 多线程与异步编程的核心概念与实战技巧,包括 threading 模块基础、线程同步机制、GIL 原理、asyncio 异步任务管理、协程与事件循环、任务调度与异常处理。通过实战示例,帮助学习者掌握 如何构建高性能、多任务并发的 Python 应用。

143

2025.12.24

磁盘配额是什么
磁盘配额是什么

磁盘配额是计算机中指定磁盘的储存限制,就是管理员可以为用户所能使用的磁盘空间进行配额限制,每一用户只能使用最大配额范围内的磁盘空间。php中文网为大家提供各种磁盘配额相关的内容,教程,供大家免费下载安装。

1349

2023.06.21

如何安装LINUX
如何安装LINUX

本站专题提供如何安装LINUX的相关教程文章,还有相关的下载、课程,大家可以免费体验。

703

2023.06.29

linux find
linux find

find是linux命令,它将档案系统内符合 expression 的档案列出来。可以指要档案的名称、类别、时间、大小、权限等不同资讯的组合,只有完全相符的才会被列出来。find根据下列规则判断 path 和 expression,在命令列上第一个 - ( ) , ! 之前的部分为 path,之后的是 expression。还有指DOS 命令 find,Excel 函数 find等。本站专题提供linux find相关教程文章,还有相关

294

2023.06.30

linux修改文件名
linux修改文件名

本专题为大家提供linux修改文件名相关的文章,这些文章可以帮助用户快速轻松地完成文件名的修改工作,大家可以免费体验。

776

2023.07.05

linux系统安装教程
linux系统安装教程

linux系统是一种可以免费使用,自由传播,多用户、多任务、多线程、多CPU的操作系统。本专题提供linux系统安装教程相关的文章,大家可以免费体验。

573

2023.07.06

linux查看文件夹大小
linux查看文件夹大小

Linux是一种自由和开放源码的类Unix操作系统,存在着许多不同的Linux版本,但它们都使用了Linux内核。Linux可安装在各种计算机硬件设备中,比如手机、平板电脑、路由器、视频游戏控制台、台式计算机、大型机和超级计算机。linux怎么查看文件夹大小呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

546

2023.07.20

PS使用蒙版相关教程
PS使用蒙版相关教程

本专题整合了ps使用蒙版相关教程,阅读专题下面的文章了解更多详细内容。

23

2026.01.19

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL 教程
PostgreSQL 教程

共48课时 | 7.4万人学习

Git 教程
Git 教程

共21课时 | 2.8万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号