Linux 下怎么批量复制上万张图片（高效方法）-linux运维-PHP中文网

Linux 下怎么批量复制上万张图片（高效方法）

舞夢輝影

发布： 2025-12-04 20:45:08

原创

304人浏览过

推荐rsync+--files-from方案：先用find生成图片路径列表，再通过rsync单次扫描批量复制，避免重复系统调用，兼顾速度、安全与通用性。

linux 下怎么批量复制上万张图片（高效方法）

直接用 cp 复制上万张图片会非常慢，尤其当源目录文件极多、路径深或目标盘 I/O 负载高时。真正高效的核心不是“换命令”，而是减少系统调用开销 + 并行 + 避免重复遍历。下面几种方法按推荐顺序排列，兼顾通用性、安全性和速度。

用 rsync + --files-from 实现单次扫描 + 并行复制

这是最稳又够快的方案。先生成文件列表（只扫一次），再让 rsync 批量读取并复制，避免 cp 对每个文件都 stat/open/close 一遍。

生成所有图片路径列表（假设全是 .jpg/.png）：

find /source/dir -type f \( -iname "*.jpg" -o -iname "*.png" \) > filelist.txt

登录后复制

用 rsync 批量复制（自动跳过已存在且内容一致的文件）：

rsync -av --files-from=filelist.txt / /dest/dir/

登录后复制

注意：/ 是根路径占位符，rsync 会把 filelist.txt 中的相对路径（如 photos/2023/001.jpg）按源目录为基准拼接。若 list 是绝对路径，需加 --relative 或改用 rsync -a --files-from=filelist.txt / /dest/dir/ 并确保 list 内路径以 / 开头。

用 parallel + cp 实现真正多线程复制

单个 cp 是单线程，而 parallel 可把文件列表分片并发执行，特别适合多核 CPU 和 NVMe 盘。

安装 parallel（Ubuntu/Debian）：

sudo apt install parallel

登录后复制

并发复制（限制 8 个进程，防止 I/O 打满）：

find /source/dir -type f \( -iname "*.jpg" -o -iname "*.png" \) | parallel -j 8 cp {} /dest/dir/{/}

登录后复制

{/} 表示取文件名（不含路径），可保留原名；若要保留完整子目录结构，改用 rsync -a --relative 更稳妥。

小云雀

剪映出品的AI视频和图片创作助手

1587

查看详情

用 tar 管道流式复制（零磁盘临时文件，适合同盘或高速网络）

不落地生成中间文件，内存+管道直传，对 SSD 或远程 NFS/CIFS 共享特别友好。

find /source/dir -type f \( -iname "*.jpg" -o -iname "*.png" \) -print0 | tar -c --null -T - | (cd /dest/dir && tar -x)

登录后复制

优点：无临时文件、stat 开销小、支持长路径和特殊字符；缺点：无法跳过已有文件，全量覆盖。如需增量，还是优先选 rsync。

避坑提醒

别用 cp -r 整目录 —— 它会递归 stat 每个子目录，哪怕里面全是空文件夹
慎用 cp --reflink=always（仅 Btrfs/XFS）—— 虽快但复制后仍是硬链接，删源文件会影响目标
复制前先 df -h 确认目标空间足够，万级图片容易误估体积
关键数据务必加 --dry-run（rsync）或先试 100 张，验证路径和权限

基本上就这些。实际速度取决于你的存储类型（HDD 还是 NVMe）、CPU 核数、是否跨文件系统。一般 rsync + files-from 或 parallel + cp 能比原始 cp 快 3–10 倍，而且稳定可控。

以上就是Linux 下怎么批量复制上万张图片（高效方法）的详细内容，更多请关注php中文网其它相关文章！

大家都在看：

Linux 写一个每天定时推送消息的脚本 Linux 怎么测试端口是否开放？ Linux 下怎么搭建 Nginx？完整从零教程 Linux 怎么用 ping 查看网络质量？ Linux 怎么检测重复文件？fdupes 使用教程