0

0

Linux 下怎么批量复制上万张图片(高效方法)

舞夢輝影

舞夢輝影

发布时间:2025-12-04 20:45:08

|

329人浏览过

|

来源于php中文网

原创

推荐rsync+--files-from方案:先用find生成图片路径列表,再通过rsync单次扫描批量复制,避免重复系统调用,兼顾速度、安全与通用性。

linux 下怎么批量复制上万张图片(高效方法)

直接用 cp 复制上万张图片会非常慢,尤其当源目录文件极多、路径深或目标盘 I/O 负载高时。真正高效的核心不是“换命令”,而是减少系统调用开销 + 并行 + 避免重复遍历。下面几种方法按推荐顺序排列,兼顾通用性、安全性和速度。

用 rsync + --files-from 实现单次扫描 + 并行复制

这是最稳又够快的方案。先生成文件列表(只扫一次),再让 rsync 批量读取并复制,避免 cp 对每个文件都 stat/open/close 一遍。

  • 生成所有图片路径列表(假设全是 .jpg/.png):
find /source/dir -type f \( -iname "*.jpg" -o -iname "*.png" \) > filelist.txt
  • 用 rsync 批量复制(自动跳过已存在且内容一致的文件):
rsync -av --files-from=filelist.txt / /dest/dir/

注意:/ 是根路径占位符,rsync 会把 filelist.txt 中的相对路径(如 photos/2023/001.jpg)按源目录为基准拼接。若 list 是绝对路径,需加 --relative 或改用 rsync -a --files-from=filelist.txt / /dest/dir/ 并确保 list 内路径以 / 开头。

用 parallel + cp 实现真正多线程复制

单个 cp 是单线程,而 parallel 可把文件列表分片并发执行,特别适合多核 CPU 和 NVMe 盘。

Favird No-Code Tools
Favird No-Code Tools

无代码工具的聚合器

下载
  • 安装 parallel(Ubuntu/Debian):
sudo apt install parallel
  • 并发复制(限制 8 个进程,防止 I/O 打满):
find /source/dir -type f \( -iname "*.jpg" -o -iname "*.png" \) | parallel -j 8 cp {} /dest/dir/{/}

{/} 表示取文件名(不含路径),可保留原名;若要保留完整子目录结构,改用 rsync -a --relative 更稳妥。

用 tar 管道流式复制(零磁盘临时文件,适合同盘或高速网络)

不落地生成中间文件,内存+管道直传,对 SSD 或远程 NFS/CIFS 共享特别友好。

  • 一行搞定(自动过滤图片,保留目录结构):
find /source/dir -type f \( -iname "*.jpg" -o -iname "*.png" \) -print0 | tar -c --null -T - | (cd /dest/dir && tar -x)

优点:无临时文件、stat 开销小、支持长路径和特殊字符;缺点:无法跳过已有文件,全量覆盖。如需增量,还是优先选 rsync。

避坑提醒

  • 别用 cp -r 整目录 —— 它会递归 stat 每个子目录,哪怕里面全是空文件夹
  • 慎用 cp --reflink=always(仅 Btrfs/XFS)—— 虽快但复制后仍是硬链接,删源文件会影响目标
  • 复制前先 df -h 确认目标空间足够,万级图片容易误估体积
  • 关键数据务必加 --dry-run(rsync)或先试 100 张,验证路径和权限

基本上就这些。实际速度取决于你的存储类型(HDD 还是 NVMe)、CPU 核数、是否跨文件系统。一般 rsync + files-from 或 parallel + cp 能比原始 cp 快 3–10 倍,而且稳定可控。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

765

2023.08.10

Python 多线程与异步编程实战
Python 多线程与异步编程实战

本专题系统讲解 Python 多线程与异步编程的核心概念与实战技巧,包括 threading 模块基础、线程同步机制、GIL 原理、asyncio 异步任务管理、协程与事件循环、任务调度与异常处理。通过实战示例,帮助学习者掌握 如何构建高性能、多任务并发的 Python 应用。

377

2025.12.24

java多线程相关教程合集
java多线程相关教程合集

本专题整合了java多线程相关教程,阅读专题下面的文章了解更多详细内容。

32

2026.01.21

C++多线程相关合集
C++多线程相关合集

本专题整合了C++多线程相关教程,阅读专题下面的的文章了解更多详细内容。

29

2026.01.21

C# 多线程与异步编程
C# 多线程与异步编程

本专题深入讲解 C# 中多线程与异步编程的核心概念与实战技巧,包括线程池管理、Task 类的使用、async/await 异步编程模式、并发控制与线程同步、死锁与竞态条件的解决方案。通过实际项目,帮助开发者掌握 如何在 C# 中构建高并发、低延迟的异步系统,提升应用性能和响应速度。

103

2026.02.06

磁盘配额是什么
磁盘配额是什么

磁盘配额是计算机中指定磁盘的储存限制,就是管理员可以为用户所能使用的磁盘空间进行配额限制,每一用户只能使用最大配额范围内的磁盘空间。php中文网为大家提供各种磁盘配额相关的内容,教程,供大家免费下载安装。

1564

2023.06.21

如何安装LINUX
如何安装LINUX

本站专题提供如何安装LINUX的相关教程文章,还有相关的下载、课程,大家可以免费体验。

716

2023.06.29

linux find
linux find

find是linux命令,它将档案系统内符合 expression 的档案列出来。可以指要档案的名称、类别、时间、大小、权限等不同资讯的组合,只有完全相符的才会被列出来。find根据下列规则判断 path 和 expression,在命令列上第一个 - ( ) , ! 之前的部分为 path,之后的是 expression。还有指DOS 命令 find,Excel 函数 find等。本站专题提供linux find相关教程文章,还有相关

300

2023.06.30

C# ASP.NET Core微服务架构与API网关实践
C# ASP.NET Core微服务架构与API网关实践

本专题围绕 C# 在现代后端架构中的微服务实践展开,系统讲解基于 ASP.NET Core 构建可扩展服务体系的核心方法。内容涵盖服务拆分策略、RESTful API 设计、服务间通信、API 网关统一入口管理以及服务治理机制。通过真实项目案例,帮助开发者掌握构建高可用微服务系统的关键技术,提高系统的可扩展性与维护效率。

76

2026.03.11

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL 教程
PostgreSQL 教程

共48课时 | 10.5万人学习

Git 教程
Git 教程

共21课时 | 4.2万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号