0

0

Linux rsync 高效备份实践

舞姬之光

舞姬之光

发布时间:2026-02-24 19:14:38

|

730人浏览过

|

来源于php中文网

原创

rsync增量同步变慢主因是--delete触发全量扫描,尤其小文件多时io暴增;应改用--delete-delay、避免nfs/cifs上使用,并用--dry-run预估行为。

linux rsync 高效备份实践

rsync 增量同步为什么有时反而变慢?

根本原因常是 --delete--delete-after 触发全量扫描,尤其在大量小文件场景下,rsync 会先遍历目标端确认哪些要删,IO 和 stat 调用暴增。不是算法问题,是操作语义代价被低估。

  • --delete-delay 把删除动作延后到传输完成再批量执行,减少中途中断导致的不一致
  • 避免在 NFS 或 CIFS 挂载点上用 --delete,远程文件系统 stat 性能差,容易卡在“building file list”阶段
  • rsync --dry-run --stats 先看预估行为:重点关注 Number of filesNumber of created directories 是否异常高

如何让 rsync 跳过已校验一致的文件?

默认只比对修改时间 + 大小,但 NFS、容器卷或某些备份存储会丢失 mtime 精度,导致反复传输。必须显式启用内容校验,但别无脑加 --checksum

  • --size-only 最快,适合确定文件只增不改的归档场景(如日志轮转)
  • --checksum 强制逐块计算 MD5,CPU 和 IO 开销大,仅在 mtime 不可信且文件变更极小时启用
  • 更平衡的选择是 --modify-window=1,把 mtime 比较容差从 0 秒放宽到 1 秒,能兼容大部分 FAT/NFS 时间戳截断问题

rsync over SSH 的连接复用怎么配才不翻车?

每次 rsync 都新建 SSH 连接,密钥解析、TCP 握手、加密协商叠加起来,小文件多时耗时可能超过传输本身。OpenSSH 的 ControlMaster 是解法,但配置错会导致锁死或权限错误。

梯子AI
梯子AI

百度推出的AI智能搜索

下载
  • ~/.ssh/config 里配:
    Host backup-server
        HostName 192.168.1.100
        User backupuser
        ControlMaster auto
        ControlPath ~/.ssh/cm-%r@%h:%p
        ControlPersist 300
    
  • 确保 ControlPath 目录可写且权限为 700,否则 rsync 会静默回退到直连
  • 不要在脚本里混用 -e "ssh -o ControlMaster=no",它会覆盖 config,复用失效

备份失败后如何安全续传?

rsync 本身不支持断点续传大文件(除非用 --partial),但常见误操作是直接重跑命令,结果触发大量重复校验甚至误删。

  • 必加 --partial:传输中断时保留已下载部分,下次自动基于相同路径继续
  • 慎用 --append:只适用于纯追加场景(如日志),对随机写入的数据库文件会损坏数据
  • 真正可靠的续传依赖外部机制:用 find /src -newer /tmp/last_backup.marker -print0 | rsync --files-from=- ...,靠时间戳标记边界,避开 rsync 自身状态管理

最麻烦的从来不是命令写不对,而是没想清楚“这次备份到底要保证什么”——是强一致性?还是最终一致性?是单次快照,还是持续流式?选错前提,参数调得再细也救不回来。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
append用法
append用法

append是一个常用的命令行工具,用于将一个文件的内容追加到另一个文件的末尾。想了解更多append用法相关内容,可以阅读本专题下面的文章。

348

2023.10.25

python中append的用法
python中append的用法

在Python中,append()是列表对象的一个方法,用于向列表末尾添加一个元素。想了解更多append的更多内容,可以阅读本专题下面的文章。

1080

2023.11.14

python中append的含义
python中append的含义

本专题整合了python中append的相关内容,阅读专题下面的文章了解更多详细内容。

178

2025.09.12

数据库Delete用法
数据库Delete用法

数据库Delete用法:1、删除单条记录;2、删除多条记录;3、删除所有记录;4、删除特定条件的记录。更多关于数据库Delete的内容,大家可以访问下面的文章。

287

2023.11.13

drop和delete的区别
drop和delete的区别

drop和delete的区别:1、功能与用途;2、操作对象;3、可逆性;4、空间释放;5、执行速度与效率;6、与其他命令的交互;7、影响的持久性;8、语法和执行;9、触发器与约束;10、事务处理。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

221

2023.12.29

页面置换算法
页面置换算法

页面置换算法是操作系统中用来决定在内存中哪些页面应该被换出以便为新的页面提供空间的算法。本专题为大家提供页面置换算法的相关文章,大家可以免费体验。

470

2023.08.14

数据库三范式
数据库三范式

数据库三范式是一种设计规范,用于规范化关系型数据库中的数据结构,它通过消除冗余数据、提高数据库性能和数据一致性,提供了一种有效的数据库设计方法。本专题提供数据库三范式相关的文章、下载和课程。

376

2023.06.29

如何删除数据库
如何删除数据库

删除数据库是指在MySQL中完全移除一个数据库及其所包含的所有数据和结构,作用包括:1、释放存储空间;2、确保数据的安全性;3、提高数据库的整体性能,加速查询和操作的执行速度。尽管删除数据库具有一些好处,但在执行任何删除操作之前,务必谨慎操作,并备份重要的数据。删除数据库将永久性地删除所有相关数据和结构,无法回滚。

2094

2023.08.14

Golang 生态工具与框架:扩展开发能力
Golang 生态工具与框架:扩展开发能力

《Golang 生态工具与框架》系统梳理 Go 语言在实际工程中的主流工具链与框架选型思路,涵盖 Web 框架、RPC 通信、依赖管理、测试工具、代码生成与项目结构设计等内容。通过真实项目场景解析不同工具的适用边界与组合方式,帮助开发者构建高效、可维护的 Go 工程体系,并提升团队协作与交付效率。

1

2026.02.24

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL 教程
PostgreSQL 教程

共48课时 | 9.6万人学习

Git 教程
Git 教程

共21课时 | 3.8万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号