☰

停止rsync计划任务竞争条件（大目录，小时间间隔）

tag-icon • tag-icon rsync backup multithreading
停止rsync计划任务竞争条件（大目录，小时间间隔）

平台信息：

OpenBSD 6.2 amd64

$ rsync --version rsync version 3.1.2 protocol version 31

我正在尝试使用以下daily.local文件同步一个大目录（4TB）（对于 Linux 管理员来说，这本质上是一个 cron 日常任务）：

#!/bin/sh
# Sync the primary storage device to the backup disk
/usr/local/bin/rsync -avz /mnt/media_primary/ /mnt/media_backup/

初始 rsync 复制需要一天多的时间。一两天后，我的进程列表中出现了多个正在运行的 rsync 副本：新进程按计划启动，这些新进程似乎在相互竞争，并且没有完成任务（至少很快）！

有没有办法让新的 rsync 进程了解其他 rsync 进程（或者避免 rsync 竞争条件的另一种方法）？

我知道我可以手动运行 rsync 来第一次复制目录和/或增加计划的时间间隔。这个问题更符合我的兴趣，因为我无法在网上找到有关此主题的信息。

答案1

一个解决方案有点类似于马克的解决方案，但不需要更改/etc/fstab或安装和卸载文件系统：

#!/bin/sh

lockdir=/tmp/file-copy.lock

if ! mkdir "$lockdir"; then
   echo 'File copy already in progress' >&2
   exit 1
fi

trap 'rmdir "$lockdir"' EXIT

PATH=$PATH:/usr/local/bin

rsync -ai ...

关于此的一些注意事项：

  1. 是mkdir一个原子操作，很像mount，如果目录已存在，则该操作将失败，但如果不存在，则创建该目录。这比首先检查锁更安全文件然后创建它（两个步骤，中间可能存在竞争条件）。

  2. 该EXIT陷阱确保脚本终止时删除锁定目录。锁定目录也会在重新启动时被删除（由系统），因为它位于/tmp.

  3. 我设置PATH为适当的值，而不是rsync使用其完整路径进行调用。这纯粹是一个装饰性的东西，但如果稍后将脚本扩展为使用 OpenBSD ports 集合中的其他命令（例如restic或borgbackup），这可能会很有用。

  4. 选项-z实际上rsync只需要非常慢网络连接（当压缩/解压缩数据的速度快于网络带宽时），以及绝不用于本地复制。我也倾向于选择-i( --itemize-changes) 而不是-v( --verbose)，因为这会准确地告诉我文件传输的原因。

为了安全地备份大量数据，我通常建议使用专门编写的备份软件rsync，例如restic或者borgbackup。这两者还进行重复数据删除和加密，并且borgbackup可以选择进行压缩。restic从某种意义上说它是好的，它允许人们将备份保存到外部服务器（例如sftp），即使该服务器尚未restic安装，但borgbackup要求在目标系统上安装该软件。和 都restic处理borgbackup备份存储库锁定。

答案2

解决此问题的一种方法（如果备份目录位于其自己的分区上）是让卷处于未安装状态，在启动 rsync 命令之前安装。这消除了使用的需要flock，并且可能具有延长驱动器寿命/降低功耗的好处。

/etc/fstab：将noauto选项添加到分区，这样它就不会在启动时自动安装

在daily.local或cron.daily计划任务中：

#!/bin/sh
mount /mnt/media_backup && \
/usr/local/bin/rsync -avz /mnt/media_primary/ /mnt/media_backup/ && \
umount /mnt/media_backup

&&如果上一个命令成功，则双与号运算符 ( ) 仅会开始下一个命令。因此，如果无法安装备份磁盘（因为它已经安装并且 rsync 已经在分区上运行），则命令的其余部分将不会继续。

相关内容