☰

lsyncd - 将多个客户端同步到同一目录会中断同步

tag-icon • tag-icon rsync nfs synchronization
lsyncd - 将多个客户端同步到同一目录会中断同步

背景-

我正在尝试将 NAS 与 DR_NAS 同步以实现 HA 目的。
不幸的是，这有一个复杂的问题。

  1. NAS在阿里云上。他们还不支持 NAStoNAS 同步。
  2. 我知道的最好方法是在 2 个 NAS 之间安装同步协议，但我无法直接连接到 NAS。阿里巴巴控制着它。
  3. 我尝试将它们安装在单个系统上，并在两个 NAS 之间使用 lsyncd/rsync。但它失败了。
  4. lsyncd 的主要作者表示，lsyncd 使用 Inotify Wait，它使用 Linux 内核来监视文件系统。但Linux内核不监视NFS文件系统。它知道服务器本身何时将文件写入 NAS，但不知道其他系统何时写入。
  5. 因此，我必须在每个将文件写入 NAS 的系统上设置 lsyncd，因为这是 Inotify Wait 知道的唯一方法。
  6. 已设置同步。如果系统在(PROD NAS):/data/A/中写入文件，lsyncd会检测到它并将其报告给rsync服务器。然后rsync服务器将文件写入相应目录（DR NAS）：/data/A/

当前状态 -

在此输入图像描述

它似乎工作得很好，直到有一天我发现同步被破坏了。

看来作者无法同步同一目录。

  • 当 SystemA 写入 /data/A 且 SystemB 写入 /data/B 时，rsync 服务器也会执行此操作。
  • 当 SystemA 和 SystemB 同时写入 /data/C 时，其中一个同步中断，此后只有一个系统可以写入 /data/C。

问题

  1. 多个lsyncd客户端可以与rsync服务器同步并使用相同的目录吗？
  2. 有没有更好的方法来同步两个远程 NFS 目录？

答案1

问题出在“lsyncd 使用 Inotify Wait” - 大概在 /data 目录级别（？），这会导致目标数据发生更改以触发 lsync 程序启动。

如果两个源同时更新同一目标，则即使这些更新有效，您也不能依赖这些更新文件。使用同一目录应该没有问题。

如果 inotify 是在更细粒度的级别（例如文件级别）指定的，那么只要只有一个源正在写入该文件（并且可能有其他程序正在从中读取），那么应该没有问题。

因此，当只有一个 SystemX 写入 /data/X 时，不会发生冲突。

然而，当两个 SystemX 写入 /data/SAME 时，您将错过一些inotify目录级触发事件，导致 lsync 错过一些更新。

要回答如何同步两个 NAS 目录，需要详细了解您的系统 - 但要定期同步rsync（单独）针对两个 NAS 系统运行可以工作 - 前提是相应目录中没有重复的文件。

答案2

我找到了在同一目录上写入会导致同步断开的原因。

Rsync 行为：
Rsyncd 是一个由 root 用户运行的守护进程。目录权限在 rsyncd.conf 中配置。如果配置的 UID 与目标目录的 UID 不匹配，即使目标目录具有所有权限，同步也会中断。

我的情况：文件存储在日期滚动目录中，例如 /data/2021/07/20、/data/2021/07/21 等。
尽管系统永远不会写入相同的文件，但它们注定要写入相同的“新”目录下。

例如，
如果其中一台 lsyncd 服务器检测到“source:/data/2021/07/25/A”中有一个新文件，但目录“target:/data/2021/07/25/”尚不存在，则rsync服务器首先会创建一个目录“target:/data/2021/07/25”root权限下，然后复制文件 A。直到文件“A”完全复制后，目录“target:/data/2021/07/25”的权限才会与源的权限匹配。当文件传输时，rsync 将同步目录权限。

由于此行为，可能会发生同步断开。如果源 B 检测到“source:/data/2021/07/25”，而源 A 仍在具有 root 权限的目录下写入，则与源 B 和目标的同步将中断。

我尝试通过提前创建每日目录来解决此问题，但今天其中一个同步在写入 0 字节文件后冻结后被破坏。

相关内容