如何使用 rsync 和 inotify“正确”同步数百万个文件？

Question

假设我有 100 万个文件，文件列表大约为 20MB。如果我只添加一个文件，inotify将提示rsync我传输文件列表和新文件。我的网络不好，我可能不得不限制带宽（--bwlimit）。

可能会一次添加多个文件，并且考虑到网络传输速度，可能会同时运行多个 rsync。

这值得吗？还有更好的方法吗？

Answer 1

你的情况听起来正是同步是为此而生的。
它使用 inotify 监视目录并生成仅包含已更改文件的 rsync。
它会在几秒钟内汇总更改。
因此，当您在一秒钟内进行 5 次更改时，它只会向目标服务器生成一个新的同步过程。