我想复制大约 10TB 的数据（很多跨广域网传输较小文件、低流失率的数据，对可用基础设施的影响最小。
虽然我可以简单地使用 rsync，但这意味着查找更改并比较本地和远程数据（磁盘 I/O、网络带宽和 CPU 成本），尽管 rsync 可以有效地完成此操作，但我想知道是否有更有效的解决方案可以跟踪更改并传播它们（最好是双向的）。
存储本身是 HP NAS 设备上的 iSCSI。我们之前曾考虑过使用其内置的复制功能，但发现它们速度很慢且不可靠。
DRBD 镜像需要两端额外的硬件。这会相当昂贵。我过去也曾遇到过 DRBD 复制失败的问题。
glusterfs 会更高效吗？使用 2 个节点设置会不会很愚蠢？还有更好的解决方案吗？
答案1
您可以使用lsyncd它在系统之间持续同步文件。lsyncd安装 inotify 监视同步的目录。每当目录中的文件发生变化时，它都会使用 将更改传输到远程服务器rsync。
答案2
在块级别，可以使用 Starwind 进行同步，它在两端创建镜像磁盘。它可以在 iSCSI LUN 上运行，从而实现主动-主动存储。无需额外的硬件。https://www.starwindsoftware.com/blog/storage-ha-on-the-cheap-fixing-synology-diskstation-flaky-performance-with-starwind-free-part-3-failover-duration
在文件级别，lsyncd 和 rsync 在服务器之间执行镜像同步文件。这些工具可能需要调整配置文件，以确保文件锁定机制按预期工作并且不会发生裂脑。https://linoxide.com/tools/setup-lsyncd-sync-directories/
答案3
你可以使用伊奥尼采对于 io 负载限制和宽度限制rsync 中限制网络 io 的参数。还有一些其他方法： Rsync 巨大小文件数据集 5TB，+M 个小文件
答案4
如果您愿意尝试新事物，那么 IPFS 可能是您尝试的绝佳工具。
根据您的文件复制需求，使用私有 IPFS 集群可能会给您带来很好的结果。
但是请记住，这是一个相当新的东西，但正在迅速成熟。