Linux 到 Linux，10 TB 传输？

Question

我看过之前所有类似的问题，但答案似乎都乱七八糟，没有人动过很多数据（100 GB 与 10 TB 不同）。

我有大约 10 TB 的数据需要从一个 RAID 阵列移动到另一个 RAID 阵列，千兆以太网，免费百科全书，西弗斯文件系统。我最担心的是传输中途中断，无法轻松恢复。速度会很好，但确保传输更为重要。

通常我只会使用 tar 和 netcat，但我要迁移的 RAID 阵列最近非常不稳定，如果它在迁移过程中掉线，我需要能够恢复并继续运行。我应该考虑同步？

进一步研究后，我认为 rsync 可能太慢了，我想避免花费 30天或更多。所以现在我正在寻找有关如何使用网猫。

Answer 1

是的，rsync

除了奇怪之外，DRBD 最近还推出了异步功能。

Answer 2

永远不要低估一辆装满磁带的旅行车的带宽。 如果您可以将 10TB 分成 (例如 2TB) 块，那么使用相对便宜的消费级 NAS 设备是可行的。如果这是一次性的，那么半手动过程可能是可行的，而且 2TB NAS 只需几百美元。

如果您需要一个持续的过程，那么您可以在完成初始传输后设置 RSYNC。

Answer 3

几个月前我不得不做这样的任务。我使用并行 rsync 来加速这个过程。它将要传输/同步的文件分成几块，并且可以随时恢复。请参阅下面的并行 rsync 脚本链接。

https://gist.github.com/rcoup/5358786

Answer 4

您可以尝试在要复制数据的服务器上设置 FTP 服务器，并在接收端使用具有“恢复”功能的 FTP 客户端。我使用 Filezilla 服务器和客户端，并且经常使用客户端的“恢复”功能，它始终运行顺畅。