☰

在两台服务器之间通过网络传输数据的最快方法

tag-icon • tag-icon storage rsync scp tar btrfs
在两台服务器之间通过网络传输数据的最快方法

我家里有两台存储服务器 - 一台是我的工作站，它有一对 RAID1 中的 3TB 磁盘。

起初，我把所有数据都存储在那里。最近，我收到了一台小型 SBC，里面有四块 1TB 的磁盘。我给它们设置了 RAID0，这样 SBC 就可以一直开着，供所有人使用（而且速度更快），当工作站启动时，它们会同步差异，数据就安全地保存在那里。

现在，我在每个服务器上都有一些独特的数据。我正在寻找一种方法来一次性传输大量独特的数据，然后获得一些增量数据。

两台服务器均采用 BtrFS 格式化。

我想到了几个选择：

  • 将我正在传输的目录打包成 tar，压缩它们（使用 zstd），然后 scp 或 rsync 它们。
  • 将 tar 发送到标准输出并通过管道传输到压缩机和网络
  • 使用 BtrFS 通过网络发送-接收，无论是否压缩
  • 使用 rsync，带或不带压缩
  • 使用 SMB 或 NFS 将一个服务器的文件系统挂载到另一个服务器上并进行传输。

您认为以下哪一个选项效果最好？

谢谢！

答案1

Raid-0 总是让我感到害怕，因为没有故障转移。我认为在这种情况下没问题，因为您将有一个备份，您可以在紧急情况下使用另一台服务器。

我的建议：Resilio Sync（以前称为 bit-torrent sync）。它速度极快，可让两者保持最新状态。有一个免费版本供 Linux 家庭使用。

https://www.resilio.com/individuals/

除了目标服务器之外，我建议

rsync -avz [email protected]:/path/to/data/ /path/to/data/

相关内容