复制大量数据的最快方法

Question

我必须在两台服务器之间复制大量文件（60000+），大约有 5TB 的数据。

我尝试将备份服务器安装为文件夹，并以这种方式复制文件，但无法获得正确写入文件的权限。

因此我想到绑定剩余的 3 个网卡端口，连接交叉电缆并使用 cp/scp 复制所有内容。现在我没有绑定网卡并以这种方式传输数据的经验。

会更快吗？有人能给我一些更好的解决方案吗？我将不胜感激。

Answer 1

复制大量文件时我通常使用这些命令：

目标：

nc -q 1 -l 1234 | pv -pterb -s <filesize>G | tar xv

来源：

tar cv <DIR>  | nc -q 1 <targetip> 1234

这将直接传输所有数据，而无需通过端口 1234 从源到目标产生大量协议开销。事实证明，这是我在本地网络中复制数据的最快方法。此外，我在目标中添加了 pv 命令，这样我就可以大致了解文件的进度。

对于更高级但可能更慢的传输，我建议使用 rsync。