我想通过互联网传输一个 1TB 的文件。我可以控制两台机器（发送方 unix，接收方 linux）。我可以打开 FTP、OpenVPN、NFS、...
到目前为止，由于某种原因，FTP 上的恢复功能并不稳定，因此我将文件分成 1GB 大小的部分，然后逐个文件传输，然后在另一端进行 md5 处理。这非常烦人。
我与另一个网站的连接速度为 3 到 6 MB/秒。速度相当不错。
我希望它是安全的，并且如果失败的话我希望能够恢复。我试过 NFS - 没有恢复。
有没有更清洁、更安全的方法？
答案1
如果您需要重新启动，那么 rsync 可能是最佳选择。我发现，通过网络传输数据最快的方式之一是使用“Samba”——但要获得出色的性能，通常需要根据环境进行调整。但我所说的“快速”是指在 1Gbit 以太网上，写入速度为 125MB/s，读取速度为 119MB/s。除非您的有效负载能够压缩——即 1TB 的文本文件可能会压缩到十分之一的大小，否则 125MB/s 的写入速度就是您能获得的速度。
注意... rsync 的问题是，“直接”通常使用其他协议 (rsh/ssh) 进行传输 - 如果您使用 rsync 而不是“ssh”，则会产生加密成本，在一台好机器上，这会增加 140-160MB/s 的上限。这通常会增加网络连接的延迟，并使整体传输速度减慢 50% 或更多。
因此最快的方式取决于两台机器之间采用的网络类型。较慢的互联网速度（即 .5-10MB/s）或局域网（1Gb 甚至 10Gb）。
如果传输速度比整体速度更重要，我会通过一个好的压缩器（如 xz 或 7z）来“准备”文件进行传输——但这本身会花费大量时间（因此总时间可能会更长）。但如果实际传输速度更重要，那么压缩就成为减少传输时间的好方法。
这实际上取决于您的优先事项以及您想要花多少时间来优化传输速度。但总的来说，我认为 sirlancelot 给出了正确的答案，只是根据您的优先事项，可能会有很多缓解因素。