☰

将 70TB 数据从一台远程服务器传输到另一台

tag-icon • tag-icon linux ubuntu ssh-tunneling file-transfer
将 70TB 数据从一台远程服务器传输到另一台

首先我会详细说明这里的场景是什么。

我们有 2 台服务器，都是 ubuntu 14.04 LTS，我们有一个名为 /storage/ 的 70TB 驱动器，它包含许多每个 30GB 大小的文件以及其他文件。因此，由于两者都是远程服务器，我想将所有这些数据移动到另一个远程服务器与 /storage/ 相同的驱动器上。

有没有什么办法既快速又稳定，而且不会造成数据丢失呢？

一旦我尝试仅将一个文件从一个文件移动到另一个文件，效果很好关联。任何帮助将不胜感激。

答案1

有什么办法可以快速做到

这取决于源服务器和目标服务器之间的网络连接速度。

70 TB 的数据量很大。可能值得以物理方式断开驱动器与服务器的连接并将其重新安装到目标服务器上。

并且稳定，这样就不会丢失数据？

scp如果您通过程序本身使用的加密协议来确保其完整性，则可以复制文件。因此，只要 longscp以零状态结束，您就知道一切顺利。

答案2

我不确定您在提到的问题中使用了哪种解决方案，但我强烈建议使用rsyncandscreen因为此操作将花费大量时间。

使用如此大量的数据可能会出现问题（例如，连接可能会丢失），并且您将很难找到应该重新启动程序的点。 Rsync 会为你做到这一点。

谈论速度 - 这取决于网络连接，是的，移动物理驱动器也可能是一个解决方案。查看 rsync 中的压缩开关，如果您的文件可以轻松压缩，它可能会有所帮助。如果没有，那么不进行压缩也可能是一个好主意（没有不必要的 CPU 使用）。

答案3

简单地

  1. 进行备份
  2. 配置新服务器，ssh以 root 身份访问（临时且仅使用公钥）并安装rsync、创建目录/storage
  3. 传输使用rsync（在 slackware 上ssh默认启用，如果未启用则启用 use rsync -e）
  4. 传输检查后df，du如果一切正常并禁用 root 的 ssh 访问（mantein 仅以 ssh 用户身份）

相关内容