移动大量文件的最佳方法是什么?

移动大量文件的最佳方法是什么?

我有大约 6 TB 的文件需要从一台服务器移动到另一台。我尽力通过 FTP 移动它,如下所示,但连接经常中断,在进行一定程度的移动后,它甚至在恢复移动文件之前就断开了连接,我猜是在实际传输之前花了太长时间比较文件,然后超时了。

~/ncftp-3.2.3/bin/ncftpput -R -z -v -u "user" -p "password" upload.server.net /local/dir/ remote/dir/

我正在尝试让远程服务器授予我使用 SSH 的访问权限,以便我可以设置 rsync,但是我可以通过 ftp 做任何更稳定的事情吗,所以也许它会尝试自行恢复而无需重新比较整个文件列表?

答案1

如果你只能通过 FTP 访问,你可能需要查看lftp(应该在大多数发行版中)。

lftp 支持失败时自动重试,并且还有一个镜像选项,听起来与您想要执行的操作相匹配。

答案2

我会使用 rsync。如果连接断开,它会比较源和目标并从断开的位置进行同步(假设有大量的中小型文件,而不是 2 x 3 TB:))。

或者启动 apache 并使您的文件目录成为根目录并执行递归 wget,也可能有效,您只需要告诉它忽略本地已存在的文件。

答案3

你没有说这个项目的界限是什么。我自己的情况是,通过从源备份数据,然后使用我的备份软件将其恢复到目标来做到这一点。

如果您不能这样做,那么为什么不尝试将数据分成多个文件或目录,以“批量”移动数据呢?

相关内容