从服务器下载 20GB 目录

从服务器下载 20GB 目录

我必须将一个 20GB 的目录从我的服务器传输到我的桌面。它可能有数百万个文件,我无法对它们进行 tgz,因为出于某种原因,它不会将文件写入超过 7.5GB。下载文件的最佳方法是什么?我需要比 FTP 更好的东西,因为处理这么多文件需要很长时间。如果我跳过 gz,我是否就不会受到 7.5GB 文件限制?

答案1

它可能有数百万个文件,但我无法对它们进行 tgz 压缩,因为某种原因,它无法写入超过 7.5GB 的文件。

您可以对它们进行 tgz 压缩,但不要将它们写在服务器上:

ssh [email protected] "tar zcvf - /directory/with/millions/of/files" > millions-of-files.tar.gz

如果您首先考虑 tgz,我假设您具有 ssh 访问权限。

答案2

有什么比 FTP 更好的吗?使用其他协议不会减少您拥有的文件数量。使用 tar gz 通过 ssh 进行 rsync 似乎效果最好。

答案3

前面的答案是正确的,但我建议创建一个多部分压缩文件,然后使用您选择的文件传输方法传输目录。

这样,您可以并行传输许多文件,从而更快地完成,当然,这取决于您的网络连接。

查看问题:

如何在 Linux 中创建多部分 tar 文件?

https://superuser.com/questions/198857/how-can-i-create-multipart-tar-file-in-linux

另外,我假设您使用的是 Linux。但如果您不是,WinRAR 可以在 Windows 上轻松完成此操作。然后使用 NFS 或您喜欢的任何方式进行传输。

相关内容