CLI：通过 ftp 快速下载大量小文件

Question

我正在下载大量小文件（超过 800 个，每个文件大约 5k）。我使用 lftp 的 mget 命令执行此操作。但它相当慢。每个文件大约需要 1 秒。有没有工具/方法可以加快速度？

感谢大家的回复，但我只能通过 ftp 访问该服务器

Answer 1

如果您有命令行访问服务器，请登录并使用 zip、gzip、bzip 或 tar（无论哪个可用，都可以在目标上反转 - 您没有说明涉及哪些操作系统）将它们捆绑到一个文件中。这样可以减少文件数量和要传输的总字节数。

如果您只能通过 FTP 访问服务器：某些服务器配置为只要您提出请求，即可提供 zip/gzip 存档（它们会即时构建）。例如，如果您的文件位于 中ftp://example.com/some/folder/，请尝试获取ftp://example.com/some/folder.zip。这可能不起作用，但值得一试。