发送许多小文件时 FTP 速度太慢

发送许多小文件时 FTP 速度太慢

我经常需要将 4000 个小文件传输到远程服务器(大约 20 MB 的数据),而我目前只能通过 FTP 访问该服务器。此操作需要 30 分钟,但如果我要发送一个 20 MB 大小的文件,则需要 2 秒左右。我正在寻找一种更快的替代方案,例如将 4000 个文件压缩为一个文件,发送压缩文件,然后在远程计算机上解压缩。有没有可以执行此操作的文件传输服务器?

请注意,我有权在远程计算机上安装备用服务器,因此我不局限于 FTP 服务器。

提前非常感谢 Jeeji

答案1

您说您只有 FTP 访问权限,但又说您可以安装备用服务器。您可以安装并使用 rsync 吗?

Rsync 将通过 ssh 运行,旨在通过将它们作为连续的数据流发送而不是作为具有自身开销的离散块发送来处理“大量小文件”问题。

答案2

将它们压缩并发送到服务器,然后使用接收端的计划任务查找压缩文件并在本地解压缩。使用文件系统监视程序,您可以检测压缩文件的创建时间,等到它上传完成(即不再被修改)然后解压缩。

答案3

你应该看看威克斯或者使用 rsync 来同步创建的挂载点CurlFtpFS

答案4

服务器端的简单 shell 脚本会帮你搞定这一切。选择一个文件夹,将进入的每个 zip 文件都解压。编写一个脚本来查找 zip 文件,然后解压它们。

相关内容