从远程 FTP 服务器获取大量小文件的最快方法

从远程 FTP 服务器获取大量小文件的最快方法

在金融科技领域,以下情况似乎相当常见:

您已为访问大量数据付费,但这些数据是以数千个小文件的形式提供给您的,每个文件占用大约 300 kB 的空间,但总共约有 1 TB 的数据。有些文件以 zip 压缩形式存储在远程计算机上;有些则不是。此外,所有这些文件都只能通过 FTP 访问,并且您每次只能连接到一个服务器。

获取这些文件副本的最快方法是什么?

相关内容