全球传输 100GB 文件的最快可靠方法?

全球传输 100GB 文件的最快可靠方法?

我们最近的项目是将 100GB 以上的文件从达拉斯办公室发送到澳大利亚的客户。我被要求找到传输这些文件最快、最可靠的方法。通常这不费吹灰之力,但当他们说 100GB 时,我决定需要寻求建议。我的时间也很紧张,所以我大约有 24 小时的时间来制定专业的解决方案(无需进行重大软件开发)。

它必须非常快,并且必须能够容忍上传和下载端(上传恢复和下载恢复)的互联网服务中断。它还需要在客户端下载端尽可能地一站式。GUI 界面工具会很棒。

我最初的想法是使用带有第三方下载/上传管理器的 Amazon S3 帐户,但我不确定 Amazon 的 S3 带宽限制有多快。EC2 更快吗?此外,Amazon 的网站倾向于迎合软件程序员 - 是否有任何可靠的预装应用程序支持分段上传和下载?

答案1

限制因素是你和客户端之间的管道大小。没有哪一种技术会比另一种技术更快。任何现代文件传输机制都能够饱和你拥有的任何链接。

缩短传输时间的第一步是有效压缩数据。尝试不同的压缩格式(如 rar 或 7zip)以查看哪种最有效。

由于所有传输方法在速度方面都相当,因此请专注于可重启性。SCP 或 SFTP 具有良好的重启功能,并且易于编写脚本。如果文件最终需要到达客户的多个办公室,那么 BitTorrent 是一个不错的选择,因为他们的办公室可以相互共享部分内容。

然而:

永远不要低估在高速公路上疾驰而过的装满磁带的旅行车的带宽。—Tanenbaum,Andrew S. (1996)。计算机网络。新泽西:Prentice-Hall。第 83 页。ISBN 0-13-349945-6。

从时间消耗的角度看,最快的方法可能是使用 USB 硬盘或类似设备,然后邮寄或通过快递发送。我建议您与客户进行一些测试,看看您能获得什么样的吞吐量,然后计算一下,看看一辆装满磁带的旅行车在高速公路上疾驰是否更快。(或者喷气式飞机上的 USB 硬盘,无论您喜欢哪种。)

相关内容