☰

有没有什么好的方法可以跨越大西洋传输超大文件（2TB）？

tag-icon • tag-icon networking internet file-transfer
有没有什么好的方法可以跨越大西洋传输超大文件（2TB）？

我的公司经常需要从美国向英国发送大约 2TB 的数据（压缩增量的大小为 2TB）。即使双方都有良好的互联网连接，直接发送文件也太慢且不可靠。以 1MB/s 的速度，传输将需要 20 多天，即使没有错误完成。

因此，目前发现的最佳解决方案是“运送砖块”，即通过普通邮件发送硬盘。

我想知道是否存在某种服务可以提供跨大洲更好的网络连接？我考虑过使用 AWS S3，但它们的出站传输价格相当昂贵……

笔记：问题不在于软件。我们已经在使用 rsync。它运行良好且功能强大。问题在于跨大西洋互联网连接的速度和可靠性。正如一位回答者所说，专用链路不在我们的预算之内。我正在寻找一种经济高效的解决方案，它比运送磁盘更实用一些。

答案1

嗯，你的问题缺少一些重要信息：

  • 在相邻的传输尝试之间文件是否会发生变化？
  • 服务器和客户端运行在什么平台上？

不过，还是有几个选择：

  • 普通的 HTTP 支持下载恢复 — 通过Range请求标头中的字段。

    因此，如果您有一个支持该功能的服务器（实际上是任何生产软件，例如nginx、apache和lighthttpd其他无数软件，接收整个文件就相当于在客户端运行如下操作：

    while true; do
    wget -nd -c http://server:port/path/to/the/file && break
done

  • 先进的软件，例如rsync使用先进的技术支持恢复文件传输，即使在相邻的同步会话之间存在文件更新，也允许同步两个目录层次结构。

    我不确定，但在 Windows™ 上，robocopy应该能够作为穷人的服务器rsync：事实并非如此那擅长支持源端的更新，但IIRC它能够恢复传输。

  • 还存在其他“无论如何都要这么做”的同步工具，例如 SyncThing。

请注意，HTTProbocopy期望服务器和客户端之间有常规的网络连接；如果它是由 VPN 提供的，您可能需要考虑调整其性能。

rsync能够使用 SSH 来生成并与远程rsync实例通信；您可能需要调整该 SSH 调用以使其使用最快的可用密码、关闭压缩等。

答案2

如果您没有完整的环境来设置网络服务器等，您可以随时使用： https://github.com/warner/magic-wormhole

它具有重启/重试功能，可以在多种服务上运行。

我用来从伦敦转移到纽约的另一种工具： https://github.com/fast-data-transfer/fdt

答案3

如果总是有 2TB 的全新数据，我会说，请检查真正的 1GB 光纤互联网链接（商业）。但是，它可能不在您的预算之内。（不是侮辱）...

也就是说，如果 2TB 中只有“少量”数据每天发生变化，我只会传输与完整 2TB 不同的数据。

rsync 可以很好地完成这项工作。互联网上有很多关于如何使用 rsync 实现这一点的教程。

话虽如此，但仍存在一个问题：您的数据是否保密？

如果是这样，我会在 rsync 之前启动并启动 SSH 隧道，或者直接使用 ssh 选项进行 rsync。

另一种方法是使用带有 TLS 证书的 Web 服务，例如 Apache。

如果有互联网，那么没有选择，我想说，一堆 3TB 硬盘和一个 UPS/FedEx 工作流程按计划发送和接收磁盘......它可能比互联网连接更便宜......

永远不要低估一辆装满磁带的货车（或飞机）的带宽！

相关内容