我们是一家小公司，不久的将来我们需要在欧洲和中国之间传输相当大量的数据（每次 10GB+）。
许多人可能都经历过，往返中国的互联网连接有时会毫无原因地变得相当不稳定和缓慢。例如，虽然通过 FTP 向中国发送数据通常很顺利，但反向传输速度却非常慢。
目前，我们正在研究实现双向高传输速率的新方法。到目前为止，我们已经尝试过：
- FTP（见上文）
- 通过 VPN 服务传输 FTP（通常比直接连接慢）
- F2F（类似 Retroshare 或 Freenet - 很慢！！）
- Aspera（速度快，但是昂贵的！
- BitTorrent（无法访问的终端节点，因为我们无法配置防火墙）
我们想尝试：
- 云存储（例如 Amazon S3、Google Storage）——这些服务在中国境内是否始终可以可靠地访问？
- 点对点 VPN（目前无法实现，因为网络原因，见上文）
我将特别感谢那些曾经处理过此类问题的人的意见。
答案1
我建议使用同步进行此类传输。它可用于ssh加密流量（因此您无需使用单独的 VPN）、压缩流（根据您的数据类型，这可能非常有效）并可在传输失败时重新启动传输（它使用滚动校验和来查看传输失败的位置以及从何处重新启动）。
我使用以下内容，它结合了上述内容（因为我的/大多数机器上的 rsync 客户端默认使用 ssh）：
rsync -avz <local file> username@hostname:/path/where/to/place/file/<remote file>
您可以使用--progress它在终端上查看传输的进展情况。通常它使用 ssh 并使用本地计算机rsync客户端，但也有一个 rsync 守护程序。我从未使用过它，但如果您想要一个类似于的实际守护程序，则值得研究ftpd。
由于它使用 SSH，您还可以更改它使用的端口（如果防火墙锁定了它们）。例如，您不必让 ssh 监听端口 22（事实上，我这样做是为了避免互联网上的随机人员扫描我的 SSH）。
它通常用于 Unix 系统（包括 Mac），但你可以使用赛格威如果您需要在 Windows 上使用它，也是如此。
如果你想要真正的服务，我会使用rsync.net很显然，他们提供了可以轻松同步数据的存储。他们在瑞典有一个欧洲数据中心，可以满足您的需求，并且不限制进出流量速度（不过请查看小字）。
答案2
我建议您测试一次磁盘或拇指驱动器往返中国的物理运输，以了解通过运输公司发送数据需要多长时间和多少时间。从数据的角度来看，带宽是巨大的。您可以加密并发送多个货物以提供冗余和保护，并且您无需维护基础设施。
答案3
你们中的一些人最终询问我们决定做什么。
虽然我们已经尝试并测试了几乎所有上述建议的解决方案，但使用 Aspera 的专有协议和软件似乎最能达到我们的目的。
也许还有其他人知道更好的东西并愿意分享？
答案4
我猜你需要分布式文件系统。
头孢是一个免费软件存储平台，在单个分布式计算机集群上实现对象存储，并提供对象、块和文件级存储接口。Ceph 主要致力于实现完全分布式操作，没有单点故障，可扩展到 EB 级，并且免费提供。
Ceph 使用商用硬件复制数据并使其具有容错能力，无需特定硬件支持。由于其设计，该系统既可以自我修复，又可以自我管理，旨在最大限度地减少管理时间和其他成本。