通过互联网分发大型数据集(80GB +)

通过互联网分发大型数据集(80GB +)

我见过一些类似的问题,但这些问题涉及的是 1GB 以下的文件,答案通常推荐 Dropbox、S3 和 Skydrive 等服务。这似乎不适合我的需求。

我有一个非常大的数据集(Dota2 公开匹配历史),其原始格式在 MongoDB 中(不含索引)约为 800GB。转储此数据集并使用 7Zip Ultra 级压缩,我可以实现约 9-10% 的压缩率,我可以将此大小减小到约 80GB 以供分发。我正在寻找一种方法来公开这些压缩文件,但不确定分发这些文件的最佳方法。我可以通过查询转储将文件拆分成较小的部分。这对压缩率的影响可以忽略不计。

我家的互联网上传速度非常慢 (最大 1.3Mbps,经常受限制),所以我不想通过家里的连接来下载种子。

分发此数据集的最佳方法是什么?有没有办法进一步压缩数据集?

编辑:由于这个问题已被标记为重复,我想我不能再回答了。我不确定为什么有人认为这是一个被接受的答案是 Dropbox 的问题的重复,但对于任何偶然发现这个问题的人来说,最佳选择似乎如下:

使用 BitTorrent 作为传输协议,但使用“Seedbox”提供商托管文件。这些似乎是 VPS 提供商,专注于为 BitTorrent 协议的重度用户提供带宽和存储空间。作为平均价格,每月约 10 美元即可获得足够的空间和带宽以满足我的需求。为了将文件发送到托管提供商,我会将它们复制到外部驱动器,然后从我可以访问互联网连接的多个位置通过 FTP 将它们发送到托管。

相关内容