我正在组建一项将内容分发到其他网站的服务。
网站将获得一小段 javascript 代码,用于从静态 .json 文件中检索内容。
我需要一个好的 .json 文件托管解决方案。这些文件大约有 150000 个,我需要每周更新它们。
我需要可扩展的容量,每天可达到 100 万到 500 万次点击。
看起来 amazon s3 或 rackspace 云文件是托管此文件的自然选择,但它们似乎都不是批量上传 150000 个文件的好解决方案。
托管这些文件的最佳方式是什么?
答案1
您不能将文件打包成 .tar.bz2 然后在上传后再解压 tarball 吗?
或者,如果不是全部文件得到更新,您还可以使用rsync
。
答案2
我肯定会考虑使用 rsync。它非常快速、安全,并且专为此类用途而构建。
答案3
这可能有点离题,但我相信 Dropbox 可以支持 S3,您可以将目录共享到 Web。通过将 JSON 文件放入 Dropbox 文件夹中并让 Dropbox 负责同步来修改它们。不过,我不知道他们是否认为将其用作 CDN 是可以接受的。
JungleDisk 是另一款专为备份而设计的软件,它可以静静地将文件传输到 S3。他们会指导您设置 S3 帐户,Amazon.com 会单独向您收费。
我确信还有很多其他软件可以轻松地将文件同步到云端。
如果担心并发,我可能会为每个版本创建一个新目录,将 150,000 个文件带到云端,然后在同步后将应用程序指向新目录。
—丹尼