我有兴趣使用 Amazon S3 备份我们约 100gb 的服务器映像(通过 Acronis 备份工具创建)
显然,每晚上传到 S3 的带宽和成本都很高。我正在考虑将 rsync 与 S3 结合使用,并遇到了s3rsync。 我只是想知道是否有人有使用这个或任何其他实用程序的经验?
答案1
我最近在 Google 上偶然发现了这个帖子,看起来自从提出这个问题以来,情况已经发生了一些变化。这里建议的大多数解决方案要么不再维护,要么已经商业化。
在使用 FUSE 和其他一些解决方案时遇到一些挫折后,我决定使用 Python 为 S3 和 Google Storage 编写自己的命令行 rsync“克隆”。
您可以在 GitHub 上查看该项目:http://github.com/seedifferently/boto_rsync
我最近注意到的另一个项目是“duplicity”。它看起来更复杂一些,可以在这里找到:http://duplicity.nongnu.org/
希望这可以帮助。
更新
AWS 的 Python 团队一直在为他们的云服务开发基于 boto 的 CLI 项目。其中包括一个用于 S3 的接口,它复制(并在许多方面取代)了 boto-rsync 提供的大部分功能:
https://github.com/aws/aws-cli
具体来说,该sync
命令可以配置为几乎与 rsync 完全相同的功能:
http://docs.aws.amazon.com/cli/latest/reference/s3/sync.html
答案2
答案3
根据 Acronis 映像的创建方式,我不确定任何类型的 rsync 是否都能为您节省带宽。Acronis 映像是单个文件,因此 rsync 无法读取其中的内容以仅备份更改的内容。另外,不确定您正在创建哪种服务器映像,但既然您说的是 100GB,我假设它是完整的?增量映像将大大减少夜间映像的大小,从而节省带宽。您还可以考虑将映像保存到 S3 以外的其他位置(例如磁带介质),并将其存储在异地。
答案4
S3 还提供了一项名为 AWS Import/Export 的附加服务,允许您将包含初始 100Gb 数据集的 USB 驱动器发送给他们,然后他们会使用数据中心的一些后端工具将其加载到 S3 云中。一旦您的 100Gb 数据上传到那里,您就可以每晚进行差异备份,以备份所有更改的内容。
该网站是http://aws.amazon.com/importexport/
如果您的大部分数据都相当静态,那么这将是一个不错的选择,如果整个 100Gb 的数据每天都在变化,那么这对您没有太大帮助。