将 RSYNC 与 Amazon S3 结合使用

将 RSYNC 与 Amazon S3 结合使用

我有兴趣使用 Amazon S3 备份我们约 100gb 的服务器映像(通过 Acronis 备份工具创建)

显然,每晚上传到 S3 的带宽和成本都很高。我正在考虑将 rsync 与 S3 结合使用,并遇到了s3rsync。 我只是想知道是否有人有使用这个或任何其他实用程序的经验?

答案1

我最近在 Google 上偶然发现了这个帖子,看起来自从提出这个问题以来,情况已经发生了一些变化。这里建议的大多数解决方案要么不再维护,要么已经商业化。

在使用 FUSE 和其他一些解决方案时遇到一些挫折后,我决定使用 Python 为 S3 和 Google Storage 编写自己的命令行 rsync“克隆”。

您可以在 GitHub 上查看该项目:http://github.com/seedifferently/boto_rsync

我最近注意到的另一个项目是“duplicity”。它看起来更复杂一些,可以在这里找到:http://duplicity.nongnu.org/

希望这可以帮助。

更新

AWS 的 Python 团队一直在为他们的云服务开发基于 boto 的 CLI 项目。其中包括一个用于 S3 的接口,它复制(并在许多方面取代)了 boto-rsync 提供的大部分功能:

https://github.com/aws/aws-cli

具体来说,该sync命令可以配置为几乎与 rsync 完全相同的功能:

http://docs.aws.amazon.com/cli/latest/reference/s3/sync.html

答案2

我也有幸S3命令S3同步,两者都是免费的。

答案3

根据 Acronis 映像的创建方式,我不确定任何类型的 rsync 是否都能为您节省带宽。Acronis 映像是单个文件,因此 rsync 无法读取其中的内容以仅备份更改的内容。另外,不确定您正在创建哪种服务器映像,但既然您说的是 100GB,我假设它是完整的?增量映像将大大减少夜间映像的大小,从而节省带宽。您还可以考虑将映像保存到 S3 以外的其他位置(例如磁带介质),并将其存储在异地。

答案4

S3 还提供了一项名为 AWS Import/Export 的附加服务,允许您将包含初始 100Gb 数据集的 USB 驱动器发送给他们,然后他们会使用数据中心的一些后端工具将其加载到 S3 云中。一旦您的 100Gb 数据上传到那里,您就可以每晚进行差异备份,以备份所有更改的内容。

该网站是http://aws.amazon.com/importexport/

如果您的大部分数据都相当静态,那么这将是一个不错的选择,如果整个 100Gb 的数据每天都在变化,那么这对您没有太大帮助。

相关内容