可同步 Snappy 吗?

可同步 Snappy 吗?

我在 EC2 上维护了一些大型 Cassandra 集群。异地备份需要很长时间,因为必须对快照进行 tar 和 gzip 压缩,并通过网络从 EC2 实例推送到 EBS。

我的问题是,我们是否可以通过使用 cp 和 rsync 来减少备份时间。假设 EBS 有一个以前的备份。我们是否可以在 EBS 内复制该备份,避免网络,然后只需将差异 rsync 到当前快照即可创建新的备份?

有什么想法吗?一个问题是,我们所有的列族都是 snappy 压缩的。snappy 可以 rsyncable 吗?将所有这些 SSTable 打包并用 --rsyncable 进行 gzip 压缩是否会产生最终对 rsync 友好的存档?

答案1

是的,您可以使用 rsync。事实上,我们在 10 节点集群中成功使用了此备份策略。

首先我要声明,我不建议在 EBS 上运行 Cassandra。这是一场噩梦。不过,在 EBS 上备份是没问题的。

我们为每个实例附加了一个 EBS 卷。当我们想要运行备份时,我们只需创建快照并将快照 rsync 到 EBS 卷即可。无需使用 tar 或尝试压缩文件,它们已经压缩过了。rsync 完成后,对磁盘进行 EBS 快照。它非常快,可让您随时将备份复制到另一个位置。

相关内容