使用 tar 的带宽友好型备份策略?

使用 tar 的带宽友好型备份策略?

直到最近,我们一直习惯于tar备份和压缩(gzip)文件服务器上的选定目录,效果非常好。
我们的每个备份都存储在镜像(RAID)硬盘上,并同时上传到 Amazon S3 存储桶进行异地存储。

由于我们的数据量最近增长迅速,我们的备份量也随之增长。本周,我们的备份上传全天候运行,只是为了同步过去 7 天的最新备份,但仍然没有完成。获得更好的连接可以解决部分问题(目前我们无法做到),但我认为最好是创建一个真正的解决方案,而不是寻找变通方法。

有什么替代策略可以让我们远离多位千兆字节的文件,并且仍然允许我们使用tar,我们可以用来备份我们的目录,从而减少同步文件所需的带宽?

答案1

这里有很多未知变量。您的备份大小是多少、带宽限制是多少、您想要增量备份还是完整备份等等。

无论如何,以下是一些建议:

  1. 使用 rsync 而不是 ssh,同时使用压缩(-C 选项)。Rsync 将大大减少每次备份所需的传输数据量。压缩还将减少所需的带宽量。

  2. 如果带宽有限,请考虑备份到本地磁盘。如果您需要异地备份,您可以随时将其邮寄到异地。随着存储空间的激增,您真的不应该排除这是一个有效的选择,因为带宽并没有相应增加。

[编辑] 我注意到了增量标签。Amazon S3 存储桶是否支持快照?这将解决增量方面的问题。

答案2

这是一个商业推荐。仙人掌孤塔是一个完整的备份套件,可生成可使用 提取和列出的存档文件tar,即使写入磁带也是如此。这很方便,因为您不需要软件来恢复存档。这是我的独立 Linux 服务器备份首选解决方案。

Lone-Tar 现在有一个在线组件,可以与捆绑的异地存储包或远程 Linux 服务器集成。由于这是一个备份软件套件,因此它维护了一个适当的目录,并且可以容纳完整、增量和选择性备份。

答案3

使用 rsync 而不是 ssh。如果要保留历史版本,可以设置 -b 和相关选项。如果您已经习惯使用 tar,可以使用 -z 标志(如果尚未压缩)。您可以利用文件系统上的“存档”位,使用dump 命令因此,与典型的 rsync 使用一样,只有自上次转储或同步以来发生变化的文件才会被复制。

相关内容