备份大型图书馆

备份大型图书馆

我有一个相对较大的库,大约 50TB,每周至少需要备份一次。目前,视频内容存储在 3TB 硬盘阵列中。我估计每周的新内容量约为 300GB。

云解决方案不可行,因为对于这种存储量来说,其成本太高了。

您对于如何备份这个数字图书馆有什么建议?LTO-5 磁带怎么样?

答案1

根据我的计算,大约需要 170 周或 3 年的时间才能完成全部营业额。

确定恢复时间目标 (RTO) 的关键在于用户需要哪些数据才能提高工作效率。由于这是视频文件,我猜首先恢复最新数据将使它们高效运行,同时将库中的其余部分联机。但只有您知道访问旧内容的频率。

你会惊讶于磁带能如此出色地处理这样的工作。视频文件很大而且很长,如果它们没有碎片化,那么所有这些文件都可以非常快速地传输。而且重要的是,恢复由于有大量连续的大型写入,因此速度非常快。如果您需要,每周的净更改磁带与数据库交叉引用以跟踪每盘磁带上的内容,可以为您提供一个相当大的离线存档。

如果您的视频属于一次写入多次读取的类型,那么只需每周进行一次更改数据备份,并结合数据复制解决方案,您就可以取得长足进步。这将为您提供完整复制解决方案的“即时恢复”,但采用磁带形式的替代恢复方法。这意味着您的直接存储成本将翻倍,但您无法击败热备用的恢复时间。

如果热备盘太贵,磁带的每 GB 成本仍然远低于磁盘。恢复需要更长的时间,完全备份也需要很长时间,但最终还是能帮到你。

答案2

嗯,没有“便宜”的方法来解决这个问题。

不过,我认为 backblaze 已经为你完成了大部分艰苦的工作。这里有一篇关于他们如何做到的精彩文章。 http://blog.backblaze.com/2009/09/01/petabytes-on-a-budget-how-to-build-cheap-cloud-storage/

他们开源了设计,有人在销售你需要的一切(磁盘除外)。 http://www.protocase.com/products/index.php?e=Backblaze

答案3

由于听起来您不会回头更改曾经存储过的内容,因此我建议使用磁带。它需要由能够识别坏介质的强大备份软件进行管理,但听起来您几乎不需要硬件。双头库就足够了,这将允许您让备份服务器在每周增量之间进行后台回收。每周 300GB 的数据在单个 LTO-5 驱动器上每周只需不到一小时。

您可以指示软件准备一组磁带,以便将其发送到异地,以满足站点恢复需求。这样就无需每周通过 WAN 发送 300GB 来进行某种复制。

相关内容