TB 级数据的异地备份

TB 级数据的异地备份

我正在寻找一种方法来创建大约 8TB 数据的异地备份。我目前已将数据分解为 2-4TB 文件系统,并使用 ShadowProtect 将数据从 SBS 2003 服务器备份到 Windows 2003 备份服务器,每周进行一次完整备份,每晚进行一次增量备份。

由于多种原因,我对这个解决方案不太满意。

  • 备份时间太长。
  • 保存超过一周的备份需要大量空间。
  • 异地备份到外部硬盘需要太多磁盘和太多时间。
  • 通过互联网进行异地备份会占用太多带宽。

如果可能的话,我正在寻找一个本地备份服务器来存储许多快照,而无需存储重复的数据,例如备份似乎可以做到。我还希望能够跨一组外部磁盘进行备份,而不会出现重复数据,因为文件系统太大,我无法在单个磁盘上容纳这么多数据。

如果我错了,请纠正我,但据我所知,由于使用硬链接,将新数据跨越比 faubackup 本身使用的更多的文件系统是不可能的。

我也一直在考虑使用 openfiler 来实现相同的目标,但还没有想到办法。

其他人如何应对如此大量数据的异地备份。

编辑
更多背景信息,我们是一家规模相对较小(约 15 名员工)的地质公司,我们主要处理大量数据集,并使其可读。项目通常达到数百 GB。尽管异地备份非常重要,但我很难获得购买磁带自动加载机所需的资金,该磁带自动加载机可以处理我们正在查看的那种数据。我试过了,基本上被告知一定有另一种方法,我必须找到它。

我们有两台服务器。一台 SBS2003 服务器和一台用作备份服务器的 Windows 2003 R2 服务器。两台机器都有一个 20TB 的 RAID6 阵列,用于存储我们的数据。在任何一天以及常规情况下,许多非常大的文件都会被轻微修改。

答案1

我们有大约 1TB 的数据,并使用自定义 rsync 脚本每晚备份所有内容。rsync 的优点在于它只复制已修改的字节(而不是整个已修改的文件)...此外,它在传输之前会压缩数据。

在我们的旧系统中,我们不得不将磁带和磁盘运回家,因为每天大约有 200GB 的文件被修改。但使用 rsync 时,只有这些文件中大约 1GB 的修改数据被传输,并压缩到约 200MB。因此,我们能够在几分钟内通过 T1 将所有内容备份到远程站点(在维护工作非常繁忙的日子里,则不到一小时)。脚本还利用 Linux 硬链接来维护 30 天的完整存档(不是增量存档),仅使用 2-4TB(压缩前)的空间。因此,我们最终能够在几秒钟内恢复存档数据,同时还能维护异地存储。

幸运的是,磁盘驱动器空间跟上了我们公司的增长...我认为我们在两个地方的整体解决方案的成本约为 1000 美元。

答案2

这正是大多数公司将数据备份到磁带(比磁盘成本更低的介质、更快的流式写入速度)然后将磁带物理移出现场的原因。

您可以让 IT 人员将磁带运回家,或者让数据存档公司到您的公司取走磁带,并将其存放在他们的安全设施中。恢复非常简单,只需致电公司将磁带带过来,加载磁带,然后访问您的数据即可。

互联网有很多好处,但传输 TB 级数据却不是其中之一。请参阅 Jeff 的文章带宽经济学其中引用了 Jim Gray 出色的微软研究院白皮书TeraScale SneakerNet(.DOC)

答案3

您正在寻找提供重复数据删除功能的存储系统:http://en.wikipedia.org/wiki/Data_deduplication

这不会免除您以某种方式将数据移出现场的要求,但它肯定有助于降低热/实时备份所需的空间量。

答案4

我们在另一个数据中心有一个副本 SAN,我们可以从中进行快照和备份。

相关内容