我目前有大约 12TB 的数据需要进行完整的磁盘到磁带 (LTO3) 备份。不用说,现在需要超过 16 盘磁带,所以我正在寻找其他解决方案。以下是我想到的方案。我想听听社区的想法。
- 磁盘到磁盘服务器
- BackupExec 2010 使用重复数据删除技术
- 价值 20+TB 的 SATA 硬盘
- 通过 SAS 连接的 LTO5 磁带库
- 1Gbps NIC 连接到网络
我设想对整个网络进行完整备份,这在 1Gbps NIC 上最初需要很长时间,但一旦重复数据删除启动,备份应该会很快。然后我将使用 LTO5 进行磁盘到磁带备份并相应地存档。
大家觉得如何?有没有更快的方法可以通过 1Gbps NIC 进行初始完整备份?我的痛点是什么?有没有更好的方法来实现我想要实现的目标?
答案1
我目前正在对我的数据系统进行夜间备份,主要使用rsync
一些rsnapshot
“用户可见”的卷。
最大卷容量为 16TB,目前已使用 9.5TB。它首先rsync
对单独的磁盘阵列进行简单的操作。这通常需要 30-45 分钟。
然后,它通过 100Mbit 无线链路将数据第二次复制到异地服务器(虽然在出现一些数据包丢失后,我们通常只能获得 50-60mbit 的有效数据)。这每晚大约需要 3 个小时。
所以,是的;我认为对大容量数据进行磁盘到磁盘备份并不是一件难事。你甚至不需要一些花哨的流行软件,简单的工具就足够了。
答案2
这里主要关注的是您是否希望进行备份,还是仅维护活动副本。每晚更新 16 TB 的单个活动副本肯定是可行的磁盘到磁盘操作,而且几乎肯定比磁带库便宜;也就是说,请考虑您的最后手段恢复选项现在存储在物理共置的旋转磁盘上,该磁盘容易受到驱动器故障、断电损坏等所有常见问题的影响 - 因此请设计具有适当冗余级别的磁盘系统。
对于大约 350TB 的数据,我们一直采用的方式是简单地同步到性能相对较高的前端磁盘,然后通过机器人库迁移到磁带进行异地存储。这让我们能够快速备份和恢复最近的(活动)数据,同时确保在发生灾难时提供可靠的磁带异地存储。
不要被关于备份中重复数据删除的激进销售宣传所欺骗——您最终只需支付 CPU 周期来处理重复数据删除,而不是支付磁盘费用,您的恢复时间可能会受到影响,因为您现在被绑定到重复数据删除系统,它会告诉您块在何处,然后您才能恢复它们,并且(我个人的噩梦)如果重复数据删除系统遇到数据丢失错误情况,您的最后手段备份就会受到阻碍。
当然,这些只是我个人的观点;我希望它们对您设计备份解决方案有所帮助。祝你好运!
答案3
如果您使用的文件系统带有程序dump
,例如 ext[234],那么您可以获得一个 eSATA 基座和一堆便宜的 1TB SATA 磁盘。对于初始的零级转储,您将需要十几个驱动器,然后可以将它们扔进防火保险箱或保管箱中,然后轮流使用另外 5 或 6 个驱动器进行每日汉诺塔模式备份。使用此方法,您通常会在日常驱动器上拥有 2 或 3 个经常更改的文件副本,以防您需要检索已被删除或覆盖的文件,如果您必须进行完整恢复,您可以获取十几个 0 级驱动器,然后恢复 1 到 5 个日常驱动器,具体取决于系统崩溃的日期。
有关汉诺塔备份模式的更多信息,请参阅http://en.wikipedia.org/wiki/Backup_rotation_scheme。