☰

如何备份20+TB的数据？

tag-icon • tag-icon backup
如何备份20+TB的数据？

我所在的公司有一台 NAS 服务器，用于存储摄影会话。每次会话大约 100GB。在过去的几年里，这台服务器积累了 10+ TB 的数据，而且我们的摄影数量正在成倍增加。我估计到明年年底，我们将在 NAS 上存储 20+ TB 的数据。我们目前正在使用 Symantec BackupExec 的 LTO-5 磁带将此服务器备份到磁带上。由于此服务器的大小已经增长，因此无法在一夜之间完成此服务器的完整备份。有人对如何备份这么多数据有什么建议吗？我们应该将其备份到磁带上吗？还有其他更好的选择吗？

答案1

您需要退一步思考，不要再想“我的 NAS 上有 20TB 的数据需要备份！”，而是制定一个考虑到您数据性质的存储策略：

  • 它来自哪里，你获得了多少新数据？（你的问题中已经提到了这一点）
  • 获得数据后，这些数据会如何使用？有人会编辑图片吗？你们会保留原始图片并生成编辑版本吗？
  • 您需要保留所有数据多长时间？人们还会对 2 年前的照片进行修改吗？

根据最后两个问题的答案，你可能需要更多归档系统而不是完全不同的备份系统。

静态数据（例如，您保留的 2 年前的照片，以防万一）不需要每晚或每周备份，而是需要归档。您实际要做的可能更复杂，但从概念上讲，所有旧照片都可以写入磁带（多份副本！），不再备份。

根据您的评论，还有一些其他想法：

  • 由于您保留每次拍摄的原始照片不变并制作副本，并且假设至少有一些原始照片是无效的，您可能能够将需要备份的数据量减少一半。

  • 如果您仍然无法在规定的时间内完成完整备份，那么加快速度的常用方法是先进行磁盘到磁盘备份，然后将备份集复制到磁带上。

答案2

您有两个选择：

选项1：

  1. 购买另一台 NAS
  2. 授予您的用户 RO 对 new_NAS 的访问权限
  3. 将超过 2 年的所有文件移至 new_NAS
  4. 继续照常备份 old_NAS
  5. 每 6 个月将超过 2 年的文件移动到新 NAS

选项 2：

  1. 购买另一台 NAS

  2. rsync每小时运行一次：old_NAS -> new_NAS

    或者，最好使用类似rdiff-备份执行 rsync + 保留文件更改的增量（您可以恢复文件的旧版本）

    rdiff-backup  user1@old_NAS::/source-dir    user2@new_NAS::/dest-dir

  3. 每 6 个月清理一次旧文件，运行以下命令：

    rdiff-backup --remove-older-than 2Y    old_NAS::/dest-dir

答案3

为什么备份必须在夜间完成？文件服务器性能？您可以限制备份软件的带宽，以限制白天的影响。或者在 NAS 上专门设置一个接口与磁带驱动器通信，以限制对其他流量的影响。

你能在周末运行完整转储，而在周中只做增量转储吗？如果问题在于周末无人时更换磁带，那么便宜的磁带库/自动更换器的成本要比花钱请人更换磁带低得多。

您能否将数据分成多个足够小的组以便在备份窗口内完成？

我们的 NAS 上有大约 50TB 的数据，使用 2 个磁带驱动器需要一周多的时间才能完全转储所有数据（一个卷本身需要近一周的时间，因为它包含许多小文件）。我们所做的是将数据复制到第二个 NAS。我们的辅助 NAS 位于现场（但与主 NAS 位于不同的数据中心），因此我们仍然将数据备份到磁带上以进行异地备份。我们从该辅助 NAS 运行备份，因此备份不会减慢任何人的速度。

如果您可以将辅助 NAS 放置在足够远的地方，那么它可以作为您的备份，无需磁带。

答案4

full backups of this server are not completing overnight
然后尝试增量备份？每 xx 天进行一次完整备份，其余部分进行增量备份。

硬盘价格低廉，比磁带更快，并且可用于备份。

此外，现在云备份也有很好的替代方案，因此不需要继续添加更多更快的磁带。
例如：

相关内容