我正在考虑实施一个非常大的存储服务器，以用作其他几台服务器（全部基于 Linux）的实时 NAS。
我说的非常大，是指4TB 至 20TB 可用空间（尽管我们不太可能真正将其做成 20TB）。
存储服务器将采用 RAID 10 以确保数据安全性和性能，但我们仍然需要包括异地备份在内的备份解决方案。
我的问题是：您如何备份那么多数据！？
我不可能直接连接移动硬盘然后传输文件。我们目前没有其他具有如此大存储空间的设备。
我是否需要预算第二个异地存储服务器，或者有更好的解决方案？
答案1
处理这种规模的数据的方法有很多。很大程度上取决于您的环境以及您愿意花多少钱。一般来说，有几种总体“将数据从服务器中取出”的策略：
- 通过以太网就像盒子上说的那样，数据被传输到其他地方进行处理。通过 1GbE 复制 20TB 需要很长时间，但可以做到。硬件可以提供帮助（例如 10GbE 链路，或在某些情况下 NIC 绑定）。
- 通过存储子系统如果您使用的是光纤通道，请将其发送到 FC 网络上的另一个设备。如果您使用的是 SAS，请将其发送到连接 SAS 的设备。通常比以太网更快。
- 发送至另一个磁盘阵列将其发送到连接到同一台服务器的另一个存储块。
这是 100Km 视图。一旦开始放大，事情就会变得更加碎片化。如前所述，LTO5 是一种专门为此类高密度负载而设计的磁带技术。另一个相同的存储阵列是一个很好的目标，特别是如果你可以使用 GlusterFS 或 DRBD 之类的东西将数据传到那里。此外，如果你需要备份回转或者仅仅是阵列发生故障时继续运行的能力将影响您所实施的操作。
一旦你确定了 100Km 视图方法，进入软件将是下一个大任务。影响这一点的因素包括你首先可以在存储服务器上安装什么（如果是 NetApp，那是一回事，带有大量存储空间的 Linux 服务器完全是另一回事，带有大量存储空间的 Windows 服务器也是如此）、你选择的硬件（例如，并非所有 FOSS 备份包都能很好地处理磁带库）以及你需要哪种备份保留。
您确实需要弄清楚您想要哪种灾难恢复。简单的实时复制比较容易，但不允许您仅从上周恢复。如果从上周恢复的能力对您来说很重要，那么您需要为这种事情进行设计。根据法律（在美国和其他地方），某些数据需要保存 7 年以上。
简单复制是最容易实现的。DRBD 的设计初衷就是实现这一点。完成初始复制后，它只会发送更改。这里的复杂因素是网络局部性，如果您的第二个阵列不在主 DRBD 附近，则可能不可行。您需要第二个存储服务器，其存储空间至少与第一个存储服务器一样大。
关于磁带备份...
LTO5 可以存储 1.5TB 的数据（无压缩）。为这些庞然大物提供数据需要非常快速的网络，即光纤通道或 6Gb SAS。由于您需要备份超过 1.5TB 的数据，因此您需要研究自动加载器（以下是示例：关联，HP 的一款 24 槽 1 驱动器自动加载器）。使用支持它们的软件，它们可以帮您处理备份过程中的磁带更换。它们很棒。您仍然需要将磁带取出并发送到异地，但这比在备份需要时整晚自己加载磁带要好得多。
如果磁带给你'遗产，ew' 哎呀，虚拟磁带库可能更适合您的速度（例如 Quantum 的这个：关联)。这些设备假装是磁带库来备份软件，而实际上使用强大的（您希望）重复数据删除技术将数据存储到磁盘。如果您喜欢这种功能，更高级的设备甚至会将虚拟磁带复制到真实磁带，这对于异地轮换非常方便。
如果您不想使用虚拟磁带，但仍想进行直接磁盘备份，那么您需要一个足够大的存储阵列来处理 20TB 以及您想要保留的净变化数据。不同的备份包对此的处理方式不同。一些重复数据删除技术确实很棒，而其他则是粗糙的临时解决方案。我个人不知道 FOSS 备份软件包在这方面的状况（我听说过 Bacula），但它们可能足够了。许多商业备份包都有安装在要备份的服务器上的本地代理，以提高吞吐量，这有很多优点。
答案2
LTO-5 点唱机？您需要 3 到 15 盘磁带来备份该阵列，这个数字并不算大。点唱机将负责为您更换磁带，而好的备份软件（例如 bacula）将跟踪哪些文件位于哪盘磁带上。
您还需要考虑备份如此大的文件系统所需的时间，因为在此期间 FS 很可能会发生变化。为了获得最佳效果，支持快照的文件系统将非常有用，这样您就可以拍摄即时快照并针对该快照执行完整或增量备份，而不是针对实时文件系统。
答案3
你应该看看备份到磁盘因为磁带需要很长时间，而且是顺序访问，所以恢复将需要很长时间。
绝对要利用微分或者增加的备份 - 仅备份更改的内容，以您认为合理的频率进行。
也许理想的解决方案是另一个位置有第二台类似大小的服务器，其中定期发送增量备份，如果主服务器发生故障，可以快速交换到位。然而，另一种选择是使用可移动驱动器然后将其运往场外进行存储。
当你处理如此多的数据时，拆分备份将其分解为多个较小的备份作业，如果无法每天备份所有作业，则错开备份，以便第一天备份 A 组，第二天备份 B 组。
始终考虑恢复过程。我们曾经被坑过一次，当时我们必须从几百 GB 的备份作业中恢复文件，这需要大量内存和大量时间来重建备份索引和恢复。最后我们无法在一天内完成它，不得不建立一个专用的恢复服务器，以便我们的主要备份服务器继续其夜间工作！
- 添加 -
你还想考虑一下重复数据删除技术，通过不为多个用户多次备份相同信息，可以节省大量空间。许多备份解决方案或文件系统都提供重复数据删除功能。
答案4
我有一个客户，在两栋不同的建筑中有两个类似的 12 TB 系统，连接速度为 1GB。一个是生产系统；它以增量方式（每日快照）备份到另一个，使用大rdiff-备份实用程序。rdiff-backup 必须在您的标准分发存储库中可用。