如何消除磁带备份和异地存储服务?

如何消除磁带备份和异地存储服务?

请阅读底部的更新。谢谢!;)

环境信息(所有 Windows):

  • 2 个站点
  • 30 台服务器站点 #1(3TB 备份数据)
  • 5 台服务器站点 #2(1TB 备份数据)
  • 连接站点 #1 和站点 #2 的 MPLS 主干隧道

当前备份过程:

在线备份(磁盘到磁盘)

站点 1 有一台运行 Symantec Backup Exec 12.5 的服务器,配有四个 1TB USB 2.0 磁盘。站点 1 中的所有服务器每晚都会将完整备份运行到这些磁盘上。站点 2 使用我们购买时已有的软件将数据备份到那里的中央文件服务器。BE 作业每晚将这些数据拉到站点 1 并存储在上述磁盘上。

异地备份(磁带)

连接到我们备份服务器的是磁带驱动器。BE 每周将外部磁盘备份到磁带一次,然后由我们的异地存储公司取走。显然,我们轮换使用两个磁带库,一个始终在这里,一个始终在那里。

要求:

  • 通过在每个站点执行磁盘到磁盘并将站点 1 复制到站点 2 以及反之亦然,消除了对磁带和异地存储服务的需求。
  • 基于软件的解决方案,因为硬件选项太贵了(例如,SonicWall、Arkeia)。
  • Exchange、SharePoint 和 SQL 的代理。

目前的一些想法:

贮存

每个站点都配备 DroboPro,初始存储容量为 8TB(目前可扩展至 16TB)。我喜欢这些,因为它们是机架式的,允许使用不同的驱动器,并且具有 iSCSI 接口。它们也相对便宜。

软件

Symantec Backup Exec 12.5 已经拥有我们需要的所有代理和许可证。除非有更好的解决方案,价格相似,并且能够完成 BE 的所有功能以及重复数据删除和复制,否则我会继续使用它。

服务器

因为不再需要 SCSI 适配器(用于磁带驱动器),我们将虚拟化我们的备份服务器,因为它目前是保存 SQL 盒的唯一物理机器。

问题:

  • 在站点间复制时,我们希望传输的数据量尽可能小。到目前为止,我在这里介绍的内容中没有重复数据删除或压缩。
  • 正在复制的文件是来自我们磁盘到磁盘备份的 BE 虚拟磁带库。因此,这些巨大的文件每天都会发生变化,因此它们每周都会通过网络传输。

最后的问题是:

有没有软件可以进行重复数据删除,或者至少进行压缩,以处理我们的站点到站点复制?或者,看看我们的设置,有没有我遗漏的可能更便宜、更快、更好的解决方案?

谢谢。抱歉这么久才回来。

更新2:

我已经为这个问题设置了悬赏,以引起更多关注。我正在寻找能够使用尽可能少的数据(压缩、重复数据删除或其他方法)处理两个站点之间数据复制的软件。类似于 rsync 的东西也可以工作,但它需要是 Windows 原生的,而不是需要花些心思才能启动和运行的移植版。更喜欢基于 GUI 的产品,如果它能工作,我不介意花点钱。

请仅提供符合上述标准的答案。如果您认为不存在答案,或者您认为我过于严格,请保留它。如果七天后仍未得到任何答案,那就这样吧。再次感谢大家。

更新2:

我非常感谢大家提出建议。在悬赏到期之前,我不可能尝试所有这些。现在我要让这个悬赏用完,投票最多的人将获得 100 个声望点。再次感谢!

答案1

Windows Server 2003 R2 及更高版本支持 DFSR,我广泛使用它在三个站点之间相当小的管道上同步和备份大量数据(通过 T1<-->T1<-->T1 拓扑同步和备份 80GB+ 数据)。

msdn.microsoft.com/en-us/library/bb540025(VS.85).aspx

将数据复制到多台服务器可提高数据可用性,并使远程站点的用户能够快速、可靠地访问文件。DFSR 使用一种称为远程差分压缩 (RDC) 的新压缩算法。RDC 是一种“通过线路进行差分”协议,可用于通过带宽有限的网络高效地更新文件。RDC 可检测文件中数据的插入、删除和重新排列,使 DFSR 能够在文件更新时仅复制增量(更改)。

DFSR 完全是多主控,可以按照您的需要进行配置。这样,您的数据将在“备份”位置保持同步,占用的带宽和 CPU 非常少。从这里,您可以使用卷影复制服务。

technet.microsoft.com/en-us/library/cc785914.aspx

卷影复制服务可以通过与业务应用程序、文件系统服务、备份应用程序、快速恢复解决方案和存储硬件协调来生成一致的卷影副本。Windows Server 2003 操作系统中的多项功能都使用卷影复制服务,包括共享文件夹和备份的卷影副本。

卷影副本驻留在磁盘上,除了快照之间更改的文件外,不占用任何空间。此过程可以在实时数据集上运行,不会产生任何不良影响,除了在创建快照时略微增加磁盘 I/O。

我使用这个解决方案已经有一段时间了,取得了巨大的成功。文件更改在几秒钟内写入其他站点(即使通过低带宽链接),即使非常大的文件中只有几个字节发生更改。快照可以独立于任何时间点拍摄的任何其他快照进行访问,这既可以在紧急情况下提供备份,又能减少开销。我将快照设置为每隔 5 小时触发一次,此外,工作日开始前一次、午餐时间一次、一天结束后一次。

通过这种方式,您可以在两个位置并行存储所有数据,并根据需要保持相对最新并进行“备份”(实际上相当于版本化)。

可以在客户端计算机上安装卷影复制客户端,以使其也能访问版本控制的文件。

www.microsoft.com/downloads/details.aspx?FamilyId=E382358F-33C3-4DE7-ACD8-A33AC92D295E&displaylang=en

如果用户意外删除了文件,他们可以右键单击文件夹,属性,卷影副本,选择最新的快照,然后将其从快照复制到实时副本中,即可将其放置在正确的位置。

MSSQL 备份可以写入特定文件夹(或网络共享),然后该文件夹将根据您定义的时间表在站点之间自动同步并进行版本控制。

我发现,这些数据冗余和版本控制可以充当一个很棒的备份系统。它还为您提供了将特定快照复制到异地而不干扰工作流程的选项,因为它读取的文件未被使用...

这应该适用于您的设置,因为第二个备份站点可以配置为只读同步/镜像。

答案2

Windows 不是我的专业领域,但 rsync 可能有助于将备份从一个站点传输到另一个站点。Rsync 的工作原理是将文件分解为较小的块,然后仅通过网络传输已更改的块。它还可以在发送数据时对其进行压缩。

有一些适用于 Windows 的版本,但我从未使用过它们,所以我无法评论它们的效果如何。使用 cygwin,您可以在 Windows 上使用 rsync,但这可能会让事情变得有点混乱。但理想情况下,您应该找到一个适用于 Windows 的 rsync 客户端,它将允许您使用计划任务来自动执行它。

答案3

编辑:

我们正在使用 Software Pursuits 的“SureSync”(参见http://www.softwarepursuits.com/SureSync/SureSync.asp) 在客户远程站点的生产服务器和备用服务器之间复制数据,取得了巨大成功。它是一个本机 Windows 应用程序,作为发布者和订阅者计算机上的服务运行,复制增量,保持安全性,遵循 NTFS 更改日志,并且总体上满足了我们的需求。

(我们的特定客户也正在这样做,但仍然有传统的异地磁带备份轮换。我认为您仍然需要离线备份,如果我不保留我答案的这一部分,我就无法凭良心回答您的问题,但我可以告诉您 SureSync 非常棒。阅读产品的一些更新日志 - 我很清楚制造商非常非常注重细节。)


一个观察:如果你消除了磁带,你就消除了离线存储。异地存储是一回事,离线存储又是另一回事。当远程攻击者破坏你的生产系统时,在磁带和磁带驱动器之间留出空隙来阻止他们破坏备份是非常非常好的。

您需要异地存储备份,并且也需要离线备份。

如果没有磁带之类的东西,让独立的第三方进行测试恢复和数据验证也非常困难。也许在您的行业中这不是问题,但我曾为金融机构工作过,他们通过磁带将数据发送到场外的第三方,以独立验证其数据的完整性,既从“可恢复性”的角度,也从“让我们看看您的总数是否与我们仅使用您的数据作为输入在您的应用程序的受信任安装上计算出的总数相符”的角度。

答案4

BackupExec 让这一切变得不那么简单。理想情况下,你应该可以选择将备份“复制”到某个地方,但我不确定 BE 是否有这个功能

如果我在此环境中使用 HP Data Protector,我会构建以下内容。它确实有作业的“副本”。它还有一个重复数据删除选项,但我对包含超过 500K 个文件的文件系统非常谨慎。

  • 两个位置均有磁盘阵列您需要它来进行 DR 复制
  • 在两个位置继续备份
  • 用一个复印工作周一将周末的工作复制到远程站点每周一次,将完整备份从磁带复制到远程数据中心的磁盘阵列。DP 数据库将跟踪这两项备份作业。
  • 适当设置 B2D 作业的到期时间确定远程位置需要多少个远程副本,并在复制作业中正确设置数据保留期。这可以是与磁带轮换保留不同的间隔。

我相信您可以将磁盘备份设置为使用压缩,但这会真正降低您的备份速度,因为这将在软件中完成。

DataProtector 重复数据删除功能仅适用于 Windows 和 Linux 上的文件服务器。它不会对 Exchange/MS-SQL/Sharepoint 进行重复数据删除。

相关内容