备份解决方案用于备份 Linux 服务器上的 TB 级和大量静态文件?

备份解决方案用于备份 Linux 服务器上的 TB 级和大量静态文件?

您将使用哪种备份工具或解决方案来备份生产 Linux 服务器上的 TB 级和大量文件?
请注意,这些文件都是不同的,几乎从未修改过,并且用途主要是添加文件,因此数据量目前为 3TB,并且一直以每天 +15GB 左右的速度增长。

请不要回复 rsync。基本的 unix 工具是不够的,rsync 不保留历史记录,rdiff-backup 有时会失败并破坏历史记录。此外,这些都是基于文件的备份,仅浏览目录和查询 stat() 就需要大量的 IOwait。但我想,除了 R1Soft CDP,没有其他办法可以解决这个问题。

我们尝试了 R1Soft CDP 备份,这是一种块级备份,事实证明它对我们所有其他服务器都很好用、很高效,但在拥有 3 TB 和海量文件的服务器上却系统性地失败了。这已经是 R1Soft 和数据中心的工程师们玩了两个多月的激烈游戏了……除了常规的 rsync 之外,仍然没有备份

我们从未尝试过大型商业解决方案,除了 R1Soft CDP,因为它是由托管我们服务器的数据中心作为可选服务提供的。

答案1

我认为你唯一的解决方案是块级备份
你可以编写使用 LVM 快照(甚至更低级别)的脚本dm-快照) 并传输到存储服务器

你也可以看看Zumastor 项目和他们的ddsnap公用事业

附言:Solaris / FreeBSD 服务器具有 ZFS,可以通过使用以下命令自动执行此过程增量快照 + ZFS 发送/接收

答案2

我尝试了很多备份解决方案,从 rsync 和 rdiff-backup 开始。还有纯 tar-ing 和 bash 脚本。但是巴库拉胜过一切。它基于模块化设计,我的备份网络中有大约 8 台 PC,并且数量还在不断增加。

对于我推荐过 bacula 的任何人,他们都非常高兴终于找到了自己的家。

答案3

你没有说出你想要支持什么; 磁带还是光盘?假设是前者,那么我赞同对 bacula 的建议。我在几个不同的站点使用它,其中一个站点我让它驱动一个 60 槽双驱动器 LTO2 机器人,总共可能有 50TB 的磁带存储分布在 120 盘磁带上,最大的单个服务器有大约 4TB 的光盘。如果配置正确,Bacula 非常非常好用。

我无法对磁盘备份做出有用的评论,因为我本人就是一个坚定的老式磁带用户。既然你特别提到保留历史记录,我希望你对可移动媒体(即磁带)备份持开放态度。

答案4

EMC Networker 有一个名为 SnapImage 的选项,可以提高您这类数据的备份速度。

我只是听说过,但我从未尝试过,抱歉......

相关内容