检测数据损坏,以便我们不会备份损坏的文件

检测数据损坏,以便我们不会备份损坏的文件

我一直在考虑数据完整性,我目前备份了大约 2TB 的数据,并且始终保留一年前的数据备份。

我担心的是,如果我们生产文件服务器上的文件损坏了,没有人会注意到,因为有些文件多年都没有被访问过,如果发生损坏,我会备份损坏的文件。

我不确定该如何处理这个问题,有没有办法检测数据损坏?或者唯一的解决方案是存储旧备份,以防某些数据损坏但未被发现?

答案1

根据我的经验,每种文件类型都需要进行自己的检查,以确定某些内容是否确实已损坏。数据本质上只是点和划线,而确定“损坏”完全取决于文件。您需要确定哪些文件类型最重要,然后确定是否有可能创建检查文件类型一致性的自动化。这将是一项艰巨的任务,因为文件类型规范会随着时间的推移而变化,并且您会遇到无法通过编程轻松确定损坏的专有格式。

此外,数据损坏只是问题的一部分。有时文件从人的角度来看可能是错误的,但从数据结构的角度来看是一致的。如果有人错误地编辑了一个文件——从损坏的角度来看,数据是没问题的。

最终,您需要与企业领导层坐下来商讨,确定哪些数据资产对公司最为重要。然后确定需要保留这些数据多长时间以及恢复程度如何。他们是否希望将数据精确恢复到四年前?也许只针对某些文件,而不针对其他文件?

考虑到您只有 2TB 需要备份,使用 LTO4 磁带盒的 GFS 磁带备份方案可以让您使用相对较少的磁带回溯多年前的数据。当然,这完全取决于数据流失。如果您有很多繁忙位,那么您将拥有更多磁带。尽管如此,2TB 仍然是一个相对较小的量,LTO4 甚至商品磁盘存储都无法满足保存几年数据的需求。

保护数字资产并非易事。随身携带 Tums。

答案2

这就是 ZFS 如此出色的原因之一,不再有数据损坏. 通过 CIFS 共享 ZFS 文件系统非常简单。

相关内容