我一直在考虑数据完整性,我目前备份了大约 2TB 的数据,并且始终保留一年前的数据备份。
我担心的是,如果我们生产文件服务器上的文件损坏了,没有人会注意到,因为有些文件多年都没有被访问过,如果发生损坏,我会备份损坏的文件。
我不确定该如何处理这个问题,有没有办法检测数据损坏?或者唯一的解决方案是存储旧备份,以防某些数据损坏但未被发现?
答案1
根据我的经验,每种文件类型都需要进行自己的检查,以确定某些内容是否确实已损坏。数据本质上只是点和划线,而确定“损坏”完全取决于文件。您需要确定哪些文件类型最重要,然后确定是否有可能创建检查文件类型一致性的自动化。这将是一项艰巨的任务,因为文件类型规范会随着时间的推移而变化,并且您会遇到无法通过编程轻松确定损坏的专有格式。
此外,数据损坏只是问题的一部分。有时文件从人的角度来看可能是错误的,但从数据结构的角度来看是一致的。如果有人错误地编辑了一个文件——从损坏的角度来看,数据是没问题的。
最终,您需要与企业领导层坐下来商讨,确定哪些数据资产对公司最为重要。然后确定需要保留这些数据多长时间以及恢复程度如何。他们是否希望将数据精确恢复到四年前?也许只针对某些文件,而不针对其他文件?
考虑到您只有 2TB 需要备份,使用 LTO4 磁带盒的 GFS 磁带备份方案可以让您使用相对较少的磁带回溯多年前的数据。当然,这完全取决于数据流失。如果您有很多繁忙位,那么您将拥有更多磁带。尽管如此,2TB 仍然是一个相对较小的量,LTO4 甚至商品磁盘存储都无法满足保存几年数据的需求。
保护数字资产并非易事。随身携带 Tums。
答案2
这就是 ZFS 如此出色的原因之一,不再有数据损坏. 通过 CIFS 共享 ZFS 文件系统非常简单。