NAS 重复数据删除最佳实践 - 硬链接如何处理压缩?

NAS 重复数据删除最佳实践 - 硬链接如何处理压缩?

我刚刚加入一家中小企业,成为他们的第一位全职技术人员,公司的备份架构一团糟。除了其他问题(其中有很多),办公室里有多个不同的 NAS 设备,到处都是杂乱无章的备份,其中约三分之一是按数量计算的重复备份。

我想清理它,但又不破坏现有的文件结构。(在拥有所有内容的副本后,我会担心重新创建文件系统。)因此,在设置自动备份之前,我打算浏览不同的 NAS 并:

  1. 将其内容合并到一卷中。
  2. 用硬链接替换尽可能多的重复项。
  3. 将旧备份压缩为存档文件并重新那些向上。

如果我压缩硬链接文件,然后将它们移动到其他设备并提取档案,链接仍应指向正确的文件(与 Windows 快捷方式、Mac 别名或符号链接不同)。我的问题是:我是对的吗?有没有比这更好的合并方法?

此外,如果我在一台服务器上用硬链接替换重复文件,将生成的文件集移动到另一台服务器,然后在新的集体服务器上替换所有重复文件,是否会出现需要我注意的问题?

答案1

用硬链接替换尽可能多的重复项

仅当重复文件永远不会被更改时,您才可以这样做;否则,更改将影响全部硬链接文件。为了避免这种情况,rsync请在覆盖文件之前明确断开硬链接(通过复制和重命名)。

如果我压缩硬链接文件,然后将它们移动到其他设备并提取档案,则链接仍应指向正确的文件

硬链接无法像你上面所说的那样工作。硬链接只不过是单个文件的另一个名称,或者索引节点,一个单一文件系统. 硬链接一个文件,然后将硬链接移动到另一个文件系统,将以复制原始文件。

我强烈建议使用硬链接进行练习将它们用于备份目的,否则你将最终非常意想不到的结果。作为替代方案,您可以尝试rsnapshot,它通过和硬链接进行增量备份rsync

对于透明压缩,我建议使用具有本机压缩功能的文件系统,如zfsbtrfs。但是,再次强调,一定要了解你在做什么实施它来备份生产数据。

相关内容