我确实有一个 300TB 的 Freenas 服务器来备份几个 Linux 节点。备份适用于每日快照和 rsync 任务。
用户经常在服务器之间移动大数据集（2-5TB）——因此大文件经常在多台服务器上备份多次。
在线重复数据删除太贵了（1.5TB RAM……），那么有没有离线重复数据删除软件呢？
我的意思是，这些文件确实具有相同的名称，并且通常具有相同的访问时间 - fdupes 会以最小的努力将它们识别为相同的......
答案1
尝试 BorgBackup - 但您必须使用它而不是 rsync。
答案2
在这种情况下，您可以轻松使用 zpaq 或 zpaqfranz
http://mattmahoney.net/dc/zpaq.html 或者 https://github.com/fcorbelli/zpaqfranz
后者（我的 fork）具有特定功能，可以“冻结”或“合并” zfs 快照到单个存档中