我有一系列包含重复信息的备份（手动制作），是否有任何程序/脚本/命令可以遍历目录结构，通过 MD5 哈希识别重复文件，然后删除其中一个文件？
Windows 或 Linux 解决方案均可行。
答案1
我个人使用查找为此。如链接页面所述，还有许多其他工具可用于此目的，我已经尝试了其中的大多数，但 rdfind 进行了优化，首先扫描每个文件的第一个和最后一个字节，并且仅在它们相同时才计算 MD5 和，这使得在我的备份中这种方法比我尝试过的任何其他方法都快。
对于您请求的用途，您将需要运行
rdfind --deleteduplicates backup_a backup_b
不过我建议你使用 -makehardlinks 选项来运行它。这将用硬链接替换重复文件（假设你将数据存储在健全的文件系统上），这样每个备份看起来都会和现在一样，但重复数据只存储一次。