我目前有 2 个（顶层）目录，其中有很多子目录和文件。这些目录之间有很多重复的文件，但有一个问题，文件和/或目录的名称可能不同。我正在尝试创建一种方法来获取有关两侧均不存在的文件的信息。通常，kdiff3/fslint/etc 等工具会查找重复项。但在这种情况下，我还想查看哪些文件没有出现在两侧。现在我正在创建 1 个包含 2 个表的数据库，文件名（包括完整路径）包括该文件名的 MD5 哈希值。基于此，我可以创建一些查询来显示哪些文件出现在两侧或哪些文件不出现。但这目前非常耗时（我说的是 100,000 多个文件，大小从 500KB 到 1GB 不等）。
有人能提供一些技巧或工具来帮助我解决这个“问题”吗？
答案1
如果我遇到这样的问题，我会尝试简化解决方案并使用控制台工具。我将为每个目录创建文件，其中包含文件路径及其 md5 哈希值，然后使用grep和awk通过比较哈希值来查找重复文件和非重复文件。