如何删除目录和子目录中的重复文件？

Question

是否有任何快速方法可以根据任何哈希和（即 SHA1 更快）删除文件的重复项。因为我的音乐文件有些混乱。

Answer 1

Linux 中有 fdupes 软件包（例如，它存在于 debian 存储库中）。它使用 md5sums，然后逐字节比较来查找一组目录中的重复文件。它还可以使用 -d 选项删除重复项，但我从未使用过该选项。您还可以从输出文件中使用 grep 或 sed 将其删除并从磁盘中删除。

Answer 2

你会找到这unix/linux text utils pipeline 非常有用。该命令首先比较文件的大小，如果大小相同则仅比较哈希值。

或者

您可以使用复制品实用程序 ro 识别重复文件。

两种解决方案都使用 md5 哈希

Answer 3

liten2 http://code.google.com/p/liten2/也适用于 mac osx！
是一个 python 脚本，具有很多非常有用的功能，例如试运行、交互式删除等等......
而且速度非常快。