有没有办法通过哈希值搜索文件？

Question 1

Linux 示例：

hash='74e7432df4a66f246b5214d60b190b67e2f6ce52'
find . -type f -exec sh -c '
   sha1sum "$2" | cut -f 1 -d " " | sed "s|^\\\\||" | grep -Eqi "$1"
' find-sh "$hash" {} \; -print

这段代码比你想象的要复杂，因为：

它旨在正确处理带有空格、换行符、反斜杠、引号、特殊字符等的文件名（更改-print为-print0以进一步解析它们）；
它旨在接受哈希作为正则表达式（与grep -Eie兼容egrep），
例如'^00|00$'，如果文件哈希以开头或结尾，则会匹配00；一个更实际的例子是一次通过多个哈希进行搜索：（'74…|a9…|…|…|…'为简洁起见使用省略号，请使用完整哈希）。

您可以使用*sum具有兼容界面的其他工具（例如md5sum）。

Answer

Linux 示例：

hash='74e7432df4a66f246b5214d60b190b67e2f6ce52'
find . -type f -exec sh -c '
   sha1sum "$2" | cut -f 1 -d " " | sed "s|^\\\\||" | grep -Eqi "$1"
' find-sh "$hash" {} \; -print

这段代码比你想象的要复杂，因为：

它旨在正确处理带有空格、换行符、反斜杠、引号、特殊字符等的文件名（更改-print为-print0以进一步解析它们）；
它旨在接受哈希作为正则表达式（与grep -Eie兼容egrep），
例如'^00|00$'，如果文件哈希以开头或结尾，则会匹配00；一个更实际的例子是一次通过多个哈希进行搜索：（'74…|a9…|…|…|…'为简洁起见使用省略号，请使用完整哈希）。

您可以使用*sum具有兼容界面的其他工具（例如md5sum）。

Question 2

如果您有 PowerShell v.4.0 或更高版本，则可以使用以下命令：

Get-ChildItem _search_location_ -Recurse | Get-FileHash | 
Where-Object hash -eq (Get-FileHash _search_file_).hash | Select path

_search_location_您要在其中搜索重复项的文件夹或磁盘在哪里，以及_search_file_某个地方有重复项的文件在哪里。您可以将此命令放在循环中以搜索多个文件，或者| Remove-Item在行末添加以自动删除重复项。

还要注意，此命令仅适用于小型搜索文件夹 - 如果搜索位置有数千个文件（如整个硬盘），则将花费大量时间。

Answer

如果您有 PowerShell v.4.0 或更高版本，则可以使用以下命令：

Get-ChildItem _search_location_ -Recurse | Get-FileHash | 
Where-Object hash -eq (Get-FileHash _search_file_).hash | Select path

_search_location_您要在其中搜索重复项的文件夹或磁盘在哪里，以及_search_file_某个地方有重复项的文件在哪里。您可以将此命令放在循环中以搜索多个文件，或者| Remove-Item在行末添加以自动删除重复项。

还要注意，此命令仅适用于小型搜索文件夹 - 如果搜索位置有数千个文件（如整个硬盘），则将花费大量时间。

Question 3

这是一个有趣的问题。我一直在使用一个名为 fdupes 的工具来完成类似的事情。Fdupes 将递归搜索目录并将每个文件与其他文件进行比较。首先，它会比较大小，如果大小相同，则它会创建文件的哈希值并进行比较，如果哈希值相同，则实际上逐字节地浏览每个文件并进行比较。

当它找到所有真正相同的文件时，您可以让它做几件事。我让它删除重复文件并在其位置创建一个硬链接（从而节省我的硬盘空间），尽管您可以让它只输出重复文件的位置而不对它们执行任何操作。这是您询问的场景。

fdupes 的一些缺点是，据我所知，它只适用于 Linux，而且由于它会将每个文件与其他文件进行比较，因此需要相当多的 I/O 和时间来运行。它不是“搜索”某个文件，而是列出所有具有相同哈希值的文件。

我强烈推荐它，并且我将它设置为每天在 cron 作业中运行，这样我的数据就不会出现任何不必要的重复（当然，它不包括我的备份）。

Fdupes 源页面

Answer