处理文本文件中的重复哈希数据 - 保留唯一行并删除重复项

Question

感谢这个论坛，我能够处理包含文件名和哈希值的大型文本文件，并最终得到具有相同哈希值的文件列表，如下所示：

file_35.txt 8208ad321576b521b23b07b9ba598e5c43b03ec4172c96fdbd35a858ec205ae6
file_87.txt 8208ad321576b521b23b07b9ba598e5c43b03ec4172c96fdbd35a858ec205ae6
file_32.txt aaf6b8c4a95d0e8f191784943ba1ea5c0b4d4baab733efe8ceb8b35478b6afd2
file_58.txt aaf6b8c4a95d0e8f191784943ba1ea5c0b4d4baab733efe8ceb8b35478b6afd2
file_89.txt aaf6b8c4a95d0e8f191784943ba1ea5c0b4d4baab733efe8ceb8b35478b6afd2

我想删除包含重复哈希值的行，以便最终得到一个包含唯一哈希值的文本文件，如下所示：

file_35.txt 8208ad321576b521b23b07b9ba598e5c43b03ec4172c96fdbd35a858ec205ae6
file_32.txt aaf6b8c4a95d0e8f191784943ba1ea5c0b4d4baab733efe8ceb8b35478b6afd2

完成此操作后，我将能够创建脚本来移动和删除我想要保存和删除的文件。

Answer 1

如果您的文件已经排序，如何：

uniq --skip-field=1 file

否则，您可以先对文件进行排序，然后使用uniq：

sort -k2 file | uniq --skip-field=1

输出：

file_35.txt 8208ad321576b521b23b07b9ba598e5c43b03ec4172c96fdbd35a858ec205ae6
file_32.txt aaf6b8c4a95d0e8f191784943ba1ea5c0b4d4baab733efe8ceb8b35478b6afd2