删除文件中未按顺序出现的重复行

Question

该uniq工具不太适合，因为它只对紧随前一行之后出现的重复行（即按顺序）起作用。

相反，我想要一些可以转换文本文件的东西dupl.txt。另外，我不需要保留顺序。

aaa
bbb
aaa

进入

aaa
bbb

或者

bbb
aaa

Answer 1

如果您sort在使用之前输出uniq，它将按预期工作。

例如，我经常使用下面的命令：

cat access.log | grep "\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}" | sort | uniq -c | sort -n

Answer 2

您sort只能使用：

sort -u dupl.txt > uniq.txt

-uswitch 的效果与以下相同：

sort dupl.txt | uniq > uniq.txt