![删除文本文件中的重复条目](https://linux22.com/image/66718/%E5%88%A0%E9%99%A4%E6%96%87%E6%9C%AC%E6%96%87%E4%BB%B6%E4%B8%AD%E7%9A%84%E9%87%8D%E5%A4%8D%E6%9D%A1%E7%9B%AE.png)
我使用两个请求(一个 LDAP 和一个 SQL)创建了一个 txt 文件。两个请求的结果存储在同一个txt文件中。
txt 文件如下所示:
[email protected]
[email protected]
[email protected]
[email protected]
[email protected]
因为一个用户可以位于两个数据库中,所以我需要使用 bash 删除重复的条目。
我该怎么做?
答案1
如果您不介意文件最终被排序,请对其进行排序并过滤;任何一个
sort -u file
如果你sort
支持的话,或者
sort file | uniq
如果没有,您将在标准输出上获得唯一电子邮件地址的排序列表。
如果您想保留地址的原始顺序,请使用awk
:
awk '!(count[$0]++)' file