我使用两个请求（一个 LDAP 和一个 SQL）创建了一个 txt 文件。两个请求的结果存储在同一个txt文件中。
txt 文件如下所示：
[email protected]
[email protected]
[email protected]
[email protected]
[email protected]
因为一个用户可以位于两个数据库中，所以我需要使用 bash 删除重复的条目。
我该怎么做？
答案1
如果您不介意文件最终被排序，请对其进行排序并过滤；任何一个
sort -u file
如果你sort支持的话，或者
sort file | uniq
如果没有，您将在标准输出上获得唯一电子邮件地址的排序列表。
如果您想保留地址的原始顺序，请使用awk：
awk '!(count[$0]++)' file