☰

如何从文件中删除重复的条目？

tag-icon • tag-icon sort
如何从文件中删除重复的条目？

我的文件中有一个以逗号分隔的域名列表；不幸的是，某些域名有重复的条目。

有没有办法找到并删除文件中的重复条目？

示例输出如下：-

culturaurbanashop.com,remaxcorn.info,enjoygoing.com,full-kit-wankers.co.uk,paracaballo.com,radiopozarica.com,sprinklermaps.com,unlock-any-phone.com,voipbillingplus.com,yedincicadde.net,klasseaparte.com,allfortheweb.com,indulgesolutions.com,fastextcafe.info,titi.sickworldhosting.com,kebeico.com,facemowi.it,mellat.info,sal-gov.info,hindustan4848.com,nawaopls.co.za,familie-ries.de

答案1

尝试：

tr ',' '\n' < infile | sort -u | paste -sd, -

答案2

如果您的意思是应该从逗号分隔的单词列表中删除重复项（其中单词是非空白序列），那么可能是这样的：

$ echo 2,1,1,2,c,1 a,a,a,b,c | perl -M'List::MoreUtils uniq' -lpe '
    s/[\S,]+,[\S,]+/join ",", uniq(split",",$&)/ge'
2,1,c a,b,c

相关内容