我有一个文本文件,其中有很多行和两列,但我想根据列的重复项删除整行,但不在另一列中重复。我的数据有以下示例
ASV000001 76.697
ASV000002 75.667
ASV000003 81.044
ASV000003 85.976
ASV000004 81.218
ASV000004 81.596
ASV000005 79.612
ASV000006 81.726
ASV000006 81.983
ASV000007 99.385
例如,从上面的数据中,我想删除重复的第二行
ASV000003 81.044
ASV000003 85.976
请给出在linux平台上进行的可能性。提前致谢。
答案1
和awk,使用最惯用的技巧之一awk
:
$ awk '!seen[$1]++' file
ASV000001 76.697
ASV000002 75.667
ASV000003 81.044
ASV000004 81.218
ASV000005 79.612
ASV000006 81.726
ASV000007 99.385