我正在寻找从以下格式的文件中获取的命令:
hello 32
hello 67
hi 2
ho 1212
ho 1390
ho 3000
采用这种格式(通过获取“组”的最后一行来消除重复):
hello 67
hi 2
ho 3000
目前我正在使用 Python 和 pandas 片段:
df = pd.read_csv(self.input().path, sep='\t', names=('id', 'val'))
# how to replace this logic with shell commands?
surface = df.drop_duplicates(cols=('id'), take_last=True)
with self.output().open('w') as output:
surface.to_csv(output, sep='\t', cols=('id', 'val'))
更新:感谢您的精彩回答。以下是一些基准:
输入文件大小为 246M,包含 8583313 行。顺序并不重要。第一列的固定大小为 9 个字符。
输入文件示例:
000000027 20131017023259.0 00
000000027 20131017023259.0 11
000000035 20130827104320.0 01
000000035 20130827104320.0 04
000000043 20120127083412.0 01
...
time space complexity
tac .. | sort -k1,1 -u 27.43682s O(log(n))
Python/Pandas 11.76063s O(n)
awk '{c[$1]=$0;} END{for(... 11.72060s O(n)
由于第一列有固定长度,uniq -w
也可以使用:
tac {input} | uniq -w 9 3.25484s O(1)
答案1
这看起来很疯狂,希望有更好的方法,但是:
tac foo | sort -k 1,1 -u
tac
用于反转文件,因此您得到的是最后一个而不是第一个。
-k 1,1
说仅使用第一个字段进行比较。
-u
使其独一无二。
答案2
如果您不介意输出顺序,这里有一个awk
解决方案:
$ awk '
{a[$1] = !a[$1] ? $2 : a[$1] < $2 ? $2 : a[$1]}
END {
for (i in a) { print i,a[i] }
}
' file
hi 2
hello 67
ho 3000
答案3
更多选项:
perl
,如果您不关心行的顺序。perl -lane '$k{$F[0]}=$F[1]; END{print "$_ $k{$_}" for keys(%k)}' file
一个更简单的
awk
awk '{c[$1]=$0;} END{for(i in c){print c[i]}}' file
一个愚蠢的贝壳
while read a b; do grep -w ^"$a" file | tail -n1 ; done < file | uniq