如何根据多列删除重复值

如何根据多列删除重复值

我有一个文件 tmp.log ,其中包含以下字段

description ID  valueA valueB valueC
xxx         x    1       1     1
yyy         y    3       100    23
zzz         z    0       0      0
aaa         a    4       4      4

我想删除所有“值”列中具有相同值的数据点

description ID  valueA valueB valueC
yyy         y    3       100    23

我在用

cat tmp.log | tail -n+2 | awk '!a[$3$4$5]++'

但它仍然打印冗余值,为什么这是错误的以及如何更正?

答案1

删除第 3、4、5 列相同的行:

awk '!($3==$4&&$4==$5)' data_file

删除与其他行具有相同 3,4,5 列的行:

awk '!seen[$3,$4,$5]++' data_file

更新 n 列

删除第 3, 4, ...n 列相同的行:

awk 'v=0;{for(i=4;i<=NF;i++) {if($i!=$3) {v=1; break;}}} v' data_file
  • v=0将每条记录的 v 重置为 0
  • for(i=4;i<=NF;i++) {if($i!=$3) {v=1; break;}}从第四列循环到最后一列,将 v 设置为 1,如果与第三列不同则中断
  • v如果 v 不为 0,则打印。

删除与其他行具有相同 3,4,...n 列的行:

awk '(l=$0) && ($1=$2=""); !seen[$0]++ {print l}' data_file
  • (l=$0) && ($1=$2="")备份原始行,清空第一列和第二列,重建$0。该表达式的计算结果始终为 false,因此不会打印任何内容。请注意,&&优先于=,这就是您需要()它们的原因;
  • !seen[$0]++ {print l}通常的seen技巧,如果以前没有见过,则打印原始行。

答案2

命令:awk '$3!=$4 && $4!=$5&& $5 !=$3 {print $0}' filename

输出

awk '$3!=$4 && $4!=$5&& $5 !=$3 {print $0}' filename
description ID  valueA valueB valueC
yyy         y    3       100    23

相关内容