我有一个文件 tmp.log ,其中包含以下字段
description ID valueA valueB valueC
xxx x 1 1 1
yyy y 3 100 23
zzz z 0 0 0
aaa a 4 4 4
我想删除所有“值”列中具有相同值的数据点
description ID valueA valueB valueC
yyy y 3 100 23
我在用
cat tmp.log | tail -n+2 | awk '!a[$3$4$5]++'
但它仍然打印冗余值,为什么这是错误的以及如何更正?
答案1
删除第 3、4、5 列相同的行:
awk '!($3==$4&&$4==$5)' data_file
删除与其他行具有相同 3,4,5 列的行:
awk '!seen[$3,$4,$5]++' data_file
更新 n 列
删除第 3, 4, ...n 列相同的行:
awk 'v=0;{for(i=4;i<=NF;i++) {if($i!=$3) {v=1; break;}}} v' data_file
v=0
将每条记录的 v 重置为 0for(i=4;i<=NF;i++) {if($i!=$3) {v=1; break;}}
从第四列循环到最后一列,将 v 设置为 1,如果与第三列不同则中断v
如果 v 不为 0,则打印。
删除与其他行具有相同 3,4,...n 列的行:
awk '(l=$0) && ($1=$2=""); !seen[$0]++ {print l}' data_file
(l=$0) && ($1=$2="")
备份原始行,清空第一列和第二列,重建$0
。该表达式的计算结果始终为 false,因此不会打印任何内容。请注意,&&
优先于=
,这就是您需要()
它们的原因;!seen[$0]++ {print l}
通常的seen
技巧,如果以前没有见过,则打印原始行。
答案2
命令:awk '$3!=$4 && $4!=$5&& $5 !=$3 {print $0}' filename
输出
awk '$3!=$4 && $4!=$5&& $5 !=$3 {print $0}' filename
description ID valueA valueB valueC
yyy y 3 100 23