如何使用linux cmd基于列仅获取uniq行？

Question 1

这是一种“非缓冲” ⁽¹⁾两遍方法awk（仅适用于常规文件）。

awk -F',' 'NR==FNR{cnt[$1]++;next} FNR>1&&cnt[$1]==1' input.csv input.csv

这将处理该文件两次，因此在命令行上将其作为参数声明两次。

该参数-F','将字段分隔符设置为,。
在第一遍中，当NR全局行计数器等于FNR每个文件行计数器时，我们记录在数组中遇到第 1 列中的每个值的频率cnt（将该值作为“数组索引”），但立即跳到下一行处理。
在第二遍中，我们检查第一列当前值的出现计数器是否恰好为 1，并且文件中的行号是否大于 1（以跳过标题）。仅当这是 true 时才会打印当前行。这利用了awk规则块之外的表达式的语法，该表达式的计算结果是true指示awk打印当前行。

⁽¹⁾对我发表的评论的回应非缓冲用引号引起来，因为该解决方案会将文件中的一些数据临时存储在 RAM 中，因此做附带 RAM 使用情况。但是它不会逐字存储文件内容此外RAM 中的任何其他滚动保持数据（其中我会考虑实际意义上的“缓冲”）。

Answer

这是一种“非缓冲” ⁽¹⁾两遍方法awk（仅适用于常规文件）。

awk -F',' 'NR==FNR{cnt[$1]++;next} FNR>1&&cnt[$1]==1' input.csv input.csv

这将处理该文件两次，因此在命令行上将其作为参数声明两次。

该参数-F','将字段分隔符设置为,。
在第一遍中，当NR全局行计数器等于FNR每个文件行计数器时，我们记录在数组中遇到第 1 列中的每个值的频率cnt（将该值作为“数组索引”），但立即跳到下一行处理。
在第二遍中，我们检查第一列当前值的出现计数器是否恰好为 1，并且文件中的行号是否大于 1（以跳过标题）。仅当这是 true 时才会打印当前行。这利用了awk规则块之外的表达式的语法，该表达式的计算结果是true指示awk打印当前行。

⁽¹⁾对我发表的评论的回应非缓冲用引号引起来，因为该解决方案会将文件中的一些数据临时存储在 RAM 中，因此做附带 RAM 使用情况。但是它不会逐字存储文件内容此外RAM 中的任何其他滚动保持数据（其中我会考虑实际意义上的“缓冲”）。

Question 2

假设该文件是/tmp/data您可以使用 perl 单行代码来完成的：

perl -e 'while(<STDIN>) { /(^\S+?),/; $show->{$1}=$_; $count->{$1}++;}; foreach(keys %$show) {print $show->{$_} if($count->{$_} == 1);}' < /tmp/data

或者更具可读性...：

while(<STDIN>) { #loop through all lines in the input and put the lines in "$_"
  /(^\S+?),/; #Everything before the first "," now ends up in "$1"
  $show->{$1} = $_; #a hash will be created with as keys the "$1" and as values the "$_"
  $count->{$1}++; #In the hash $count the number of occurrences will be increased everytime the same $1 appears
}
foreach(keys %$show) { #loop trough all lines
  print $show->{$_} if($count->{$_} == 1); #only print them if they occur once
}

Answer

假设该文件是/tmp/data您可以使用 perl 单行代码来完成的：

perl -e 'while(<STDIN>) { /(^\S+?),/; $show->{$1}=$_; $count->{$1}++;}; foreach(keys %$show) {print $show->{$_} if($count->{$_} == 1);}' < /tmp/data

或者更具可读性...：

while(<STDIN>) { #loop through all lines in the input and put the lines in "$_"
  /(^\S+?),/; #Everything before the first "," now ends up in "$1"
  $show->{$1} = $_; #a hash will be created with as keys the "$1" and as values the "$_"
  $count->{$1}++; #In the hash $count the number of occurrences will be increased everytime the same $1 appears
}
foreach(keys %$show) { #loop trough all lines
  print $show->{$_} if($count->{$_} == 1); #only print them if they occur once
}

Question 3

awk唯一的解决方案

不遵守秩序

awk -F, 'NR>1 { count[$1]++ ; line[$1]=$0 ;} 
   END { for ( c in count) if (count[c] ==1) print line[c]}' data

维持秩序

awk -F, 'NR>1 { row[a]=$0; col[a]=$1; count[$1]++; ++a; } 
   END { for (i=0; i<a; ++i) if (count[col[i]]==1) print row[i]; }' data

在哪里

-F,告诉 awk 用作,分隔符
NR>1 第一行之后
count[$1]++计算第一列的元素
line[$1]=$0 商店线
END文件结束后
for ( c in count)循环遍历元素
if (count[c] ==1)如果只有一个
print line[c]打印行
a和col[]用于存储顺序保留变体中的行顺序。

这可以单行，为了可读性我折叠起来

Answer