如何检查管道分隔文件中的每一行是否相同

Question 1

对键 1 到 32 (-k1,32) 进行排序，其中竖条作为分隔符-t'|'。
-u表示：仅输出相等运行（组合键）的第一行。
请参阅的选项 man sort的详细信息。sort

sort -t'|' -k1,32 -u infile

当然，上面的代码会产生排序的输出。
但是，如果您想保持与输入文件相同的首次找到行的序列，请使用：

nl -s'|' -ba infile | sort -t'|' -k2,5 -u | sort -t'|' -k1 -n | cut -d'|' -f2-

nl前缀连续的行号。这些行号位于步骤cut之后sort。
请注意，第二种方法的输出与特登的 Perl 解决方案。

Answer

对键 1 到 32 (-k1,32) 进行排序，其中竖条作为分隔符-t'|'。
-u表示：仅输出相等运行（组合键）的第一行。
请参阅的选项 man sort的详细信息。sort

sort -t'|' -k1,32 -u infile

当然，上面的代码会产生排序的输出。
但是，如果您想保持与输入文件相同的首次找到行的序列，请使用：

nl -s'|' -ba infile | sort -t'|' -k2,5 -u | sort -t'|' -k1 -n | cut -d'|' -f2-

nl前缀连续的行号。这些行号位于步骤cut之后sort。
请注意，第二种方法的输出与特登的 Perl 解决方案。

Question 2

彼得的sort方法几乎肯定是最有效的，我建议您使用它。为了多样性，这里有一个 Perl 解决方案：

perl -F"\|" -lane  'push @G,$_ unless ++$k{join("\|",@F[0..31])}>1;
                    END{print join "\n",@G}' file

Answer

彼得的sort方法几乎肯定是最有效的，我建议您使用它。为了多样性，这里有一个 Perl 解决方案：

perl -F"\|" -lane  'push @G,$_ unless ++$k{join("\|",@F[0..31])}>1;
                    END{print join "\n",@G}' file

相关内容