☰

如何按奇数行排序然后删除重复值？

tag-icon • tag-icon text-processing sort
如何按奇数行排序然后删除重复值？

我有以下类型的文件：

transcr_25793 +
YAL039C -
transcr_25793 +
YAL037C-B -
transcr_20649 +
YBL100C -
transcr_7135 +
YBL029C-A -
transcr_11317 +
YBL067C -
transcr_25793 +
YAL038W +
transcr_7135 +
YBL029W +

我试图得到这样的东西：

transcr_7135 +
YBL029C-A -
transcr_7135 +
YBL029W +
transcr_11317 +
YBL067C -
transcr_20649 +
YBL100C -
transcr_25793 +
YAL039C -
transcr_25793 +
YAL037C-B -
transcr_25793 +
YAL038W +

然后，后来，我一直在寻找这样的东西：

transcr_7135 +
YBL029C-A -
YBL029W +
transcr_11317 +
YBL067C -
transcr_20649 +
YBL100C -
transcr_25793 +
YAL039C -
YAL037C-B -
YAL038W +

我已经浏览了sort手册和一些帖子，但找不到任何适合于此的内容，只是sort使用数值来获取奇数行......

答案1

纯gawk解：

awk -F_ 'NR%2{i=$2;next}{a[i]=a[i]"\n"$0}
         END{PROCINFO["sorted_in"]="@ind_num_asc";
             for(i in a) printf "%s","transcr_"i""a[i]"\n"}' file

诀窍是借助PROCINFO 特殊数组a的一点帮助，对数组的索引进行数字排序。gawk

transcr_7135
YBL029C-A -
YBL029W +
transcr_11317
YBL067C -
transcr_20649
YBL100C -
transcr_25793
YAL039C -
YAL037C-B -
YAL038W +

顺便说一句，遗憾的是 awk 不提供自然排序的选项版本排序（根据带有数字的文字）。

答案2

不完全是您所显示的排序顺序，但也许也是对的？

$ cat input.txt|paste - -| sort -k1,1V -k2,2| tr "\t" "\n" | awk '{if($0 in line == 0) {line[$0]; print}}'
    transcr_7135 +
    YBL029C-A -
    YBL029W +
    transcr_11317 +
    YBL067C -
    transcr_20649 +
    YBL100C -
    transcr_25793 +
    YAL037C-B -
    YAL038W +
    YAL039C -

编辑：

插入行号并将其用作排序键，应该会产生您喜欢的确切输出：

$ cat input.txt | paste - - | nl | sort -k2,2V -k1,1g | cut -f2- | tr "\t" "\n" | awk '{if($0 in line == 0) {line[$0]; print}}'

答案3

使用 GNUsort并假设这些行不包含 TAB 字符：

paste - - < file | sort -V | tr '\t' '\n' | awk '!seen[$0]++'

或者sort -t$'\t' -sk1,1V保留具有相同奇数行的条目的原始顺序，就像您的预期输出一样。

如果您没有 GNU sort，并且假设奇数行始终遵循该模式，则可以替换sort -V为sort -k1.9n.

答案4

预处理和后处理awk：这并不假设transcr一行后面只有一行Y*；它也是幂等的——它的输出可以作为输入返回，并且会给出相同的结果。

awk '{print $0~/^transcr/ ? t=$0 : t" "$0}' /tmp/foo | sort -t_ -k2n -k2 -u | awk '{print (NF > 2) ? $3" "$4 : $0}'
transcr_7135 +
YBL029C-A -
YBL029W +
transcr_11317 +
YBL067C -
transcr_20649 +
YBL100C -
transcr_25793 +
YAL037C-B -
YAL038W +
YAL039C -

相关内容