☰

从每组行（基于不同的列）中选择一行（基于列值）

tag-icon • tag-icon text-processing awk bioinformatics
从每组行（基于不同的列）中选择一行（基于列值）

我有以下文件：

gene.14977.0.1.p2       NbD023586.1.mrna1       100.0   132     0       0       1       132     1       132     4.9e-72     268.9
gene.14977.0.1.p2       NbD032405.1.mrna1       95.5    132     6       0       1       132     1       132     1.5e-68     257.3
gene.14983.1.1.p1       NbE05064429.1.mrna1     61.4    202     13      3       8       145     530     730     8.6e-51     198.7
gene.14983.1.1.p1       NbD024082.1.mrna1       59.3    209     13      3       8       145     530     737     5.6e-50     196.1
gene.14983.1.1.p1       NbD018021.1.mrna1       59.5    205     18      3       5       145     523     726     3.0e-48     190.3
gene.14986.0.0.p1       NbD007981.1.mrna1       100.0   422     0       0       9       430     1       422     1.8e-256    883.2
gene.14986.0.0.p1       NbD032402.1.mrna1       96.5    430     14      1       1       430     1       429     2.7e-252    869.4
gene.14986.0.0.p1       NbD023991.1.mrna1       85.3    428     61      1       1       428     1       426     2.1e-225    780.0

对于每个基因值（在第一列中，例如gene.14977.0.1.p2），我想仅保留第 11 列值最小的行（例如4.9e-72）。预期输出是：

gene.14977.0.1.p2       NbD023586.1.mrna1       100.0   132     0       0       1       132     1       132     4.9e-72     268.9
gene.14983.1.1.p1       NbE05064429.1.mrna1     61.4    202     13      3       8       145     530     730     8.6e-51     198.7
gene.14986.0.0.p1       NbD007981.1.mrna1       100.0   422     0       0       9       430     1       422     1.8e-256    883.2

怎么可能做到呢？

答案1

如果要提取第 11 列中具有最小值的行按基因分组，然后使用基因标识符作为关联数组中的键来awk跟踪该基因的最小值：

$ awk '{ gene = $1 } min[gene] == "" || min[gene] > $11 { min[gene] = $11; line[gene] = $0 } END { for (gene in line) print line[gene] }' file
gene.14983.1.1.p1       NbE05064429.1.mrna1     61.4    202     13      3       8       145     530     730     8.6e-51 198.7
gene.14977.0.1.p2       NbD023586.1.mrna1       100.0   132     0       0       1       132     1       132     4.9e-72 268.9
gene.14986.0.0.p1       NbD007981.1.mrna1       100.0   422     0       0       9       430     1       422     1.8e-256        883.2

在这里，我还跟踪每个基因的最小值来自的实际行，并在最后打印这些行。

该awk程序的格式很好：

{
        # Pick out the gene name
        gene = $1
}

min[gene] == "" || min[gene] > $11 {
        # This gene hase either not been seen before,
        # or its value in column 11 is smaller than
        # what has been seen before (for this gene).
        min[gene] = $11    # save small value from column 11
        line[gene] = $0    # save whole line
}

END {
        # Print all remembered lines.
        for (gene in line)
                print line[gene]
}

最小化的单行版本，适合喜欢难以维护的代码的人：

awk 'm[$1]==""||m[$1]>$11{m[$1]=$11;t[$1]=$0}END{for(g in t)print t[g]}' file

sort您还可以使用 GNU （它可以对科学记数法中的数字进行“人类数字排序”）获得相同的结果（可能以不同的顺序） ：

$ sort -k1,1 -k11,11g file | sort -u -k1,1
gene.14977.0.1.p2       NbD023586.1.mrna1       100.0   132     0       0       1       132     1       132     4.9e-72 268.9
gene.14983.1.1.p1       NbE05064429.1.mrna1     61.4    202     13      3       8       145     530     730     8.6e-51 198.7
gene.14986.0.0.p1       NbD007981.1.mrna1       100.0   422     0       0       9       430     1       422     1.8e-256        883.2

此处，第一个排序对数据进行排列，使得行按基因（第一列）排序，每个基因的行按第 11 列按数字排序。然后，第二个sort为每个基因挑选一行（由于该-u选项，为每个排序键请求单个条目）。该单行将是每个基因的第一行，这将是第 11 列中具有最小值的行（由于第一个sort）。

sort您可以使用一个简短的程序来代替第二个awk，这对于大量数据来说会更快一些：

sort -k1,1 -k11,11g file | awk '!seen[$1]++'

相关内容