将所有列中的每个唯一值替换为唯一标识符

Question 1

这是一个非常简单的方法。使用 gawk 3.1.7 对我来说效果很好。

#!/usr/bin/awk -f
{
    for(x=2;x<=NF;x++) {
        if(x$x in a) {
            $x=a[x$x]
        } else {
            if($x=="NA") {
                print $x,0 > "column"x
                a[x$x]=0
                $x="0"
            } else {
                m[x]++
                print $x,m[x] > "column"x
                a[x$x]=m[x]
                $x=m[x]
            }
        }
    }
    print $0 > "results"
}

Answer

这是一个非常简单的方法。使用 gawk 3.1.7 对我来说效果很好。

#!/usr/bin/awk -f
{
    for(x=2;x<=NF;x++) {
        if(x$x in a) {
            $x=a[x$x]
        } else {
            if($x=="NA") {
                print $x,0 > "column"x
                a[x$x]=0
                $x="0"
            } else {
                m[x]++
                print $x,m[x] > "column"x
                a[x$x]=m[x]
                $x=m[x]
            }
        }
    }
    print $0 > "results"
}

Question 2

$ awk 'BEGIN { id["NA"] = ++n } { for (i=2; i<=NF; ++i) { id[$i] || id[$i] = ++n; $i = id[$i] - 1 } } { print } END { for (i in id) { print i, id[i] - 1 >"map" } }' file
img1 1 2 3
img2 1 4 5
img3 6 2 7
img4 0 2 8

img这会为除第一个列（ -column）之外的所有列中的每个值分配一个唯一的 ID 。我选择使 ID 全局唯一，而不是仅对列唯一，因为这会减少必须生成的所需映射文件的数量。

剧本揭晓：

BEGIN   { id["NA"] = ++n }

        {
            for (i=2; i<=NF; ++i) {
                id[$i] || id[$i] = ++n;
                $i = id[$i] - 1
            }
        }

        { print }

END     {
            for (i in id) {
                print i, id[i] - 1 >"map"
            }
        }

它首先为字符串分配NAID 1（输出前 ID 始终减 1），并将计数器更新n为 1。 n将始终是分配给前一个字符串的 ID。

对于每个输入行，我们迭代字段。如果没有为当前字段中的字符串分配 ID，我们会分配一个 ID 并就地修改该字段。

然后打印该行及其修改后的字段。

最后，所有字符串及其对应的 ID 都存储在名为map.

对于给定的输入，该文件可能类似于

bb 2
ee 7
cc 3
NA 0
tt 8
dd 5
yy 4
aa 1
uu 6

Answer

$ awk 'BEGIN { id["NA"] = ++n } { for (i=2; i<=NF; ++i) { id[$i] || id[$i] = ++n; $i = id[$i] - 1 } } { print } END { for (i in id) { print i, id[i] - 1 >"map" } }' file
img1 1 2 3
img2 1 4 5
img3 6 2 7
img4 0 2 8