合并多个具有部分匹配键列的 CSV 文件

Question 1

我使用awk它一次处理多个文件：

sed 's/,R[1-9]\+\.csv:/,/g' <(awk -v HEADER="$(printf ",%s:" R{1..3}.csv)" -F, '
    { seen[$1]=seen[$1]","FILENAME":"$2; }
    END { print HEADER; for (x in seen) print x seen[x]}' R{1..3}.csv \
|awk -F, 'NR==1{split($0,arr,/,/);next} {SEP=""; fld=1;
    for (x in arr){printf ($0 ~ arr[x])?SEP""$(fld++):",0";SEP=","};print ""}')

输出：

A,1,0,1
B,20,0,4
C,30,1,0
D,0,13,0
E,0,15,2
F,0,19,0
G,0,0,6
H,0,0,8

代码分解：

awk -F, '{ seen[$1]=seen[$1]","FILENAME":"$2; }
    END{ print HEADER; for (x in seen) print x seen[x] }' R{1..3}.csv

代码的主要部分将所有文件中的所有第二列连接成一个，并打印属于具有相同第一列的文件的值。这里seen是一个数组名称，其中键作为第一列，值采用,FILENAME:$2附加模式。

Inseen[$1]=seen[$1]","FILENAME":"$2;表示打印一个逗号,，后跟当前处理FILENAME文件awk，冒号:后跟第二列值$2（当它具有相同的第一列时）seen[$1]=...，并附加到相同的键索引=seen[$1]...并保存在相同的键值中。

该END声明，awk当所有记录/行读取时，最终执行此块，并且我们使用 for 循环来迭代数组见过并打印钥匙第一个和键的值在接下来的。

将导致：

A,R1.csv:1,R3.csv:1
B,R1.csv:20,R3.csv:4
C,R1.csv:30,R2.csv:1
D,R2.csv:13
E,R2.csv:15,R3.csv:2
F,R2.csv:19
G,R3.csv:6
H,R3.csv:8

好的，现在我们知道现有值来自哪些文件以及哪些文件没有这些数据。为了用填充不存在的文件的数据0，我使用了 shell 命令替换生成包含所有文件名的标题行并传递给awk作为HEADER -v变量：

awk -v HEADER="$(printf ",%s:" R{1..3}.csv)" ...

稍后我们将使用这一HEADER行并用0.现在我们的输入是这样的格式：

$ awk -v HEADER="$(printf ",%s:" R{1..3}.csv)" -F, '
    { seen[$1]=seen[$1]","FILENAME":"$2; }
    END { print HEADER; for (x in seen) print x seen[x]}' R{1..3}.csv 
,R1.csv:,R2.csv:,R3.csv:
A,R1.csv:1,R3.csv:1
B,R1.csv:20,R3.csv:4
C,R1.csv:30,R2.csv:1
D,R2.csv:13
E,R2.csv:15,R3.csv:2
F,R2.csv:19
G,R3.csv:6
H,R3.csv:8

接下来我在下面使用了另一个awk用于填充非退出文件数据的脚本，0我从问题的另一个答案中复制了这些数据“根据列格式化并填充缺失的数据”。

... |awk -F, 'NR==1{split($0,arr,/,/);next} {SEP=""; fld=1;
    for (x in arr){printf ($0 ~ arr[x])?SEP""$(fld++):",0";SEP=","};print ""}'

最后，sed 's/,R[1-9]\+\.csv:/,/g'使用来将结果中现有的文件名替换为单个逗号,。

Answer

我使用awk它一次处理多个文件：

sed 's/,R[1-9]\+\.csv:/,/g' <(awk -v HEADER="$(printf ",%s:" R{1..3}.csv)" -F, '
    { seen[$1]=seen[$1]","FILENAME":"$2; }
    END { print HEADER; for (x in seen) print x seen[x]}' R{1..3}.csv \
|awk -F, 'NR==1{split($0,arr,/,/);next} {SEP=""; fld=1;
    for (x in arr){printf ($0 ~ arr[x])?SEP""$(fld++):",0";SEP=","};print ""}')

输出：

A,1,0,1
B,20,0,4
C,30,1,0
D,0,13,0
E,0,15,2
F,0,19,0
G,0,0,6
H,0,0,8