合并两个文件后缺少列

Question

我有 file1.txt：

1|2022-09-29|03:15:00
2|2022-09-29|10:50:00
3|2022-09-29|07:15:00

和文件2.txt：

1|red|info 1
2|blue
3|yellow|info 2

我想将这些文件连接到一个 file3.txt 中，使其看起来像这样：

red|2022-09-29|03:15:00|info 1
blue|2022-09-29|10:50:00|
yellow|2022-09-29|07:15:00|info 2

所以我尝试输入一个脚本：

#!/bin/bash

awk -F'|' 'NR==FNR {a[$1]=$2;next}  ($1 in a) {a[$1]=$2"|"a[$1]"|"a[$3]"|"$3; print a[$1]}' file1.txt file2.txt > file3.txt

但我的输出看起来像这样：

red|2022-09-29||info 1
blue|2022-09-29||
yellow|2022-09-29||info 2

正如你所看到的 file1.txt 的第三部分丢失了，我不明白为什么。如果您向我指出我做错了什么，我将不胜感激。

Answer 1

答案相当简单：您用来a[$3]引用 的第三列file1。然而

• 您使用数组a来存储 的第二列file1，而不是第三列，并且
• 您只使用第一列（数字）作为“键”，因此尝试访问a["info 1"]（就像您a[$3]在处理的第一行中所做的那样file2）将不会返回任何内容。

下面的程序可以做到：

awk 'BEGIN{FS=OFS="|"} NR==FNR{d[$1]=$2;t[$1]=$3;next} ($1 in d) {print $2,d[$1],t[$1],$3}' file1.txt file2.txt > file3.txt

这设置|为输入和输出的字段分隔符。

• 处理时file1.txt，它将日期存储在数组中d，将时间存储在数组中t，以第一列（数字）作为键。
• 处理 时file2.txt，它打印第 2 列、与第 1 列对应的日期和时间，然后打印第 3 列中的“info”值，用作|输出分隔符。

Answer 2

您可以信赖join：

join -t\| -j 1 -o 1.2,2.2,2.3,1.3 file2 file1

其中 format( -o) 定义为FILE.FIELD，因此只需选择从哪个输入文件中获取哪个字段-t即可定义字段定界符并-j用于定义任一文件中用于匹配的公共字段。

请注意，可能需要排序：

join -t\| -j 1 -o 1.2,2.2,2.3,1.3 <(sort file2) <(sort file1)

Answer 3

awk 'BEGIN{FS=OFS="|"} NR==FNR {a[$1]=$2 OFS $3;next} ($1 in a) {print $2,a[$1],$3}' file1.txt file2.txt > file3.txt

出于可移植性的目的，我从 开始BEGIN{FS=OFS="|"}，它允许您选择字段分隔符和输出字段分隔符。

然后，当您在第一个文件中时，NR==FNR您注册了用输出字段分隔符分隔的第二个和第三个字段{a[$1]=$2 OFS $3;next}，并且您到达了下一行，但尚未打印任何内容。在您的脚本中，您从未注册第三个字段，这就是您无法输出它的原因。

当您到达第二个文件时，您的NR和FNR会有所不同，并检查您的第一个字段是否在您的 array 中($1 in a)。我没有注册第二个字段、数组和第三个字段然后打印它，而是立即打印它{print $2,a[$1],$3}。

Answer 4

假设两个输入文件中的数据是“简单”CSV 记录，不包含包含嵌入分隔符或换行符的字段，这些|字符是分隔符，并且文件逐行匹配，如问题中所示：

这两个文件可以并排呈现给awkusing paste，并且awk可以用于按照我们需要的顺序挑选出我们想要的字段：

paste -d '|' file1 file2 |
awk -F '|' 'BEGIN { OFS=FS } { print $5, $2, $3, $6 }' >file3

file3给出问题中的数据的结果：

red|2022-09-29|03:15:00|info 1
blue|2022-09-29|10:50:00|
yellow|2022-09-29|07:15:00|info 2