过滤每个文件中的文本并将其转换为逗号分隔值的列表

Question 1

好吧，首先不要使用循环for！这是非常低效的。只需一次给出grep所有文件名：

grep 'sometext:' folder/*.txt

然而，在这种情况下，我会使用awk而不是grep.我将你的输入文件复制了 10 份来测试：

$ awk '{
        if($1~/sometext|someothertext|somedifferenttext/){
            printf "%s,",$2
        }
        if(FNR==1 && NR>1){
            print ""
        }
    }
    END{ print "" }' folder/*txt 
Hello,World,!,
Hello,World,!,
Hello,World,!,
Hello,World,!,
Hello,World,!,
Hello,World,!,
Hello,World,!,
Hello,World,!,
Hello,World,!,
Hello,World,!,
Hello,World,!,

解释

awk是一种脚本语言，它逐行读取输入，并将空白处的每一行（默认情况下，您可以使用更改-F）拆分为字段。第一个字段将是$1，第二个字段$2等等。

if($1~/sometext|someothertext|somedifferenttext/){：如果第一个字段匹配sometext或someothertext或somedifferenttext。请注意，这也将匹配foosometext.如果您想限制精确匹配，请将其更改为：
```
if($1=="sometext:" || $1=="someothertext:" || $1=="somedifferenttext:"){
```
printf "%s,",$2：如果满足上述条件，则打印第二个字段，后跟逗号。
if(FNR==1 && NR>1){ print "" }:NR是当前输入行号，也是FNR当前文件的行号。因此，每次文件的行号为 1 时，都会打印一个换行符（awk 的print调用默认添加一个换行符，因此不打印任何内容就像打印一个换行符），但如果处理的总行数也是 1，则不会。换句话说，每次我们开始读取新文件时，都会打印换行符。
END{ print "" }'：处理完所有文件后还打印换行符。

请注意，这假设每行只有 2 个字段。如果您需要打印整行，则可以使用（使用仅打印完全匹配的版本来说明）：

awk '{
    if($1=="sometext:" || 
       $1=="someothertext:" || 
       $1=="somedifferenttext:"){
        $1=""; 
        printf "%s,",$0
    }
    if(FNR==1 && NR>1){print ""}
    }END{print ""}' folder/*txt | sed 's/^ //'

不同之处在于我们在打印之前使用$0（整行）代替$2并设置$1为空字符串。这会导致在开头打印一个额外的空格（因为空$1仍然被视为一个字段），因此我们将其传递sed以将其删除。

或者，您也可以在 Perl 中完成整个操作：

 $ perl -lane '
    if($F[0]=~/(sometext|someothertext|somedifferenttext):/){
        push @k,@F[1..$#F]
    } 
    if(eof){
        print join ",", @k; @k=();
    }' folder/file*
Hello,World,!
Hello,World,!
Hello,World,!
Hello,World,!
Hello,World,!
Hello,World,!
Hello,World,!
Hello,World,!
Hello,World,!
Hello,World,!
Hello,World,!

或者，也可以有尾随,：

 $ perl -lane '
    if($F[0]=~/^(sometext|someothertext|somedifferenttext):$/){
        push @k,@F[1..$#F]
    } 
    if(eof){
        print join ",", @k , ""; @k=();
    }' folder/file*
Hello,World,!,
Hello,World,!,
Hello,World,!,
Hello,World,!,
Hello,World,!,
Hello,World,!,
Hello,World,!,
Hello,World,!,
Hello,World,!,
Hello,World,!,
Hello,World,!,

解释

这里的基本思想是相同的。 Perl 的-aswitch 使其行为类似于awk将每个输入行拆分到数组中@F。然后，如果数组的第一个元素是所需的字符串之一，则其余字段 ( @F[1..$#F]) 将添加到数组中@k。如果到达文件末尾 ( if(eof))，我们将用逗号连接数组的内容@k并打印结果字符串。

最后，这是一种按照您尝试的方式执行此操作的方法（假设是 GNU grep）：

$ for f in folder/*; do 
    grep -hoP '^(sometext|someothertext|somedifferenttext): \K.*' "$f" | 
        perl -pe 's/\n/,/; END{print "\n"}'; 
  done
Hello,World,!,
Hello,World,!,
Hello,World,!,
Hello,World,!,
Hello,World,!,
Hello,World,!,
Hello,World,!,
Hello,World,!,
Hello,World,!,
Hello,World,!,
Hello,World,!,

Answer