从多个文件中提取文本行并打印到一个文件

Question 1

首先我们在命令行上定义一些有用的 shell 变量：

$ d='[0-9]'
$ pre='TrkNbr_1083n1282_L1n2_PrelimPops'
$ main="$d${d}SubSampPops_Rep$d$d$d"
$ post='GenDivRslts'
$ filename="${pre}_${main}_${post}"

使用 GNU awk：

$ find . -type f -name "$filename"      |
  sort -t_ -nk5.1,5.2 -nk6.4,6.6        |
  xargs -r awk 'FNR==2{print;nextfile}' \
> new_text_file;

使用 GNU sed：

$ find . -type f -name "$filename" |
  sort -t_ -nk5.1,5.2 -nk6.4,6.6   |
  xargs -r sed -se '2!d'           \
> new_text_file;

和perl：

$ find . -type f -name "$filename"                |
  sort -t_ -nk5.1,5.2 -nk6.4,6.6                  |
  xargs -r perl -ne 'print,close ARGV if $. == 2' \
> new_text_file;

和head/tail：

$ find . -type f -name "$filename" |
  sort -t_ -nk5.1,5.2 -nk6.4,6.6   |
  xargs -r \
   sh -c '
    for f
    do
     head -n 2 "$f" | tail -n 1
    done
   ' x > new_text_file;

Answer

首先我们在命令行上定义一些有用的 shell 变量：

$ d='[0-9]'
$ pre='TrkNbr_1083n1282_L1n2_PrelimPops'
$ main="$d${d}SubSampPops_Rep$d$d$d"
$ post='GenDivRslts'
$ filename="${pre}_${main}_${post}"

使用 GNU awk：

$ find . -type f -name "$filename"      |
  sort -t_ -nk5.1,5.2 -nk6.4,6.6        |
  xargs -r awk 'FNR==2{print;nextfile}' \
> new_text_file;

使用 GNU sed：

$ find . -type f -name "$filename" |
  sort -t_ -nk5.1,5.2 -nk6.4,6.6   |
  xargs -r sed -se '2!d'           \
> new_text_file;

和perl：

$ find . -type f -name "$filename"                |
  sort -t_ -nk5.1,5.2 -nk6.4,6.6                  |
  xargs -r perl -ne 'print,close ARGV if $. == 2' \
> new_text_file;

和head/tail：

$ find . -type f -name "$filename" |
  sort -t_ -nk5.1,5.2 -nk6.4,6.6   |
  xargs -r \
   sh -c '
    for f
    do
     head -n 2 "$f" | tail -n 1
    done
   ' x > new_text_file;

Question 2

为什么不简单地

awk 'FNR == 2' *FstRslts > NewFile

？如果命令行变得太长，请尝试按输入文件的细分对输入文件进行分组，或使用xargs分割行。

Answer

为什么不简单地

awk 'FNR == 2' *FstRslts > NewFile

？如果命令行变得太长，请尝试按输入文件的细分对输入文件进行分组，或使用xargs分割行。

Question 3

zsh版本（Mac 终端中的默认 shell）：

for file in $(find . -type f -iname "*.txt"); cat "$file" | head -2 | tail -1 >> output.txt

这假设所有输入文本文件都位于同一目录中，并且处理文件的顺序并不重要。

bash版本：

for file in $(find . -type f -iname "*.txt"); do cat $file | head -2 | tail -1; done >> output.txt

编辑1：echo没有必要遵循纳西尔和 Steeldriver 的建议进行命令替换。以下是 awk 版本，

for file in $(find . -type f -iname "*.txt"); awk 'NR==2' $file >> output.txt

而且，如果文件没有扩展名，txt则可以使用所有文件中通用的任何模式。假设所有文件的File名称中都有，awk版本可以是

for file in $(find . -type f -iname "*File*"); awk 'NR==2' $file >> output.txt

编辑2：

根据您所提到的，您的FstRslts和GenDivRslts是文件组的唯一标识符。因此，您可以"*FstRslts"为您的FstRslts文件使用，而不是"*.txt".同样适用于GenDivRslts

笔记

我正在接受@steeldrivers的建议和课程，并添加以下内容作为答案之一（更惯用）：

find . -type f -iname "*FstRslts" -exec awk 'NR==2' {} \; > output.txt

编辑3 find .- 从当前工作目录开始搜索

type -f- 搜索文件类型

-iname "*FstRslts"- 搜索与模式匹配的文件名时忽略大小写

-exec- 执行以下命令

awk 'NR==2'- 提取由于先前命令而找到的每个文件的第二行（匹配模式）

{} \;- 文件（匹配模式）命令终止的占位符

> output.txt- 将结果重定向到文件名“output.txt”

Answer