☰

如何获取示例文件：

tag-icon • tag-icon regular-expression split
如何获取示例文件：

我有一个文本文件，我想根据易经的64卦将其分成64个不等的部分。由于每个六角形的段落都以一些数字、一个句点和两个换行符开头，因此正则表达式应该很容易编写。

但是我如何根据这个正则表达式将文本文件实际拆分为 64 个新文件呢？这似乎更像是一项任务perl。但也许有一种更明显的方式我完全错过了。

答案1

例外的是csplit正则表达式必须是单行。这也让事情变得sed困难；我会选择 Perl 或 Python。

你可以看看如果

csplit foo.txt '/^[0-9][0-9]*\.$/' '{64}'

足以满足您的目的。 （csplit需要 POSIX BRE，因此它不能使用\dor+等​​。）

答案2

我认为最好的办法是awk和gawk。

awk

awk -F "([.] )|( / )" '/^[0-9]{1,3}[.]/{x="F"$1"("$2").txt";}{print >x;}' I_Ching_Wilhelm_Translation.txt

-F将为每行指定字段分隔符。它是一个正则表达式，这里我们使用多个分隔符：". "和" / "。因此，像这样的行将1. Ch'ien / The Creative被分为 3 个字段：1 Ch'ien和The Creative。稍后我们可以用 来引用这些字段$n。$0是整条线。

然后我们告诉 awk 将行与模式匹配 ^[0-9]{1,3}[.]如果有匹配，我们然后将值分配给x。值 x 将用作print操作的文件名。在此示例中，我们使用"F"$1"("$2").txt"so 该行1. Ch'ien / The Creative给出文件名F1(Ch'ien).txt

呆呆地

在gawk中，我们还可以访问捕获的组。所以我们可以将命令简化为： 

gawk 'match($0, /^([0-9]{1,3})[.] (.*) \/ (.*)$/, ary){x="F"ary[1]"("ary[2]")";}{print >x;}' I_Ching_Wilhelm_Translation.txt

这里我们使用match捕获组并将它们放入变量列表中ary。$0是整条线。ary[0]一切都匹配。ary[1...n]是每组。

珀尔

我们也可以使用 perl 来完成： 

perl -ne 'if(/^([0-9]{1,3})[.] (.*) \/ (.*)$/) {close F; open F, ">", sprintf("F$1($2).txt");} print F' I_Ching_Wilhelm_Translation.txt

结果： 

> ls F*
F10(Lü).txt         F22(Pi).txt       F34(Ta Chuang).txt  F46(Shêng).txt     F58(Tui).txt
F11(T'ai).txt       F23(Po).txt       F35(Chin).txt       F47(K'un).txt      F59(Huan).txt
F12(P'i).txt        F24(Fu).txt       F36(Ming I).txt     F48(Ching).txt     F5(Hsü).txt
F13(T'ung Jên).txt  F25(Wu Wang).txt  F37(Chia Jên).txt   F49(Ko).txt        F60(Chieh).txt
F14(Ta Yu).txt      F26(Ta Ch'u).txt  F38(K'uei).txt      F4(Mêng).txt       F61(Chung Fu).txt
F15(Ch'ien).txt     F27(I).txt        F39(Chien).txt      F50(Ting).txt      F62(Hsiao Kuo).txt
F16(Yü).txt         F28(Ta Kuo).txt   F3(Chun).txt        F51(Chên).txt      F63(Chi Chi).txt
F17(Sui).txt        F29(K'an).txt     F40(Hsieh).txt      F52(Kên).txt       F64(Wei Chi).txt
F18(Ku).txt         F2(K'un).txt      F41(Sun).txt        F53(Chien).txt     F6(Sung).txt
F19(Lin).txt        F30(Li).txt       F42(I).txt          F54(Kuei Mei).txt  F7(Shih).txt
F1(Ch'ien).txt      F31(Hsien).txt    F43(Kuai).txt       F55(Fêng).txt      F8(Pi).txt
F20(Kuan).txt       F32(Hêng).txt     F44(Kou).txt        F56(Lü).txt        F9(Hsiao Ch'u).txt
F21(Shih Ho).txt    F33(TUN).txt      F45(Ts'ui).txt      F57(Sun).txt

如何获取示例文件：

curl http://www2.unipr.it/~deyoung/I_Ching_Wilhelm_Translation.html|html2text -o I_Ching_Wilhelm_Translation.plain
sed 's|^[[:blank:]]*||g' I_Ching_Wilhelm_Translation.plain > I_Ching_Wilhelm_Translation.txt

答案3

使用 GNU coreutils，您可以csplit将文件分成以正则表达式分隔的片段，如极客龙所示。

这是一个可移植的 awk 脚本，用于将文件分成多个部分。它的工作原理是

  • 调用getline处理多行（2行）分隔符；
  • outfile当遇到节头时，将变量设置为要打印到的文件的名称。
BEGIN {outfile="header.txt"}
{
    while (/^[0-9]+\.$/) {
        prev = $0; getline;
        if ($0 == "") outfile = prev "txt";
        print prev >outfile
    }
    print >outfile
}

答案4

如果您拆分的原因是使用不同的命令处理每个块，那么 GNU Parallel 可能是首选工具：

cat I_Ching_Wilhelm_Translation.txt |
  parallel -N1 --pipe --regexp --recend '\n' --recstart '[0-9]{1,3}[.] [^\n]+ /' 'cat > {#}'

这里可以替换cat > {#}为要运行的命令。

相关内容