☰

连接具有多个标头的多个文件

tag-icon • tag-icon linux command-line shell-script cp cat
连接具有多个标头的多个文件

例如，我试图将多个具有多个标头的文件连接起来，形成一个包含其中所有信息的文件。

文件一：

Numbers
1
2
3

Letters
A
B
C

文件2：

Numbers
4
5
6

Letters
D
E
F

将合并创建文件3：

Numbers
1
2
3
4
5
6

Letters
A
B
C
D
E
F

到目前为止，我已经尝试过 cat 并将 file2 添加到末尾，然后尝试 grep 每个标题下的所有数据，但长话短说它失败了。

我尝试过粘贴，如果每个文件中的数据量相同，那么它还不错，因为它在最后一个文件旁边添加了每个文件信息选项卡，但如果任何文件在标题下的条目比另一个文件多，则会造成混乱。

有人知道如何解决此类问题吗？

答案1

假设节关键字下有“====”，以下 Python 将解决该问题，而不必明确节名称：

import sys
from collections import OrderedDict

combined = OrderedDict()
seperator = '===='

for file_name in 'f1.txt f2.txt'.split(): #sys.argv[1:]:
    with open(file_name) as fp:
        lines = fp.readlines()
        data = []
        while len(lines):
            # reverse over the lines
            line = lines.pop(-1)
            if not line.strip(): continue # skip empty
            if line.startswith(seperator):
                name = lines.pop(-1)
                section = combined.setdefault(name, [])
                section.extend(reversed(data))
                data = []
            else:
                data.append(line)

for idx, k in enumerate(reversed(combined)):
    if idx != 0:
        print # insert empty line before all but first
    sys.stdout.write(k)
    print('=' * len(k))
    for line in combined[k]:
        sys.stdout.write(line)

您必须在调用命令行时提供文件名。

这会生成输出：

Numbers
========
1
2
3
4
5
6

Letters
========
A
B
C
D
E
F

答案2

这是使用 Perl 脚本执行此操作的一种方法：

#!/usr/bin/perl

my @fileInfo;
open(my $fh, "<file1");
push (@fileInfo,<$fh>);
close($fh);
open(my $fh, "<file2");
push (@fileInfo,<$fh>);
close($fh);

my @letLines;
my @numLines;
my $numMode  = 0;
my $letMode  = 0;

foreach my $line (@fileInfo) {

    # skip empty and '==' lines
    next if ($line =~ /^$/);
    next if ($line =~ /==/);

    if ($line =~ /Letters/) {
        $letMode = 1;
        $numMode = 0;
        next;
    }

    if ($line =~ /Numbers/) {
        $numMode = 1;
        $letMode = 0;
        next;
    }

    if ($letMode) {
        push (@letLines, $line);
        next;
    }

    if ($numMode) {
        push (@numLines, $line);
        next;
    }
}

print "Numbers\n";
print "=======\n";
print @numLines;

print "\n";

print "Letters\n";
print "=======\n";
print @letLines;

# vim: set ts=2 nolist :

输出

Numbers
=======
1
2
3
4
5
6

Letters
=======
A
B
C
D
E
F

答案3

您提供的输入的numbersletters.sh：

#!/bin/bash

echo Numbers

for f in "$@"
do
   grep -E '^[0-9]+$' "$f" 
done

echo
echo Letters

for f in "$@"
do
    grep -E '^[A-Z]+$' "$f"
done

echo

numbersletters.sh file1 file2回报

Numbers
1
2
3
4
5
6

Letters
A
B
C
D
E
F

您可以添加| sort -ufor for 循环以使其排序且唯一。

答案4

这是一个简单的 Perl 解决方案，适用于任意标头名称：

#!/usr/bin/env perl 
my ($last,$head); 
my %k;  ## this will hold our data
my $separator="=====";
my @lines=<>; ## Read all lines
for(my $i=0; $i<=$#lines; $i++){ ## for each line...
    next if $lines[$i]=~/$separator/; ##skip the separators
    next if $lines[$i]=~/^\s*$/;  ##skip empty lines
    if ($lines[$i+1]=~/====/) { ## if the NEXT line is a separator, 
    $head=$lines[$i];       ## the this line is a heading
    next;
    }
    else { ## save the contents of this group into the %k hash.
    push @{$k{$head}},$lines[$i];
    }
}

## Now print everything
foreach (keys(%k)) {
    print "$_========\n", @{$k{$_}};
}

相关内容