![处理纯文本数据](https://linux22.com/image/1302651/%E5%A4%84%E7%90%86%E7%BA%AF%E6%96%87%E6%9C%AC%E6%95%B0%E6%8D%AE.png)
我有这个纯文本文件,需要自动检查并将结果写入另一个纯文本文件。请注意,我将交替使用纯文本和 CSV,因为 CSV 是纯文本,数据之间有公共分隔符(逗号、制表符等)。
数据示例
ABD-01A
ABD-01B
ABD-01C
AL-25A
AL-25B
流程一- 识别数据的前两部分(text
- number
)以在输出 CSV 中重复并对其进行计数:
ABD-01,1
ABD-01,2
ABD-01,3
AL-25,1
AL-25,2
流程二- 上面收集的数据的第一部分在不同的文件上被分配了某种主键。我还想获取新生成的文件中提到的主键:
#primary key file
1,ABD-01
2,ABD-02
3,AL-02
20,AL-25
#newly generated file
1,ABD-01,1
1,ABD-01,2
1,ABD-01,3
20,AL-25,1
20,AL-25,2
所以基本上,我问她是否有任何软件可以在 Windows 或基于 Linux 的操作系统上帮助我解决这个问题。Bash 可以帮助我进行更简单的处理,但我认为它不能处理这么多。请提供建议。
答案1
- 选择您喜欢的语言 – Perl 适用于文本;Python、PHP 和 Ruby 也可以,但速度稍慢。
- 首先读取密钥文件:
- 将每
key,data
行拆分为key
和data
, - 然后将两者都存储在字典/哈希/数组中:
keys[data] = key
- 如果
counts[data] = 0
语言要求初始化
- 将每
- 读取所有数据文件:
- 使用正则表达式查找每行开头的“TEXT-NUMBER”数据,
- 加
counts[data]
一, - 并立即输出
keys[data]
、行 和counts[data]
。
我用 Perl 和 Python 编写了一个示例脚本,因此您可以选择:
进程.pl
#!/usr/bin/env perl
use strict;
sub usage {
print "Usage: $0 <key_file> <data_file...>\n";
return 2;
}
my $keys_file = shift(@ARGV) // exit(usage);
my @data_files = @ARGV;
my %keys; # $data => $primarykey
my %counts; # $data => $count
# Read keys
open(my $fh, "<", $keys_file) or die "$!";
while (my $line = <$fh>) {
chomp($line);
my ($key, $datum) = split(/,/, $line, 2);
if (!defined $datum) {
warn "$keys_file: line $. not in KEY,DATA format: '$line'\n";
next;
}
$keys{$datum} = $key;
$counts{$datum} = 0;
}
close($fh);
# Read and output data
my $ex = qr/^(\w+-\d+)\w*/;
for my $data_file (@data_files) {
open(my $fh, "<", $data_file) or die "$!";
while (my $line = <$fh>) {
chomp($line);
if ($line =~ /$ex/) {
my $datum = $1;
if (!defined $keys{$datum}) {
warn "no primary key found for data '$datum'\n";
next;
}
# Increment count, then print processed line immediately
$counts{$datum}++;
print "$keys{$datum},$&,$counts{$datum}\n";
}
else {
warn "$data_file: line $. does not begin with TEXT-NUMBER: '$_'\n";
}
}
close($fh);
}
进程.py
#!/usr/bin/env python
from __future__ import print_function
import sys
import re
def usage():
print("Usage: %s <key_file> <data_file...>" % sys.argv[0])
return 2
try:
keys_file = sys.argv[1]
data_files = sys.argv[2:]
except IndexError:
sys.exit(usage())
except ValueError:
sys.exit(usage())
keys = {}
counts = {}
# Read keys
for line in open(keys_file, "r"):
try:
key, datum = line.strip().split(",", 1)
except ValueError:
print("%s: line not in KEY,DATA format: %r" \
% (keys_file, line.strip()), file=sys.stderr)
continue
keys[datum] = key
counts[datum] = 0
# Read and output data
ex = re.compile(r'^(\w+-\d+)\w*')
for data_file in data_files:
for line in open(data_file, "r"):
line = line.strip()
m = re.match(ex, line)
if m:
datum = m.group(1)
if datum not in keys:
print("no primary key found for data %r" % datum,
file=sys.stderr)
continue
# Increment count, then print processed line immediately
counts[datum] += 1
print("%s,%s,%d" % (keys[datum], m.group(0), counts[datum]))
else:
print("%s: line does not begin with TEXT-NUMBER: %r" \
% (data_file, line.strip()), file=sys.stderr)
答案2
答案3
流程 1
perl count.pl datafile …
其中 count.pl 类似于
#!perl
use strict;
use warnings;
my %headwordcount;
while (<>) {
if (/^([A-Z]+-\d+)/) { $headwordcount{$1}++; }
# else { warn "Bad data: $_"; } # uncomment line for data warnings
}
END {
foreach (sort keys %headwordcount) {
print "$_,$headwordcount{$_}\n";
}
}
未经测试,买者自慎。
流程 2
添加类似
my %key;
BEGIN {
my $keyfilename = 'primary.key';
open my $fh, '<', $keyfilename or die "Can't read '$keyfilename' - $!\n";
while (<$fh>) {
chomp;
my ($key,$headword) = split(/,/, $_, 2);
$key{$headword} = $key;
}
close $fh;
}
并将打印行更改END {}
为
print "$key{$_},$_,$headwordcount{$_}\n";
再次,未经测试。
如果数据文件包含密钥文件中没有的词条,您将生成警告。您可以检查是否$key{$_}
未定义,如果是,则打印无密钥。