将两个文件与第一列进行比较，并从 shell 脚本中的第二个文件中删除重复行

Question 1

您可以awk为此使用：

awk 'FNR==NR{a[$1];next};!($1 in a)' file1 file2 > file3

解释：

FNR == NR：当记录数等于文件中的记录数时，此测试为真。这仅适用于第一个文件，因为第二个文件NR将等于 file1 + 的行数FNR。
a[$1]：创建file1第一个字段的数组元素索引。
next：跳到下一条记录，因此不再对 file1 进行任何处理。
!($1 in a)：查看第一个字段（$1）是否存在于数组中，即文件1中，并打印整行（到文件3）。

基于以下示例之一#awk 维基。

Answer

您可以awk为此使用：

awk 'FNR==NR{a[$1];next};!($1 in a)' file1 file2 > file3

解释：

FNR == NR：当记录数等于文件中的记录数时，此测试为真。这仅适用于第一个文件，因为第二个文件NR将等于 file1 + 的行数FNR。
a[$1]：创建file1第一个字段的数组元素索引。
next：跳到下一条记录，因此不再对 file1 进行任何处理。
!($1 in a)：查看第一个字段（$1）是否存在于数组中，即文件1中，并打印整行（到文件3）。

基于以下示例之一#awk 维基。

Question 2

export LC_ALL=C
comm -13 <(sort f1) <(sort  f2)

将报告仅在f2.

export LC_ALL=C
join -v2 <(sort f1) <(sort f2)

会将未找到第一个字段的行报告f2为的任何行中的第一个字段f1。

（您需要一个支持进程替换的 shell，例如ksh93,zsh或bash）。

Answer

export LC_ALL=C
comm -13 <(sort f1) <(sort  f2)

将报告仅在f2.

export LC_ALL=C
join -v2 <(sort f1) <(sort f2)

会将未找到第一个字段的行报告f2为的任何行中的第一个字段f1。

（您需要一个支持进程替换的 shell，例如ksh93,zsh或bash）。

Question 3

只是为了好玩，这里有一个 Perl 解决方案：

#!/usr/bin/perl

# create names lookup table from first file
my %names;
while (<>) {
    (my $col1)= split / /, $_;
    $names{$col1} = 1;
    last if eof;
}

# scan second file
while (<>) {
    print if /^(\S+).*/ && not $names{$1};
}

例子

$ ./showdiffs.pl file1  file2
0BDB FC600_R5_TP  FX.B   33554640    6044364  18    6033105  18    6044364   0
0BDC FC600_R5_TP  FX.B   33554640    6613536  20    6481974  19    6613536   0
0BDD FC600_R5_TP  FX.B   33554640    4435848  13    4057170  12    4435848   0
0BDE FC600_R5_TP  FX.B   33554640    6620868  20    6249518  19    6620868   0

细节

上面的 Perl 解决方案由 2 个循环组成。第一个循环读取 from 中的所有行file1并创建一个散列，%names其中添加我们识别的每一列。

$names{11AA} = 1;

然后，第二个while循环对第二个文件运行，file2并使用正则表达式标识每行的第 1 列：

^(\S+).*

上面说从行的开头开始，匹配所有不是空格的内容，并将其保存在临时变量中$1。通过用括号括起来可以保存它。上面.*说要匹配线上的所有其他内容。

该行的下一位表示查找我们刚刚保存在哈希$1中的列 1 位%names：

$names{$1}

如果它存在，那么我们不想打印它。如果不存在，则打印它。

Answer

只是为了好玩，这里有一个 Perl 解决方案：

#!/usr/bin/perl

# create names lookup table from first file
my %names;
while (<>) {
    (my $col1)= split / /, $_;
    $names{$col1} = 1;
    last if eof;
}

# scan second file
while (<>) {
    print if /^(\S+).*/ && not $names{$1};
}

例子

$ ./showdiffs.pl file1  file2
0BDB FC600_R5_TP  FX.B   33554640    6044364  18    6033105  18    6044364   0
0BDC FC600_R5_TP  FX.B   33554640    6613536  20    6481974  19    6613536   0
0BDD FC600_R5_TP  FX.B   33554640    4435848  13    4057170  12    4435848   0
0BDE FC600_R5_TP  FX.B   33554640    6620868  20    6249518  19    6620868   0

细节

上面的 Perl 解决方案由 2 个循环组成。第一个循环读取 from 中的所有行file1并创建一个散列，%names其中添加我们识别的每一列。

$names{11AA} = 1;

然后，第二个while循环对第二个文件运行，file2并使用正则表达式标识每行的第 1 列：

^(\S+).*

上面说从行的开头开始，匹配所有不是空格的内容，并将其保存在临时变量中$1。通过用括号括起来可以保存它。上面.*说要匹配线上的所有其他内容。

该行的下一位表示查找我们刚刚保存在哈希$1中的列 1 位%names：

$names{$1}

如果它存在，那么我们不想打印它。如果不存在，则打印它。

Question 4

让我们把它当作

文件#1：file1.txt

文件#2：file2.txt

然后在终端上运行以下命令

fgrep -vf test1.txt test2.txt > output.txt

output.txt 将包含所需的结果。

解释：

fgrep : print lines matching a pattern (from manual page)
-v  : get only non-matching rows
-f : obtain PATTERN from FILE (from manual page)

Answer