使用 grep 和 tail 从日志中获取唯一行

Question 1

sort在以下帮助下使用tac：

sort -k4,4 file.log | tac | sort -uk4,4 | sort -k1,2

要获取最后 10 条条目，请tail -10在最后发送至：

sort -k4,4 file.log | tac | sort -uk4,4 | sort -k1,2 | tail -10

-ksort让我们sort用空格分隔的字段号作为键的选项
tac将反转输入内容的行，即最后一行放在最前面，第一行放在最后；这是必要的，因为sort -u在使用 key-wise 时将输出第一个条目作为唯一条目，sort即并非所有行都具有相似的内容，但它们在特定字段上匹配

例子：

$ sort -k4,4 file.log | tac | sort -uk4,4 | sort -k1,2
2016-04-18 10:21:20,257 (glastopf.glastopf) 150.70.188.165 requested GET / on 711b3fb7d875:80
2016-04-18 10:35:27,775 (glastopf.glastopf) 150.70.173.55 requested GET / on 711b3fb7d875:80
2016-04-18 11:07:15,576 (glastopf.glastopf) 204.12.196.236 requested GET / on 711b3fb7d875:80
2016-04-18 11:53:59,103 (glastopf.glastopf) 150.70.173.9 requested GET / on 711b3fb7d875:80
2016-04-18 12:47:00,555 (glastopf.glastopf) 115.239.248.245 requested GET http://zc.qq.com/cgi-bin/common/attr?id=260714&r=0.5692431772822398 on 711b3fb7d875:80
2016-04-18 12:50:34,078 (glastopf.glastopf) 150.70.188.178 requested GET / on 711b3fb7d875:80

Answer

sort在以下帮助下使用tac：

sort -k4,4 file.log | tac | sort -uk4,4 | sort -k1,2

要获取最后 10 条条目，请tail -10在最后发送至：

sort -k4,4 file.log | tac | sort -uk4,4 | sort -k1,2 | tail -10

-ksort让我们sort用空格分隔的字段号作为键的选项
tac将反转输入内容的行，即最后一行放在最前面，第一行放在最后；这是必要的，因为sort -u在使用 key-wise 时将输出第一个条目作为唯一条目，sort即并非所有行都具有相似的内容，但它们在特定字段上匹配

例子：

$ sort -k4,4 file.log | tac | sort -uk4,4 | sort -k1,2
2016-04-18 10:21:20,257 (glastopf.glastopf) 150.70.188.165 requested GET / on 711b3fb7d875:80
2016-04-18 10:35:27,775 (glastopf.glastopf) 150.70.173.55 requested GET / on 711b3fb7d875:80
2016-04-18 11:07:15,576 (glastopf.glastopf) 204.12.196.236 requested GET / on 711b3fb7d875:80
2016-04-18 11:53:59,103 (glastopf.glastopf) 150.70.173.9 requested GET / on 711b3fb7d875:80
2016-04-18 12:47:00,555 (glastopf.glastopf) 115.239.248.245 requested GET http://zc.qq.com/cgi-bin/common/attr?id=260714&r=0.5692431772822398 on 711b3fb7d875:80
2016-04-18 12:50:34,078 (glastopf.glastopf) 150.70.188.178 requested GET / on 711b3fb7d875:80

Question 2

该uniq命令可用于消除所有连续的全部或部分相同的行。默认情况下，它只对整行进行操作。也就是说，如果文件中有几行相同的连续行，则uniq删除重复项。

$ cat foo.txt 
foo
foo
foo
bar
baz
baz
foo
foo
$ uniq foo.txt 
foo
bar
baz
foo

为了删除所有重复的行，即使是不连续的行，也可以在之后运行sort：

$ sort foo.txt | uniq
bar
baz
foo

可以使用一些标志以便在确定重复项时仅考虑行的一部分。这里我们只想考虑第四列中的 IP 地址，所以首先我们需要告诉它uniq忽略前三列，这是通过标志完成的-f。之后我们需要告诉它只考虑 IP 地址。这可能有点棘手，因为我们只能告诉它考虑固定数量的字符（使用标志-w），但 IP 地址的长度可以有所不同。幸运的是，这不是问题，因为 IP 地址后面总是跟着requested，所以即使在比较中包含这个词的前几个字符，也不会影响是否正确检测出一行是重复的。最后，应用于uniq -f 3 - w 15输入似乎产生了预期的结果。

另外要注意的一点是，当我们在重复检测中只考虑一部分行时，“重复”组中的所有行不需要完全相同，因此我们必须决定在输出中打印哪一行。uniq打印第一个，但可以通过先运行输入来打印最后一个tac。

Answer

该uniq命令可用于消除所有连续的全部或部分相同的行。默认情况下，它只对整行进行操作。也就是说，如果文件中有几行相同的连续行，则uniq删除重复项。

$ cat foo.txt 
foo
foo
foo
bar
baz
baz
foo
foo
$ uniq foo.txt 
foo
bar
baz
foo

为了删除所有重复的行，即使是不连续的行，也可以在之后运行sort：

$ sort foo.txt | uniq
bar
baz
foo

可以使用一些标志以便在确定重复项时仅考虑行的一部分。这里我们只想考虑第四列中的 IP 地址，所以首先我们需要告诉它uniq忽略前三列，这是通过标志完成的-f。之后我们需要告诉它只考虑 IP 地址。这可能有点棘手，因为我们只能告诉它考虑固定数量的字符（使用标志-w），但 IP 地址的长度可以有所不同。幸运的是，这不是问题，因为 IP 地址后面总是跟着requested，所以即使在比较中包含这个词的前几个字符，也不会影响是否正确检测出一行是重复的。最后，应用于uniq -f 3 - w 15输入似乎产生了预期的结果。

另外要注意的一点是，当我们在重复检测中只考虑一部分行时，“重复”组中的所有行不需要完全相同，因此我们必须决定在输出中打印哪一行。uniq打印第一个，但可以通过先运行输入来打印最后一个tac。

使用 grep 和 tail 从日志中获取唯一行

答案1

答案2

相关内容