仅显示实时日志文件中的部分行

Question 1

您的数据是高度结构化的键=“值”，因此您可以使用 gnu awk 编写一个小型 shell 脚本，该脚本将键名称列表作为参数并仅打印这些值。例如myscript：

#!/bin/bash
awk -v lhs="$*" '
BEGIN{  FPAT = "[a-z-]*=\"[^\"]*\""
        nwant = split(lhs,want)
}
{       for(i=1;i<=NF;i++){
            start = match($i,/([a-z-]*)="([^"]*)"/,a)
            key[a[1]] = a[2]
        }
        for(i=1;i<=nwant;i++){printf "%s ",key[want[i]]; key[want[i]] = ""}
        printf "\n"
}'

您称之为myscript srcip categoryname url.这将 awk 变量设置lhs为参数作为单个字符串，该字符串want在开始时被拆分为数组。这些行被 awk 划分为与模式匹配的字段键=“值”通过使用内置FPAT变量。

在每一行上，对于每个字段，我们将其分为match()2 个捕获组，分别用于键和双引号中的部分。这些由 awk 放入 array 中a，我们将它们保存在key由键字符串索引的关联数组中。

然后，对于每个想要的键，我们打印该值，并清除下一行的值（如果该行没有该键）。显然，这假设所有数据都具有所需的结构，并且需要更改来处理值内的 (") 或具有非字母字符的键。

4.0 之前的 gnu awk (gawk) 版本没有FPAT内置功能来将行拆分为与模式匹配的字段，因此您必须自己执行此操作：

#!/bin/bash
awk -v lhs="$*" '
BEGIN{ nwant = split(lhs,want) }
{       input = $0
        while(match(input,"[a-z-]*=\"[^\"]*\"")>0){
            field = substr(input,RSTART,RLENGTH)
            input = substr(input,RSTART+RLENGTH)
            start = match(field,/([a-z-]*)="([^"]*)"/,a)
            key[a[1]] = a[2]
        }
        for(i=1;i<=nwant;i++){printf "%s ",key[want[i]]; key[want[i]] = ""}
        printf "\n"
}'

显然，您可以将两个匹配调用合并为一个，但这显示了与原始匹配的差异。

Answer

您的数据是高度结构化的键=“值”，因此您可以使用 gnu awk 编写一个小型 shell 脚本，该脚本将键名称列表作为参数并仅打印这些值。例如myscript：

#!/bin/bash
awk -v lhs="$*" '
BEGIN{  FPAT = "[a-z-]*=\"[^\"]*\""
        nwant = split(lhs,want)
}
{       for(i=1;i<=NF;i++){
            start = match($i,/([a-z-]*)="([^"]*)"/,a)
            key[a[1]] = a[2]
        }
        for(i=1;i<=nwant;i++){printf "%s ",key[want[i]]; key[want[i]] = ""}
        printf "\n"
}'

您称之为myscript srcip categoryname url.这将 awk 变量设置lhs为参数作为单个字符串，该字符串want在开始时被拆分为数组。这些行被 awk 划分为与模式匹配的字段键=“值”通过使用内置FPAT变量。

在每一行上，对于每个字段，我们将其分为match()2 个捕获组，分别用于键和双引号中的部分。这些由 awk 放入 array 中a，我们将它们保存在key由键字符串索引的关联数组中。

然后，对于每个想要的键，我们打印该值，并清除下一行的值（如果该行没有该键）。显然，这假设所有数据都具有所需的结构，并且需要更改来处理值内的 (") 或具有非字母字符的键。

4.0 之前的 gnu awk (gawk) 版本没有FPAT内置功能来将行拆分为与模式匹配的字段，因此您必须自己执行此操作：

#!/bin/bash
awk -v lhs="$*" '
BEGIN{ nwant = split(lhs,want) }
{       input = $0
        while(match(input,"[a-z-]*=\"[^\"]*\"")>0){
            field = substr(input,RSTART,RLENGTH)
            input = substr(input,RSTART+RLENGTH)
            start = match(field,/([a-z-]*)="([^"]*)"/,a)
            key[a[1]] = a[2]
        }
        for(i=1;i<=nwant;i++){printf "%s ",key[want[i]]; key[want[i]] = ""}
        printf "\n"
}'

显然，您可以将两个匹配调用合并为一个，但这显示了与原始匹配的差异。

Question 2

使用（符合 POSIX 标准）sed...

sed 's/.* srcip="\([^"]*\)" .* url="\([^"]*\)" .* categoryname="\([^"]*\)" .*/\1 \3 \2/' logfile

这里没有什么特别的，只需找到键并用括号包围值，\(..\)这允许它们用作反向引用。然后我们用空格分隔的后向引用替换字符串，并根据您的要求进行排序：\1 \3 \2。

输出：

10.11.12.13 Uncategorized https://website.net/
10.13.14.15 Education/Reference http://host.com/mini_banner.png

如果日志包含不具有所有这些键的字符串，那么您可以使用：

sed -n 's/.* srcip="\([^"]*\)" .* url="\([^"]*\)" .* categoryname="\([^"]*\)" .*/\1 \3 \2/p' logfile

这只会打印与模式匹配的行。

当然，如果您想以流式传输方式使用它们，只需删除文件名并执行[something sending logs to stdout] | sed ...

Answer