Linux 日志文件结构改变，异常（？）sed 行为

Question 1

将 GNU Sed 与固定宽度字段一起使用

由于输出的格式似乎被格式化为固定宽度字段，因此您只需从每行中删除前 50 个字符即可获得所需的数据。例如：

sed -r 's/^.{50}//' /tmp/corpus

Answer

将 GNU Sed 与固定宽度字段一起使用

由于输出的格式似乎被格式化为固定宽度字段，因此您只需从每行中删除前 50 个字符即可获得所需的数据。例如：

sed -r 's/^.{50}//' /tmp/corpus

Question 2

每当您看到包含列中数据的文本文件时，请考虑awk.这是简单地完成的awk：

$ awk '{print $NF}' file 
E..Dh.@.@.%.....
...$.....0..1203
12.78606,.3,...0
.153,.-0.153,..9
.960

E..Dh.@.@.%.....
...$.....0..1203
12.83611,.3,..-0
.153,.-0.460,..9
.960

E..Dh.@.@.%.....
...$.....0..1203
12.88615,.3,..-0
.153,.-0.306,..9
.807

E..Dh.@.@.%.....
...$.....0(.1203
12.93615,.3,...0
.153,.-0.153,..9
.807

特殊变量NF是当前行的字段数。因此，$NF是该行的最后一个字段。该awk脚本仅遍历文件的每一行并打印最后一个字段。

perl如果您愿意，您也可以这样做：

perl -lane 'print $F[$#F]' file

或者甚至使用 GNU grep：

grep -oP '.+\s\s*\K[^\s]+' file1

或者，如果您sed出于某种原因确实想要一种方法，请使用 GNU sed （或接受扩展正则表达式的任何其他版本）并且：

 sed -r 's/.* +([^ ]+) *$/\1/' file

上面的命令查找以一个或多个空格 ( .* +) 结尾的最长字符串，然后查找最长的非空格字符串 ( [^ ]+)，然后查找 0 个或多个空格 ( *) 并用捕获的模式替换整个字符串（这就是括号的作用）。尽管如此，如果文件包含非空格空格，这仍然会失败。 awk 是迄今为止最好的工具。

Answer

每当您看到包含列中数据的文本文件时，请考虑awk.这是简单地完成的awk：

$ awk '{print $NF}' file 
E..Dh.@.@.%.....
...$.....0..1203
12.78606,.3,...0
.153,.-0.153,..9
.960

E..Dh.@.@.%.....
...$.....0..1203
12.83611,.3,..-0
.153,.-0.460,..9
.960

E..Dh.@.@.%.....
...$.....0..1203
12.88615,.3,..-0
.153,.-0.306,..9
.807

E..Dh.@.@.%.....
...$.....0(.1203
12.93615,.3,...0
.153,.-0.153,..9
.807

特殊变量NF是当前行的字段数。因此，$NF是该行的最后一个字段。该awk脚本仅遍历文件的每一行并打印最后一个字段。

perl如果您愿意，您也可以这样做：

perl -lane 'print $F[$#F]' file

或者甚至使用 GNU grep：

grep -oP '.+\s\s*\K[^\s]+' file1

或者，如果您sed出于某种原因确实想要一种方法，请使用 GNU sed （或接受扩展正则表达式的任何其他版本）并且：

 sed -r 's/.* +([^ ]+) *$/\1/' file

上面的命令查找以一个或多个空格 ( .* +) 结尾的最长字符串，然后查找最长的非空格字符串 ( [^ ]+)，然后查找 0 个或多个空格 ( *) 并用捕获的模式替换整个字符串（这就是括号的作用）。尽管如此，如果文件包含非空格空格，这仍然会失败。 awk 是迄今为止最好的工具。

Question 3

不要使用sed -u——它不会做你想的那样。任何缓冲sed都会对您有利，因为它将有助于提高sed的处理速度，而不是其他。sed -u实际上仅在您想要q在非常特定的点上进行输入并确保sed不会消耗超出该点的输入的情况下才有用。

例如：

printf %s\\n line1 line2 | {
    sed -u =\;1q
    sed =
}

...打印...

1
line1
1
line2

...但是如果-u不使用该标志只会打印...

1
line1

...因为第一个sed将尝试用每次调用填充其缓冲区并在第二个有机会查看它之前read()消耗整个缓冲区。给定任何合理长度的输入，将显着降低的处理速度，因为它必须每行执行一次。|pipesedsed -usedread()

然而，这不是你的问题。

你的问题是你工作太努力了。做：

sed 's/.* //' <infile >outfile

这将删除一行中直到并包括最后出现的空格的所有内容。这样你就会得到你想要的输出。

@CodeGnome 说得对，这不是一个可靠的方法。虽然它适用于您显示的数据，但另一种更可靠的方法可能是：

sed 's/   */\n/2;s/.*\n//'

这会将第二次出现的两个或多个连续空格替换为\newline 字符，然后删除其之前的所有内容。\n在模式空间中获取 ewline 字符只有一种方法sed，那就是将其放在那里。

Answer

不要使用sed -u——它不会做你想的那样。任何缓冲sed都会对您有利，因为它将有助于提高sed的处理速度，而不是其他。sed -u实际上仅在您想要q在非常特定的点上进行输入并确保sed不会消耗超出该点的输入的情况下才有用。

例如：

printf %s\\n line1 line2 | {
    sed -u =\;1q
    sed =
}

...打印...

1
line1
1
line2

...但是如果-u不使用该标志只会打印...

1
line1

...因为第一个sed将尝试用每次调用填充其缓冲区并在第二个有机会查看它之前read()消耗整个缓冲区。给定任何合理长度的输入，将显着降低的处理速度，因为它必须每行执行一次。|pipesedsed -usedread()

然而，这不是你的问题。

你的问题是你工作太努力了。做：

sed 's/.* //' <infile >outfile

这将删除一行中直到并包括最后出现的空格的所有内容。这样你就会得到你想要的输出。

@CodeGnome 说得对，这不是一个可靠的方法。虽然它适用于您显示的数据，但另一种更可靠的方法可能是：

sed 's/   */\n/2;s/.*\n//'

这会将第二次出现的两个或多个连续空格替换为\newline 字符，然后删除其之前的所有内容。\n在模式空间中获取 ewline 字符只有一种方法sed，那就是将其放在那里。

Question 4

你必须这样做：

paste  -d ""  <( awk {'print $10'}  yourfile )  <( cut -b 51 yourfile ) <( cut -b 52 yourfile ) <( cut -b 53 yourfile )  <( cut -b 54 yourfile )

输出是：

E..Dh.@.@.%.....E..D
...$.....0..1203...$
12.78606,.3,...012.7
.153,.-0.153,..9.153
.960

E..Dh.@.@.%.....E..D
...$.....0..1203...$
12.83611,.3,..-012.8
.153,.-0.460,..9.153
.960

E..Dh.@.@.%.....E..D
...$.....0..1203...$
12.88615,.3,..-012.8
.153,.-0.306,..9.153
.807

E..Dh.@.@.%.....E..D
...$.....0(.1203...$
12.93615,.3,...012.9
.153,.-0.153,..9.153
.807

Answer

你必须这样做：

paste  -d ""  <( awk {'print $10'}  yourfile )  <( cut -b 51 yourfile ) <( cut -b 52 yourfile ) <( cut -b 53 yourfile )  <( cut -b 54 yourfile )

输出是：

E..Dh.@.@.%.....E..D
...$.....0..1203...$
12.78606,.3,...012.7
.153,.-0.153,..9.153
.960

E..Dh.@.@.%.....E..D
...$.....0..1203...$
12.83611,.3,..-012.8
.153,.-0.460,..9.153
.960

E..Dh.@.@.%.....E..D
...$.....0..1203...$
12.88615,.3,..-012.8
.153,.-0.306,..9.153
.807

E..Dh.@.@.%.....E..D
...$.....0(.1203...$
12.93615,.3,...012.9
.153,.-0.153,..9.153
.807

Linux 日志文件结构改变，异常（？）sed 行为

答案1

将 GNU Sed 与固定宽度字段一起使用

答案2

答案3

答案4

相关内容