☰

是否有一个工具可以对输入流进行优化？

tag-icon • tag-icon logging regex top stream
是否有一个工具可以对输入流进行优化？

我遇到过很多用例，在这些用例中，从（通常以换行符分隔的）流中获取输入并以类似 top 的方式对其进行汇总非常有用（请参阅 top、iotop 等）。一种即时数据透视表。

例如采取类似日志的输入：

I heard A from unit 1 and it said "Great!" 56
I heard A from unit 2 and it said "Oh no!" 42
I heard C from unit 1 and it said "Waiting for input." 33
I heard B from unit 3 and it said "Stopped." -1
...

由此，我们可以运行带有正则表达式和组指示符的工具：

topify [lineout] [regex] [name #1] [group #1] [name #2] [group #2] [All other columns name position]
     where:
         lineout is the number of lines before removing it from the display
         regex is a regex of the lines to match, complete with group indicators
         name #n is a string for the title of column n
         group #n is the number of the group in the regex

例如

topify '/^I heard ([A-Z]) from unit ([1-9]) and it said "(.*)" ([-0-9]*)$/' Unit 2 Status 1 Message 3 RetVal 4

这将以交互方式显示，以便可以选择/重新排序列等：

Unit Status Message            Retval
1    C      Waiting for input. 33
2    A      Oh no!             42
3    B      Stopped.           -1

我理解它的脆弱性，但如果它之前没有被构建过，我会感到非常惊讶，而且在构建之前我想检查一下。我也欣赏它写起来并不特别复杂，所以也许每个人都只是实施了自己的解决方案……

有人见过这样的工具吗？

（请原谅我在这里使用的标签。我知道我可能正在推行/违反某些标签的规则，但这非常普遍。欢迎提出建议。）

答案1

您不需要编写工具，标准的 unix 工具集就可以很好地满足您的需求。

#!/bin/bash
echo -e 'Unit\tStatus\tMessage\t\t\tRetval'
cat /var/log/filename | awk '{match($0,"\".*\"",a)}{print $6 "\t" $3 "\t" a[0] "\t\t" $NF}' |sort -k<fieldnum>

将其放入 .sh 文件中并对其进行监视。

相关内容