grep 行缓冲起什么作用？

Question

这是我在脚本中用于获取grep实时数据的命令。它似乎无法正确提取实时数据，因为它漏掉了一些行。

tail -f <file> | fgrep "string" | sed 's/stuff//g' >> output.txt

以下命令会做什么？什么是“行缓冲”？

tail -f <file> | fgrep --line-buffered "string" | sed 's/stuff//g' >> output.txt

Answer 1

当以非交互方式使用时，大多数标准命令（包括）grep会缓冲输出，这意味着它不会立即将数据写入stdout。它会在写入之前收集大量数据（取决于操作系统，在 Linux 中，通常为 4096 字节）。

在您的命令中，grep的输出通过管道传输到stdin命令sed，因此grep缓冲其输出。

因此，--line-buffered选项导致grep使用行缓冲区，这意味着每次看到换行符时都写入输出，而不是默认等待达到 4096 字节。但在这种情况下，你grep根本不需要，只需使用tail+ sed：

tail -f <file> | sed '/string/s/stuff//g' >> output.txt

对于没有修改缓冲区选项的命令，您可以使用GNU coreutils stdbuf

tail -f <file> | stdbuf -oL fgrep "string" | sed 's/stuff//g' >> output.txt

打开行缓冲或使用-o0禁用缓冲。

笔记

• 标准输入输出缓冲