处理带有时间戳的文本文件并每秒输出最后一行

Question 1

使用 GNU sort，你可以这样做：

<file.csv sort -r | sort -suk1,1.19

即sort按时间倒序排列，然后按时间顺序对结果进行排序，但仅考虑前 19 个字符以忽略亚秒，并使用（用于唯一）选择第一个（由于先前的和稳定的-u，这将是较新的一个）顺序）具有相同 19 个字符密钥的那些。sort-s

除了之外-k1,1.19，您还可以-t. -k1,1选择第一行之前的行部分.作为排序键。

如果输入文件已经按时间顺序排列，您可以将第一个替换sort为tac（或tail -r在某些系统上）。

Answer

使用 GNU sort，你可以这样做：

<file.csv sort -r | sort -suk1,1.19

即sort按时间倒序排列，然后按时间顺序对结果进行排序，但仅考虑前 19 个字符以忽略亚秒，并使用（用于唯一）选择第一个（由于先前的和稳定的-u，这将是较新的一个）顺序）具有相同 19 个字符密钥的那些。sort-s

除了之外-k1,1.19，您还可以-t. -k1,1选择第一行之前的行部分.作为排序键。

如果输入文件已经按时间顺序排列，您可以将第一个替换sort为tac（或tail -r在某些系统上）。

Question 2

是的，这是可能的：跟踪最后一秒和相应的行，每当秒发生变化时，输出记住的行：

awk -F. 'NR > 1 && lastsec != $1 { print lastline }
         { lastsec = $1; lastline = $0 }
         END { if (NR) print }'

Answer

是的，这是可能的：跟踪最后一秒和相应的行，每当秒发生变化时，输出记住的行：

awk -F. 'NR > 1 && lastsec != $1 { print lastline }
         { lastsec = $1; lastline = $0 }
         END { if (NR) print }'

Question 3

使用Python结合模块groupby中的方法itertools。

分组是在时间（第零字段）上完成的，并且从该组中，最后一个元素是该组的目标行。

python3 -c 'import itertools as it, sys
fs,rs = ofs,ors = ".","\n"
with open(sys.argv[1]) as f:
  print(*[list(group)[-1].rstrip(rs) for key,group in it.groupby(f,lambda x: x.split(fs)[0]) if key],sep=ors)
' file

流编辑器 sed 可以这样处理：

sed -Ee '
  $!N
  /^([^.]+\.).*\n\1/!P
  D
' file

本质上，我们比较两行连续的内容，特别是它们的第一个点分隔字段。只有当它们不匹配时，我们才会打印。

Answer