使用 sed 或 awk 删除近似重复项

使用 sed 或 awk 删除近似重复项

我目前使用以下方法来尽可能接近文件

cut -d ' ' -f 3- /var/log/issues.log | sed -E 's/[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}//g' | sort -u

到目前为止,它会删除每行开头的时间戳和 IP 地址。

然而我仍然留下了几十行格式

Failed login from for A
Failed login from for B
Failed login from for C
Failed login from for D
Failed login from for E
Invalid heartbeat 'A' from 
Invalid heartbeat 'B' from 
Invalid heartbeat 'C' from 
Invalid heartbeat 'D' from
Invalid heartbeat 'E' from

我将如何进一步修改命令以删除这些“近似”重复项并仅留下。A、B、C、D 和 E 可以是任何字符串。

Failed login from for 
Invalid heartbeat from 

谢谢

相关内容