我经常有更长的冗余日志文件，冗余是指文本块随着微小的变化而重复。文件的长度使得很难发现实际信息。我的想法是编写一个脚本，该脚本可以识别重复并通过用连续块的 diff 输出替换每个重复来减少文件。在开始之前，我想知道这样的工具（或者可能是 diff 的选项）是否已经存在。
答案1
您可能想看看用户 Drench 解决类似问题的方法，他在这个网站上给出了答案：https://unix.stackexchange.com/a/837/27616（即，使用git。允许仅存储差异，及时检索任何版本等。他提供了一个博客链接，其中包含有关优点/缺点/警告的附加信息）
答案2
你大多搜索在日志文件中，删除可能需要的信息并不是一个好主意。也就是说，有一些工具，例如logrotate，在一段时间后（比如每月）轮换日志文件，并且向 Google 询问“unix 日志文件搜索”会得到大约 500 万次点击（是的，这是一项常见任务）。