以可搜索的格式存储日志文件

以可搜索的格式存储日志文件

我们希望将日志信息存储起来,以便于搜索,并长期可用。问题是需要存档的服务器有多个。

我研究过一些基于数据库的解决方案。数据库几乎是存储这些数据以便进行分析和搜索的唯一方法。问题是数据库有两种方式。大多数解决方案只关注存储数据,这可以看作是缺乏索引。索引很容易创建,但创建索引后,数据库就会开始失控。

我正在寻找一种能够在这两个极端之间取得平衡的解决方案。我希望拥有相对较好的搜索功能(搜索整个单词或 IP 地址),同时数据库保持相对较小。

为了更好地理解,我曾见过一个数据库,其数据量约为 4GB,仅仅因为索引,就增长到 40GB。

答案1

Splunk可能正是您正在寻找的。如果您更喜欢 FOSS 并且不需要 Splunk 的所有功能,请查看graylog2

相关内容