可能重复:
Splunk 的替代品?
这个问题已经讨论过了,但已经过去了几个月,所以也许是时候重新讨论一下了:
顺便说一下,Splunk 很棒。但定价超出了我们的预期(今天我与 Splunk 交谈时,系统索引 5GB/天的数据的成本超过 30,000 美元。)
这比我们在 SQL Server 上花费的钱还要多(很多倍),也比我们在服务器机架上花费的钱还要多(很多倍),等等。
Splunk 销售团队说得对(我们花 3 万美元获得的价值和功能比花同样的钱自己构建系统要多),但这并不重要。Splunk 的成本实在是太高了(高出好几倍)。
所以,我们正在四处寻找!
有人在构建类似 Splunk 的系统吗?
我们的基本需求:
- 能够在多个 UDP 端口上监听系统日志消息
- 能够以异步方式索引传入数据
- 某种搜索引擎
- 某种用户界面
- 搜索引擎的 API(嵌入到我们的控制台中)
我们目前需要索引 3-5gb/天,但需要能够扩展到 10gb/天或更多。我们不需要太多的历史记录(30 天就足够了)。
我们使用 Windows 2008 和 2003 服务器。
感谢您的想法!
更新:我们花了两周时间研究商业和开源选项。我们的结论:写我们自己的(我们是一家软件公司……我们知道如何编写东西)。我们基于 mongodb 和 .NET 构建了一个很棒的系统,该系统在大约一个工程周内为我们提供了 MongoDB 所需的功能。我们现在已经完成了实施。我们使用两个 Mongodb 服务器(主服务器和从服务器),能够记录和索引任意数量的日志数据(5gb/天、15gb/天等),仅受磁盘空间限制。
更新更新(2012 年 12 月):我们继续使用我们的 mongodb 解决方案,它运行良好!如果我们今天构建它,我们会强烈考虑在 elasticsearch 之上构建它。
观察:这个领域需要一个价格为 1000-3000 美元的稳定解决方案。商业公司使用的许可模式基于“榨取数据中心运营人员”模式。这是他们的权利(当然!),但它为其他人进入他们留下了巨大的空间。我猜再过一两年就会出现一个真正有用的开源解决方案。
感谢大家的意见(即使是自我推销)。
答案1
logstash 是一款用于管理事件和日志的工具。您可以使用它来收集日志、解析日志并存储日志以供日后使用(例如,用于搜索)。说到搜索,logstash 附带一个 Web 界面,可用于搜索和深入查看所有日志。
https://www.elastic.co/products/logstash
虽然它的开发仍处于早期阶段,但听起来很有前景并且进展很快。
答案2
我心中没有以下的比较矩阵,尤其是与 splunk 进行比较时:
以下是一些可以完全操作的工具:
日志报告 http://www.logreport.org/
圈套: http://www.intersectalliance.com/projects/index.html
日志冲浪者: http://www.crypt.gen.nz/logsurfer/
日志分析器: http://loganalyzer.adiscon.com/
日志 2 的时间线: http://log2timeline.net/#download (这更像是一个“时间线”分析工具)
最后,如果您想自己进行一些编码,但可能有一个更具可扩展性的解决方案:(以下是收集日志数据的工具,它们不一定具有开箱即用的功能来搜索数据。)
霍努 https://github.com/jboulon/Honu
楚夸 http://wiki.apache.org/hadoop/Chukwa
水槽 http://archive.cloudera.com/cdh/3/flume/
编辑:添加了此比较链接: http://csgrad.blogspot.com/2010/07/guided-tour-of-hadoop-zoo-getting-data.html
编辑:添加Graylog2: 添加Logstash。Logstash 可能是目前最有可能成为“开源 Splunk 替代品”的。