Splunk 非常昂贵:有哪些替代方案?

Splunk 非常昂贵:有哪些替代方案?

可能重复:
Splunk 的替代品?

这个问题已经讨论过了,但已经过去了几个月,所以也许是时候重新讨论一下了:

先前讨论过 Splunk 的替代方案

顺便说一下,Splunk 很棒。但定价超出了我们的预期(今天我与 Splunk 交谈时,系统索引 5GB/天的数据的成本超过 30,000 美元。)

这比我们在 SQL Server 上花费的钱还要多(很多倍),也比我们在服务器机架上花费的钱还要多(很多倍),等等。

Splunk 销售团队说得对(我们花 3 万美元获得的价值和功能比花同样的钱自己构建系统要多),但这并不重要。Splunk 的成本实在是太高了(高出好几倍)。

所以,我们正在四处寻找!

有人在构建类似 Splunk 的系统吗?

我们的基本需求:

  • 能够在多个 UDP 端口上监听系统日志消息
  • 能够以异步方式索引传入数据
  • 某种搜索引擎
  • 某种用户界面
  • 搜索引擎的 API(嵌入到我们的控制台中)

我们目前需要索引 3-5gb/天,但需要能够扩展到 10gb/天或更多。我们不需要太多的历史记录(30 天就足够了)。

我们使用 Windows 2008 和 2003 服务器。

感谢您的想法!

更新:我们花了两周时间研究商业和开源选项。我们的结论:写我们自己的(我们是一家软件公司……我们知道如何编写东西)。我们基于 mongodb 和 .NET 构建了一个很棒的系统,该系统在大约一个工程周内为我们提供了 MongoDB 所需的功能。我们现在已经完成了实施。我们使用两个 Mongodb 服务器(主服务器和从服务器),能够记录和索引任意数量的日志数据(5gb/天、15gb/天等),仅受磁盘空间限制。

更新更新(2012 年 12 月):我们继续使用我们的 mongodb 解决方案,它运行良好!如果我们今天构建它,我们会强烈考虑在 elasticsearch 之上构建它。

观察:这个领域需要一个价格为 1000-3000 美元的稳定解决方案。商业公司使用的许可模式基于“榨取数据中心运营人员”模式。这是他们的权利(当然!),但它为其他人进入他们留下了巨大的空间。我猜再过一两年就会出现一个真正有用的开源解决方案。

感谢大家的意见(即使是自我推销)。

答案1

logstash 是一款用于管理事件和日志的工具。您可以使用它来收集日志、解析日志并存储日志以供日后使用(例如,用于搜索)。说到搜索,logstash 附带一个 Web 界面,可用于搜索和深入查看所有日志。

https://www.elastic.co/products/logstash

虽然它的开发仍处于早期阶段,但听起来很有前景并且进展很快。

答案2

我心中没有以下的比较矩阵,尤其是与 splunk 进行比较时:

以下是一些可以完全操作的工具:

八爪女 http://www.octopussy.pm

日志报告 http://www.logreport.org/

圈套: http://www.intersectalliance.com/projects/index.html

日志冲浪者: http://www.crypt.gen.nz/logsurfer/

日志分析器: http://loganalyzer.adiscon.com/

日志 2 的时间线: http://log2timeline.net/#download (这更像是一个“时间线”分析工具)

最后,如果您想自己进行一些编码,但可能有一个更具可扩展性的解决方案:(以下是收集日志数据的工具,它们不一定具有开箱即用的功能来搜索数据。)

霍努 https://github.com/jboulon/Honu

楚夸 http://wiki.apache.org/hadoop/Chukwa

水槽 http://archive.cloudera.com/cdh/3/flume/

编辑:添加了此比较链接: http://csgrad.blogspot.com/2010/07/guided-tour-of-hadoop-zoo-getting-data.html

编辑:添加Graylog2: 添加Logstash。Logstash 可能是目前最有可能成为“开源 Splunk 替代品”的。

相关内容