需要高性能、分布式存储来自多台服务器的审计日志

Question

我有一个负载平衡的服务器群，需要将各种消息记录到审计日志中，这些消息将在稍后进行离线处理（这是一个医疗应用程序，因此必须对对患者记录的所有访问进行审计）。目前，日志以 XML 格式使用 NTEXT 数据类型存储到 SQL Server 数据库中，但我正在寻找一种性能更高的解决方案。实际上不需要 SQL，因为服务器不会查询日志，只会在稍后进行处理。

我需要一个快速、高可用性的解决方案。我研究过 Facebook 的 Scribe。有人能建议其他替代方案吗？服务器是 WCF 服务。

谢谢！

Answer 1

graylog2 怎么样？它使用 MongoDB 作为数据存储。

http://www.graylog2.org/

Answer 2

你可以看看Splunk基于软件的解决方案。 Q1 实验室还提供基于硬件的解决方案。

尽管我不得不承认，我有点惊讶你现在做事的方式无法跟上。

更具体地说明您的需求可能会有所帮助（即：潜在交易的数量、额外的日志文件类型等）

Answer 3

取决于你的需求系统日志工具可能就是您想要的。设置一个中央日志服务器（或多个），并让您的服务器群记录到您的日志服务器。然后，只要在必要时在日志服务器上运行日志分析器，而不会影响您的实际服务器。

syslog-ng 还能够从 Windows 服务器接收 syslog 事件，您只需在 Windows 上安装一个小服务即可。不过，我并没有立即记住它的名字，因为我通常不是 Windows 用户。

Answer 4

我决定研究一下 Flume (http://github.com/cloudera/flume）。如果我可以在 Windows 上构建它。它提供有保证的交付，这对我来说很重要。与 Scribe 不同。