实时日志解析和报告

实时日志解析和报告

我们有一个小项目,我们正在业余时间进行,该项目在 Ubuntu 10.04 LTS 服务器上的 Nginx/MongoDB 上运行。我们希望能够查看有关服务器负载、请求数/秒、响应时间、数据库负载、数据库响应时间等方面的报告。是否有开源或免费(如 beer)工具可以解析此类日志并提供实时报告?

我简单研究了一下 Splunk,但我想看看是否还有其他值得推荐的。

答案1

您希望看到的大多数指标都可以通过相应的应用程序统计数据访问,这比日志分析更有效。并且有几个免费项目旨在收集此类指标、构建图表、检查边距、发送警告等。它们都设计为易于扩展,因此存在许多用于收集指标的插件,您可以编写自己的插件。我记得的主要项目名称是穆宁仙人掌石墨,但实际上还有更多。

Munin 是最古老的插件之一,即使在标准包中也有很多插件。从您的列表中:

  • 服务器负载Munin 有插件可以显示平均负载(LA)、iostat、vmstat
  • NginxMunin 有“nginx_request”(请求/秒)和“nginx_status”(特定状态下的连接数,即活动、读取、写入)
  • 响应时间据我所知,没有这样的插件。请参阅这个问题了解更多信息
  • MongoDBMongoDB 团队提供了几个 Munin 插件在 GitHub 上

答案2

您可以使用 shell 脚本执行此操作并将结果推送到 Ganglia gmetric 或 Nagios + PNP4Nagios。

答案3

据我所知,没有可用于测量请求/秒和响应时间的工具。仅回答您可能使用哪些工具来捕获和报告这些指标就足以写成一本厚书!

对于 Mongo,选择稍微简单一些。假设您不想从头开始,那么请查看 Server Desnity(托管公司)监控工具包

答案4

您可能想看看我们的 NGINX sFlow 模块以及 sFlowTrend。

NGINX sFlow 模块

sFlowTrend 增加了 Web 服务器监控功能

相关内容