关于实时网络分析的思考

Question

我们有几个 Web 服务器，计划创建一个仪表板来显示实时统计 IP 地址、地理位置和其他基于数据库查找的自定义数据。Splunk 非常合适，但我想知道是否有任何开源替代方案。我看过 logstash 和 graylog2，但据我所知，它们更像是日志分析工具。Piwik 很有趣，只是我不能将任何 javascript 放在网页上。我只能访问 apache web 日志。请提供任何建议。

Answer 1

很好统计是一款实时日志分析器，具有仪表板、小部件、wingdings、门户、窗格等功能。您甚至可以根据自己的喜好使用插件对其进行自定义。

Answer 2

访客具有实时模式，可以向您显示基本信息，例如访问量最大的页面、最热门的时段/天，甚至可视化路径分析。

您还可以将 Apache 日志提供给 MySQL syslog-ng，然后使用前端，例如 日志记录（以前称为php-syslog-ng) 来查询数据。

顺便说一句，这是一个有趣的问题 - 我愿意倾听更好的解决方案！因此，对你的问题 +1。:)

Answer 3

为了什么目的？

网络分析实际上有两个分支 - 营销信息和性能信息（以及涵盖两者的用户界面设计）。

Google Analytics、Open Web Analytics、Piwik 以及程度较小的 AWstats、Analog 等主要用于收集营销信息（您的客户群是什么、他们在哪里、他们使用什么浏览器、转化率是多少……）。

性能方面没有提供太多选择 - 但 statsd +石墨提供出色的后端，用于存储和显示来自多个来源（日志、JavaScript 错误）的数据。我目前正在计划在后端安装此产品，并使用 Yahoo Boomerang 收集页面加载时间。请查看石墨烯了解它可以做什么的示例。编写（比如说）awk 脚本来解析日志并提供给后端将很简单。

还有像 PastMon 这样的工具可以嗅探和报告大量低级网络统计数据。或者 mrtg。

Answer 4

感谢大家的建议。我目前已在客户端上设置了 logstash，以将其访问日志发送到中央 rabbitmq 服务器，并使用另一个 logstash 实例将数据解析到 elasticsearch 中。使用 elasticsearch 的 RESTApi，我能够制作一些有趣的仪表板（例如访问 Web 服务器的用户的当前位置）。