用于测量搜索爬虫的网络日志文件分析软件

Question

我需要分析我网站上的搜索引擎抓取情况。有没有什么好工具可以分析？我试过 AWStats 和 Sawmill。但这两个工具都无法让我深入了解抓取情况。我需要了解一些信息，比如在某个时间段内，特定抓取工具抓取了我网站某个部分中多少个唯一/不同的网页。

由于 Google Analytics (分析) 采用 javascript 跟踪机制，因此它根本不跟踪抓取行为。

Answer 1

明晰是一个类似于Splunk的前端界面。

Logstash应该能够帮助您满足您的需求。