![用于测量搜索爬虫的网络日志文件分析软件](https://linux22.com/image/525905/%E7%94%A8%E4%BA%8E%E6%B5%8B%E9%87%8F%E6%90%9C%E7%B4%A2%E7%88%AC%E8%99%AB%E7%9A%84%E7%BD%91%E7%BB%9C%E6%97%A5%E5%BF%97%E6%96%87%E4%BB%B6%E5%88%86%E6%9E%90%E8%BD%AF%E4%BB%B6.png)
我需要分析我网站上的搜索引擎抓取情况。有没有什么好工具可以分析?我试过 AWStats 和 Sawmill。但这两个工具都无法让我深入了解抓取情况。我需要了解一些信息,比如在某个时间段内,特定抓取工具抓取了我网站某个部分中多少个唯一/不同的网页。
由于 Google Analytics (分析) 采用 javascript 跟踪机制,因此它根本不跟踪抓取行为。
我需要分析我网站上的搜索引擎抓取情况。有没有什么好工具可以分析?我试过 AWStats 和 Sawmill。但这两个工具都无法让我深入了解抓取情况。我需要了解一些信息,比如在某个时间段内,特定抓取工具抓取了我网站某个部分中多少个唯一/不同的网页。
由于 Google Analytics (分析) 采用 javascript 跟踪机制,因此它根本不跟踪抓取行为。