我刚刚开始了一个相对较新的网站，并将其提交给 Google 等。我也使用 Google 的网站管理员工具。我想知道如何确定 Google 蜘蛛访问我网站的频率。我总是听到人们在论坛上谈论“我每小时抓取 250 个页面”等等... 有软件可以使用吗？类似于 Google Analytics 的 JavaScript 方法？或者有什么东西可以分析我的服务器日志？谢谢
答案1
只需检查网络服务器日志，看看访问者的User-Agent请求标头匹配/包含Googlebot. 有很多网络服务器日志分析工具，无论是免费还是付费软件。其中大多数还能够对机器人进行分类。从所有这些机器人中，我获得了最好的体验谷歌分析。
答案2
注册 Google 网站管理员中心（又名网站管理员工具），验证您的网站，然后等待统计数据出现。
答案3
Google Bot 不太可能在您的网站上运行任何跟踪其到达的 Javascript，因此最好的希望是查看网站日志本身 - 无论是在 webalizer 还是数百个其他日志文件解析器中，或者只是在文本编辑器中打开它们并运行正则表达式来提取 Google Bot 用户代理。
然后你应该看到它在一段时间内击中了多少次。如果击中次数太多，你可能需要考虑使用XML 网站地图
答案4
我推荐 Google 分析，它涵盖了你网站的所有访问，你可以判断访问者是否是机器人。它对你网站的 SEO 也非常有用，有助于增加访客数量。