Googlebot 请求中的奇怪查询字符串

Googlebot 请求中的奇怪查询字符串

Google 的索引机器人(编辑:是的,它是 Google,IP 解析)似乎正在向我们的主页添加任意查询字符串。

xx.xxx.xx.xxx - - [30/Jun/2009:10:14:37 -0400] "GET /?key=61680 HTTP/1.1" 200 3334 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
xx.xxx.xx.xxx - - [30/Jun/2009:10:16:58 -0400] "GET /?term=byron HTTP/1.1" 200 3184 "-" "DoCoMo/2.0 N905i(c100;TB;W24H16) (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)"

知道这些是做什么用的吗?

答案1

看起来 Googlebot 可能正在轻微探测您的网站,以查找可能的内容重复问题。或者查看您的网站是否正确处理不存在的文件(通过返回 404 响应标头)和/或虚假查询字符串。

也可能是测试看看如果你可能是某种链接农场如果虚假的查询请求提供某种不同的结果。

也有可能有人使用这些查询字符串参数链接到您的网站,而 Googlebot 只是返回查看发生了什么。如果是这种情况,请尝试找出谁以这种方式链接到您,看看您是否无法让他们更正他们的链接。

答案2

它们是否与其他 Googlebot 条目一起被发现?如果没有,则可能是 Googlebot 正在检查从其他网站到您的网站的链接,以验证与他们的算法的连接。这意味着其他网站使用这些 URL 链接到您的网站。我不知道垃圾邮件或链接域是否可以对这些 URL 做些什么。

由于我不一定了解 Googlebot 所做的一切,所以我当然可能是错的。

答案3

过去几天,Googlebot 一直在对我们的一个网站做同样的事情。它似乎插入了一个与我们使用的键匹配的查询字符串值,但在 Googlebot 提供字符串的地方,它期望一个整数。(例如,参数应该是 gb=22,但 Googlebot 正在寻找 gb=lkcvvzxxz)

更糟糕的是,Googlebot 正在将这些不良 URL 编入 Google 索引。

我很想看到这个问题的答案。我知道这应该是一条评论,但目前还没有在 severfault 上这样做的要点...

相关内容