![域名服务器如何阻止 Google 机器人?](https://linux22.com/image/773550/%E5%9F%9F%E5%90%8D%E6%9C%8D%E5%8A%A1%E5%99%A8%E5%A6%82%E4%BD%95%E9%98%BB%E6%AD%A2%20Google%20%E6%9C%BA%E5%99%A8%E4%BA%BA%EF%BC%9F.png)
背景:我们的域名page.et
无法被 Google 访问适合移动设备的检查工具.et
和搜索控制台。我测试的所有其他域名似乎也都如此。
原因不是 robots.txt。Google 机器人甚至没有尝试连接到服务器(已通过验证tcpdump
)
我想了解以下内容的技术背景回答另一个有类似/相同问题的用户:
(来自俄语,通过谷歌翻译)
你好,Alexander!目前,我只了解到问题出在 .et 域名服务器方面 - 它们“阻止”了 Googlebot 因此,目前无论是您还是 Google,都没有机会直接影响此问题的解决。Google 专家正在尝试联系 NS .et 的代表来解决当前情况 不幸的是,没有关于何时解决此问题的保证/消息。
那么,域名服务器/区域如何“阻止” Google 机器人?又如何验证这种阻止?
该域名可以通过 Google 自己的域名服务器 8.8.8.8(已验证dig page.et @8.8.8.8
)进行解析,我相信 Google 机器人使用相同的域名服务器
备注:我也发布在网站管理员 Google 支持论坛中但在这里我想了解名称服务器如何阻止 Google 机器人或任何其他 HTTP 客户端访问网站的技术背景。
答案1
简而言之,Google 或任何其他名称服务器都必须递归到 .et 名称服务器才能访问其中的任何信息;如果他们集体阻止 Google,那么任何基于 URL 的请求都将失败,因为名称解析将失败。
这是一个过于简单的答案,但这是可能的。