域名服务器如何阻止 Google 机器人?

域名服务器如何阻止 Google 机器人?

背景:我们的域名page.et无法被 Google 访问适合移动设备的检查工具.et和搜索控制台。我测试的所有其他域名似乎也都如此。

原因不是 robots.txt。Google 机器人甚至没有尝试连接到服务器(已通过验证tcpdump

我想了解以下内容的技术背景回答另一个有类似/相同问题的用户:

(来自俄语,通过谷歌翻译)

你好,Alexander!目前,我只了解到问题出在 .et 域名服务器方面 - 它们“阻止”了 Googlebot 因此,目前无论是您还是 Google,都没有机会直接影响此问题的解决。Google 专家正在尝试联系 NS .et 的代表来解决当前情况 不幸的是,没有关于何时解决此问题的保证/消息。

那么,域名服务器/区域如何“阻止” Google 机器人?又如何验证这种阻止?

该域名可以通过 Google 自己的域名服务器 8.8.8.8(已验证dig page.et @8.8.8.8)进行解析,我相信 Google 机器人使用相同的域名服务器


备注:我也发布在网站管理员 Google 支持论坛中但在这里我想了解名称服务器如何阻止 Google 机器人或任何其他 HTTP 客户端访问网站的技术背景。

答案1

简而言之,Google 或任何其他名称服务器都必须递归到 .et 名称服务器才能访问其中的任何信息;如果他们集体阻止 Google,那么任何基于 URL 的请求都将失败,因为名称解析将失败。

这是一个过于简单的答案,但这是可能的。

相关内容