名称服务器(?) 故障但不明显

Question

我已经在 vps 上建立了我的网站，该网站运行正常，但是我遇到了名称服务器的未知问题(?)。

基本上，我无法使用 w3 robots 或 google robots 抓取该网站。W3 说这是名称服务器问题，而 google 说这是 robots.txt 问题。

我 100％ 确定这不是我的 robots.txt 的问题，并且我已经重新安装了默认设置（站点是 Drupal），甚至尝试从服务器中删除所有 robots.txt。

因此，我认为这是名称服务器的问题，但是所有正向和向后检查的名称服务器检查器都表明没有问题，并且该网站在域名上运行没有问题。

我认为这是名称服务器的问题，因为我可以使用 w3.org 正确抓取 IP 地址并返回内容，但当我输入域名时，相同的服务会给出“500”错误。谷歌也有类似的问题，只是我无法检查 IP。

这可能是 Apache 配置问题吗？我真的不知道，而且在任何地方也找不到任何类似的问题。

我的网站是 mercadoingles.com，IP 是 31.200.242.26。我知道答案很明显是 robots.txt 出错了，但您可以看到文件 mercadoingles.com/robots.txt 是正确的，我真的不知道为什么该网站无法被正确抓取，

有什么好主意吗？

Answer 1

好吧 - 事实证明这只是一个临时错误，并且是在我配置服务器并更改 NS 和 DNS 设置时在 google 和 wc3 的缓存中。一个被拒绝的查询被缓存了，几天后它现在就可以正常工作了，不用担心！