☰

为什么 Googlebot 无法访问有效且可访问的 URL？

tag-icon • tag-icon linux networking debian
为什么 Googlebot 无法访问有效且可访问的 URL？

有一段时间，我遇到了 Googlebot 无法抓取我的网站的问题（事实上，我遇到这个问题很长时间了，以至于我的网站实际上已被 Google 除名）。

在 Google 网站管理员工具中使用 Fetch As Googlebot 测试我的网站时，实际上返回了一个空白页：Googlebot 无法访问我的网站，并且无法提供任何可以解释无法访问的原因的诊断消息。

那是怎么回事？

答案1

事实证明，由于未知的原因，我的 Web 服务器上正确配置的网络服务使用/8网络掩码来显示其 IP 地址，而不是（在我的情况下）正确的网络掩码/24。

从我的服务器的路由表中手动删除有问题的条目并添加正确的条目解决了该问题，并且 Googlebot 现在又可以愉快地访问我的网络服务器了：

root@web:/# ip addr show eth0
3: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    inet 192.0.2.7/8 brd 192.255.255.255 scope global eth0
root@web:/# ip addr add 192.0.2.7/24 dev eth0
root@web:/# ip addr del 192.0.2.7/8 dev eth0
root@web:/# ip addr show eth0
3: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    inet 192.0.2.7/24 scope global eth0

（IP 地址已更改以保护无辜者。如果您通过该地址连接，则在删除不正确的条目之前添加正确的条目有助于保持 SSH 会话打开。）

相关内容