![Googlebot 无法访问我的网站网站管理员工具回复无法访问 robots.txt](https://linux22.com/image/620003/Googlebot%20%E6%97%A0%E6%B3%95%E8%AE%BF%E9%97%AE%E6%88%91%E7%9A%84%E7%BD%91%E7%AB%99%E7%BD%91%E7%AB%99%E7%AE%A1%E7%90%86%E5%91%98%E5%B7%A5%E5%85%B7%E5%9B%9E%E5%A4%8D%E6%97%A0%E6%B3%95%E8%AE%BF%E9%97%AE%20robots.txt.png)
当我尝试在网站管理员工具中以 googlebot 的形式抓取我的网站时,它返回无法访问的 robots.txt,经过调查后我了解到 google bot 可以看到我的服务器:
tcpdump | grep google
它返回 google 可以使用 IP aa.bb.cc.xx 或 aa.bb.cc.yy 访问我的服务器。但是 access_log 或 error_log 或其他 apache 日志中没有任何内容。
cat access_log | grep google or cat error_log | grep aa.bb.cc.xx
其他机器人(bing,......)可以访问 apache,但谷歌不能。
robots.txt
我的或它的权限没有问题,因为如您所知robots.txt
,没有必要,所以我删除了它,但网站管理员工具再次返回“无法访问 robots.txt”,而不是 404 未找到!
服务器信息:
- 服务器操作系统:CentOS 6
- Web 服务器:Apache 2.x
- 防火墙:IPTables 已停止
- SELinux 已禁用
- 我没有考虑过其他有关我服务器的安全性的问题。
我该如何调查该问题?还有其他命令可以帮助我找到该问题吗?
答案1
您删除了该robots.txt
文件,当然它是“无法访问的”——Google 对其请求的响应出现 404 错误是因为该文件不存在。
如果该工具需要robots.txt
存在,那么您可能需要一个。