下面是我从 googlebot 获得的点击示例：
66.249.73.171 - - [19/Feb/2013:16:12:39 -0500] "GET /eghm-blah.php?pid=2855 HTTP/1.1" 200 1684 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
我的帖子设置为增加pid新帖子的页码...但是我最多pid只有 13 个。googlebot 一直在缓慢增加页码并寻找新帖子。当它尝试访问时，不会出现 404 错误，而是eghm-blah.php会显示一条消息，表示找不到您的帖子。
有没有什么方法可以阻止 googlebot 每天多次访问我的服务器并寻找不存在的 pid？
答案1
eghm-blah.php应该将返回代码设置为 404。您仍然可以在页面上显示任何您想要的内容，但返回代码需要为 404。