![使用 nginx 在特定页面上阻止 googlebot](https://linux22.com/image/701198/%E4%BD%BF%E7%94%A8%20nginx%20%E5%9C%A8%E7%89%B9%E5%AE%9A%E9%A1%B5%E9%9D%A2%E4%B8%8A%E9%98%BB%E6%AD%A2%20googlebot.png)
目前我们的爬取速度已经超出了我们的处理能力。
我似乎无法让 nginx 阻止 googlebot
server {
location /ajax/sse.php {
if ($http_user_agent ~* "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" ) {
return 403;
}
}
}
我们不得不在 php 脚本中阻止它 -
if ($_SERVER['HTTP_USER_AGENT'] == 'Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)') {
header('HTTP/1.0 403 Forbidden');
exit();
}
我的 nginx 配置有什么问题?
答案1
为什么不直接使用 robots.txt ?->https://support.google.com/webmasters/answer/6062596
在我的 nginx 日志中,googlebot 用户代理只是 googlebot/2.1 或“Googlebot/2.1 (+http://www.googlebot.com/bot.html)”
尝试这个
if ($http_user_agent ~ (googlebot) ) {
return 403;
}
或者
if ($http_user_agent ~* (google) ) {
return 403;
}