如何限制 Googlebot 的抓取速度？

Question

我的一台服务器出了问题。Google 打开了大量与 Apache 服务器的 http 连接，基本上就是在执行 slowloris 攻击。

此 netstat 调用产生以下输出

netstat -plant|grep :80|awk '{print $5}'|cut -d: -f1|sort|uniq -c|sort -n

 11 209.85.227.93
 14 209.85.227.190
 30 209.85.229.118
494 209.85.229.141

所有这些 IP 都属于 Google 网络。我已经使用 robots.txt 禁止 Google 访问服务器上保存的任何内容，但这对大量的连接没有影响。我该怎么办？

Answer 1

进入谷歌网站管理员工具，输入节流。

其他几只蜘蛛尊重Crawl-delay中的指令robots.txt，但 Googlebot 没有。