我们运营一个商业网站，任何时候的客户数量都相对较少，大约 30 个用户。
诸如 google bot、bing bot 和 80legs 之类的网络爬虫经常会使我们的网站陷入瘫痪。更改 robots.txt 不会立即产生效果。有没有办法立即停止 80legs？它使用不同的 IP。
答案1
从http://wiki.80legs.com/w/page/1114616/FAQ#HowdoInbspslowdown008whencrawlingmysite
如何在抓取我的网站时减慢 008 的速度？
最简单的解决方案是联系我们，让我们知道您希望我们以什么速率限制您网站上的抓取速度（以请求数/秒为单位）。
当然，您也可以检查用户代理和速率限制和/或完全阻止这些请求。