我的情况很棘手，百度蜘蛛每天攻击我的网站，占用大约 3Gb 的带宽。同时我在中国做生意，所以不想直接屏蔽它。
有没有人遇到过类似的情况（任何蜘蛛）？你有没有找到神奇的解决方案？或者你只是接受它并阻止或不阻止机器人？
答案1
只要遵循 robots.txt，你就可以限制请求
User-agent: *
Crawl-delay: 10
百度蜘蛛每天造成 3Gb 的流量 - 但我在中国做生意
我的情况很棘手，百度蜘蛛每天攻击我的网站，占用大约 3Gb 的带宽。同时我在中国做生意，所以不想直接屏蔽它。
有没有人遇到过类似的情况（任何蜘蛛）？你有没有找到神奇的解决方案？或者你只是接受它并阻止或不阻止机器人？
只要遵循 robots.txt，你就可以限制请求
User-agent: *
Crawl-delay: 10