☰

使用 nginx 防止抓取数据

tag-icon • tag-icon nginx ddos web-crawler flooding scraping
使用 nginx 防止抓取数据

今天早上，我们服务器上的爬虫程序疯狂地运行，每秒几乎访问我们的网站 100 次。

我们想为此增加保护。

我想我必须使用HttpLimitReq模块但我不想阻止允许 google/bing/...我该怎么做？

答案1

使用 Arno 的 Iptables 脚本并启用 IDS 插件。它将为您完成工作。关联

答案2

您也可以使用ngx_http_limit_conn_module

相关内容