防范来自 AWS 服务器的有问题的抓取工具 \ 轻度 DDoS

Question

我们目前遇到一个问题，即某些人拥有许多不同的 IP 地址，这些 IP 地址都属于 AWS，他们每秒向我们的公共服务器发出许多请求。用户代理是随机的，没有找到阻止连接的模式。我们尝试阻止整个 AWS IP 范围（成功了），但最终破坏了我们使用的某些服务（S3 上传等）。唯一不变的是，引用者始终设置为“google.com”，显然我们不想阻止它，因为这样就无法通过 Google 搜索访问我们的网站。

有任何想法吗？

Answer 1

我的第一个想法是浏览您的日志以查找“google.com”引荐来源，然后编写一个针对 IP 的 whois 查找脚本来检查哪些 IP 来自 AWS IP 空间，然后在防火墙的入站端口 80/443 TCP 上拒绝它们。

给你一个想法：

whois <ip> | grep Amazon
if [ $? -eq 0 ]; then
  <command to add IP to firewall reject/drop policy>
fi

如果我决定只是想要阻止它们，我就会这样做。如果这给你带来了性能问题，那么修复性能问题可能是明智之举，而不是只是阻止导致这些问题的原因。如果适用于您正在运行的网站类型，您可能需要研究使用 nginx 作为缓存反向代理或其他东西。