我最近注意到我的主要生产服务器负载很大，经过一些日志解析后，我偶然发现大量用户代理来自大约 20 个不同的 IP：
173.244.182.194 - - [07/May/2013:16:26:17 +0200] “GET / HTTP/1.1” 302 490 “-” “Java/1.6.0_26” 173.244.182.194 - - [07/May/2013:16:26:18 +0200] “GET / HTTP/1.1” 200 17376 “-” “Java/1.6.0_26”
我猜测它是某种屏幕抓取工具，我设法使用 fail2ban 阻止了这些用户代理。
现在我很困惑，一旦禁令时间到期，来自 IP 的请求就会一遍又一遍地开始。我目前每天封锁大约 10 个 IP。
这是什么？ IP 来自服务器和个人用户，这是正常现象（例如那些不断尝试使用 SSH 登录的受感染服务器），我应该担心我的服务器安全吗？
答案1
该 User-Agent 是 Java 发出 HTTP 请求时的默认 User-Agent。这表明它是由懒得设置自定义 User-Agent 的程序员编写的。
即使它是合法的机器人，也可能写得不好。我会放心地屏蔽它。
我在自己的网络日志中看到过同一个 IP 地址（以及附近的其他几个 IP 地址）检索到看起来很垃圾的 URL，例如，/blog/there-are-some-diablo-3-gold-players.html还有带有垃圾Referer:标头的通用 URL，看起来就像他们刚刚搜索了色情内容。
我还看到它发送了POST /action/sign_in合法爬虫程序不应该发送的请求。它还会通过一个简短的正常（如果稍旧）浏览器列表更改其用户代理。