我在加拿大某处租了一台服务器，用来托管我的一个网站。该网站有近 40 万个页面，我今天想索引它们。为此，我前段时间写了一个爬虫（见爬虫在 Stackoverflow.com 上）。现在，我很贪心，不想花太长时间，所以我运行了多个线程，导致每秒从我的 IP 发出 60 多个请求。几分钟后，我的服务器将我锁定。我仍然可以通过 FTP 进入，但无法通过 HTTP 进入。
作为服务器管理员或用户，您知道服务器通常如何处理这些情况吗？对 IP 进行永久或暂时禁止是否很常见，或者通常采取什么措施？
当然，一旦我恢复，我将以较少的请求重新运行我的软件。
答案1
看看 mod_evasive。根据您的描述，这可能是导致您被锁定的原因。
答案2
什么原因把你拒之门外？
这是您的服务器，因此您应该在访问这里之前了解/咨询您的提供商。服务器上可能存在一些您不知道的自动防火墙（挑剔：这在很大程度上说明了您作为管理员的能力），或者某些提供商防火墙会将您锁定（在这种情况下，实际上不是服务器在做任何事情）。