网络流量莫名激增

Question

问题

我怀疑流量莫名其妙地增加了 1600%，并且持续了大约 10 分钟，速度大幅下降。我不确定这是一次 DoS 攻击、字典登录攻击等。无论如何，我应该采取什么措施来监控我的服务器（我应该查看哪些日志、我应该使用什么工具等）以确保没有发生任何恶意事件？在未来出现此类减速时，我应该采取什么措施？有没有一种标准方法可以让服务器在流量激增时提醒我？

所有血腥细节：

我的一位客户今天 1:00 左右报告说网站（通过 Apache、Mongrel 和 CentOS 5 机器上的 mongrel_cluster 运行的 Ruby on Rails）没有响应。

当我在 1:15 收到电子邮件时，我正处于全面故障排除模式。ssh网页加载速度确实非常慢，但ping输出看起来不错（78 毫秒），而traceroute我位于丹佛的工作站显示从达拉斯到菲尼克斯服务器的中途某个特定跳转时间很慢（1611.978 毫秒 195.539 毫秒）。5 分钟后，网站恢复响应，traceroute现在正在通过圣何塞路由到菲尼克斯。我找不到任何明显的错误——系统负载看起来相当合理（0.05 0.07 0.09），我猜想这只是某个地方的网络问题。为了安全起见，我还是重启了机器。

几个小时后，我登录 Google Analytics 查看当天的情况。点击量激增：通常这个网站平均每小时有 6 次访问，但在 1:00 时，访问量达到 130 次（增长了 1600%）！几乎所有这些点击量似乎都来自遍布全球的 101 个不同的主机。每个访问者在网站上停留的时间都是 0 秒，每次访问都是直接访问（也就是说，网页并没有被 slashdotted），每次访问都是跳出。

自从 1:30 左右开始，一切就顺利了，我又恢复到平均每小时 6 次访问。

免责声明：

我是一名代码开发人员（不是系统管理员），必须维护运行我编写的代码的机器的 Web 服务器。

Answer 1

目前还不清楚您是从哪里 ping/跟踪的。但如果这是 traceroute 输出中间的一个跳跃，那么从 190 毫秒跳到 1600 毫秒可能意味着网络拥塞。如果这与您的事件和路由路径切换相关，则可能是您的提供商网络的一部分（包括您的服务器）受到了攻击。

您的问题没有单一的解决方案。有许多工具和方法，例如侦察， 基调，新遗物，纳吉奥斯等等。这全都取决于你。无论你决定做什么，都不要忘记一件事，如果你在服务器上监控某个东西，并且从该服务器监控，而该服务器不可用，你就失去了任何通知自己服务器已关闭的方法 :)

Answer 2

我会查看这些连接是否来自某种网络爬虫。来自以下应用程序的连接数量激增：http://www.majestic12.co.uk/

此特定服务的作用类似于 SETI@Home 或 Folding@Home，并将从分布式用户抓取的数据聚合回中心位置。Majestic12 使用以下浏览器代理：http://www.majestic12.co.uk/projects/dsearch/mj12bot.php

然而，Majestic 确实遵循 robots.txt 中配置的规则，因此您可以阻止它抓取您的网站，并且也有类似的抓取工具以这种分布式方式工作。

要确定是否是这种情况，您可以查看网络日志，尝试识别建立连接的用户代理。虽然报告并不总是正确，但它应该会给出指示，表明流量是否确实来自某种机器人。

如果您发现这些连接确实来自某种网络爬虫，您可以尝试使用 robots.txt 文件限制对它的访问。如果它们都来自特定的用户代理，您可以使用类似于下面的文件的内容要求它们不要抓取您的网站。

用户代理：MJ12bot（或任何可能的爬虫）

不允许： /