中国境内“Mozilla/5.0 (compatible; MSIE 6.0; Windows NT 5.0)”机器人定期启动 HTTP 下载

Question

大约两个月以来，有人使用标题中的虚假 UA 字符串每天下载我们在 AWS 上托管的软件包 (~20 MiB，.tar.gz) 约 600 次。HTTP 引用者设置为包含该下载链接的合法页面。

我还没有进行更详细的分析，但 IP 似乎总是来自中国，没有设置反向查找记录。有趣的是，连接总是在大约 1MB 后关闭。

整个过程总计每月有几十 GB 的流量 —— 显然，从总体来看这只是个很小的量，但仍然足以让我好奇到底发生了什么，假设我们不是唯一被该机器人“抓取”的对象。

您是否曾在自己的系统上看到过类似的东西？知道这里可能正在运行什么样的机器人吗？

Answer 1

此字符串属于 Thunder Downloader（又名迅雷)，一款中文下载管理器。

它所做的众多恶劣事情之一就是提供资源的直接下载链接。
例如，安娜访问你的页面并justin-bieber-baby.mp4使用迅雷下载。迅雷将文件的 URL 和哈希值保存在其服务器上。
第二天，贝蒂B~A~B~Y.mp4使用迅雷从另一个网站下载，迅雷也保存了文件的 URL 和哈希值。现在迅雷知道这两个文件是相同的。
第三天，当凯茜B~A~B~Y.mp4从那个网站下载时，迅雷也从你的网站下载了该文件的一部分（使用你的网站作为加速器）。
这意味着，凯茜没有访问你的网站，但你必须为她提供带宽。
想象一个热门文件（~100MB），数百万人^*1都想下载。它可能花费你~100GB 的带宽，但只给你带来一个访问者。

所以我认为最好阻止这个用户代理。

_{*1：截至 2012 年，迅雷用户数约为 4 亿。}

Answer 2

Windows 2000？我会禁用它然后忘掉它。反正现在也没人用 Windows 2000 了。（不过我相信我们很多人都知道还有一台在某处运行……）