这lanl.arxiv.org数学和科学预印本服务（以前称为xxx.lanl.gov) 对忽略其 的机器人有严格的政策robots.txt，机器人要当心在该页面上，有一个链接标有“单击此处启动针对您网站的自动‘搜索并销毁’”，这是他们禁止的robots.txt但据推测，行为不当的机器人会遵循它，并承担后果。问题是，实际后果是什么？我从来没有勇气真正点击该链接看看它做了什么。他们能做什么既有效又合法的事情？
答案1
[反向 DNS 结果]：您已被识别为违反 arxiv.org 上发布的准则的机器人。
如果此判定有误，请报告至[电子邮件保护]这样您的问题就可以得到调查。
Scanning, Initialized:
10 minutes to Trinity...
9 minutes to Trinity...
8 minutes to Trinity...
7 minutes to Trinity...
6 minutes to Trinity...
5 minutes to Trinity...
4 minutes to Trinity...
3 minutes to Trinity...
2 minutes to Trinity...
1 minute to Trinity...
原爆点。祝您有美好的一天。
接触
所以...这是一个会浪费 10 分钟的页面非常幼稚机器人的时间。可能对对抗恶意机器人毫无用处，但在面对编写糟糕的网站抓取工具时可能会节省一些带宽。
答案2
除了旋转一小会儿之外，没有其他后果。大多数浏览器（可能还有它们的服务器）过一会儿就会超时。他们这样做可能只会给自己带来比机器人更大的伤害。