我应该在 robots.txt 中阻止哪些机器人和蜘蛛？

Question

为了：

1. 提高我的网站的安全性
2. 降低带宽要求
3. 防止电子邮件地址被收集

Answer 1

任何收集电子邮件或测试您网站漏洞的机器人都不会尊重您的 robots.txt。事实上，这些恶意机器人会查看 robots.txt 以更好地映射您的网站。如果您有任何疑问，Disallow:这将被用来更好地攻击您的网站。手动查看您网站的黑客应该花额外的时间检查您试图禁止的任何文件/目录。

Answer 2

robots.txt 不会提高您网站的安全性或防止电子邮件地址被盗用。robots.txt 是搜索引擎跳过您网站部分内容的指南。这些内容不会被编入索引，应将其用于您不希望在公共搜索引擎中显示的任何部分。

但是，这绝不会阻止任何其他机器人下载您的整个网站以提高安全性或防止电子邮件收集。为了提高安全性，您需要添加身份验证，并且只允许经过身份验证的用户访问安全部分。为了防止电子邮件地址收集，请不要将电子邮件以纯文本（或易于解密的文本）的形式放在网站上。

Answer 3

robots.txt 不会帮助你保证安全。任何想做一些可疑事情的机器人都会忽略它。

Answer 4

也许您需要使用 CAPTCHA 代码，而不是 robots.txt。