如何阻止搜索引擎索引特定的 URL

Question

我有一个不想被索引的 URL：

http://www.mysite.com/moduleA?param=secretkey

因此，当我在 Google 上搜索“mysite.com”时，我不希望上述链接出现在搜索结果中。

但是，以下网址是公开查看的一部分：

www.mysite.com/moduleA
www.mysite.com/moduleA?id=12345
www.mysite.com/moduleA/somepage.html

可以这样做吗？可以使用 robots 文件来实现此目的吗？

Answer 1

您可以做以下几件事：

• 在文件中阻止该 URL robots.txt。
• ROBOTS META当包含该参数时，在标题中输出一个标签。

但归根结底，任何秘密都不应该直接放在这样的 URL 中 - 并非所有网络爬虫都会遵守这些机器人指令，有些（垃圾邮件机器人等）会专门搜索并查看它们。