Robots.txt - 无跟踪，无索引

Question

有人能给我解释一下在 robots.txt 文件中设置允许和禁止以及创建 No follow、No index 元标记之间的区别吗？是否可以在 robots.txt 文件中设置 no follow 和 no index？我看过了http://www.robotstxt.org/robotstxt.html并没有真正找到我想要的东西！谢谢

Answer 1

robots.txt 文件只会告诉机器人可以去哪里，不可以去哪里。它无权让机器人跟随链接进入另一个网站。nofollow、noindex 元标记将阻止兼容的机器人索引或跟随指定的链接或网页中包含的链接。

Answer 2

禁止机器人进入robots.txt特定页面与为该页面设置META标签具有同样的效果。noindex

标记META会nofollow阻止搜索引擎跟踪页面上的链接，即使它们被允许索引页面本身。没有robots.txt此版本。

noindex在动态网站上，某些情况下 可能很有用，因为robots.txt不够灵活。例如，如果您有一个系统，它生成类似 的 URL node/123，则必须使用 来根据文章中的某些数据阻止文章noindex，因为robots.txt只能根据 URL 本身的内容进行过滤。