让 Google Apps 网站可公开访问，同时使用 robots.txt 禁用抓取工具？

Question

我想创建一个可公开访问的 Google Apps 网站（即用户无需经过身份验证即可访问内容）同时保持使用 Robots.txt 排除爬虫和机器人的政策。 有谁知道这是怎么做到的吗？

Answer 1

robots.txt 不会阻止交互式浏览器使用该网站。它仅供爬虫程序、feedreaders、递归下载工具等机器人使用（尽管后者会允许用户覆盖它）。