![让 Google Apps 网站可公开访问,同时使用 robots.txt 禁用抓取工具?](https://linux22.com/image/503489/%E8%AE%A9%20Google%20Apps%20%E7%BD%91%E7%AB%99%E5%8F%AF%E5%85%AC%E5%BC%80%E8%AE%BF%E9%97%AE%EF%BC%8C%E5%90%8C%E6%97%B6%E4%BD%BF%E7%94%A8%20robots.txt%20%E7%A6%81%E7%94%A8%E6%8A%93%E5%8F%96%E5%B7%A5%E5%85%B7%EF%BC%9F.png)
我想创建一个可公开访问的 Google Apps 网站(即用户无需经过身份验证即可访问内容)同时保持使用 Robots.txt 排除爬虫和机器人的政策。 有谁知道这是怎么做到的吗?
答案1
robots.txt 不会阻止交互式浏览器使用该网站。它仅供爬虫程序、feedreaders、递归下载工具等机器人使用(尽管后者会允许用户覆盖它)。
我想创建一个可公开访问的 Google Apps 网站(即用户无需经过身份验证即可访问内容)同时保持使用 Robots.txt 排除爬虫和机器人的政策。 有谁知道这是怎么做到的吗?
robots.txt 不会阻止交互式浏览器使用该网站。它仅供爬虫程序、feedreaders、递归下载工具等机器人使用(尽管后者会允许用户覆盖它)。