![如果通过 robots.txt 拒绝爬虫访问目录,如果我直接链接,它还会索引该目录中的文件吗?](https://linux22.com/image/579539/%E5%A6%82%E6%9E%9C%E9%80%9A%E8%BF%87%20robots.txt%20%E6%8B%92%E7%BB%9D%E7%88%AC%E8%99%AB%E8%AE%BF%E9%97%AE%E7%9B%AE%E5%BD%95%EF%BC%8C%E5%A6%82%E6%9E%9C%E6%88%91%E7%9B%B4%E6%8E%A5%E9%93%BE%E6%8E%A5%EF%BC%8C%E5%AE%83%E8%BF%98%E4%BC%9A%E7%B4%A2%E5%BC%95%E8%AF%A5%E7%9B%AE%E5%BD%95%E4%B8%AD%E7%9A%84%E6%96%87%E4%BB%B6%E5%90%97%EF%BC%9F.png)
pdf
我拒绝索引名为via 的文件夹robots.txt
。但是,我确实直接链接到该目录中存在的几个文件。
Google 等搜索引擎是否会索引这些文件,或者因为它们位于pdf
文件夹中而忽略它们?
答案1
简短回答:不。
不允许爬虫程序索引您在 robots.txt 中输入的 URL 前缀下的任何内容。
较长的回答是:这得视情况而定。
该Allow
关键字不是标准的一部分,但有些机器人会遵循它。您可以使用它来允许特定 URL 并禁止整个子树包含该 URL。大多数机器人都以首次匹配获胜为基础。Google 和 Bing 则以最长字符串获胜为基础,而不管 和 行的顺序Allow
如何Disallow
。