☰

为何我的 robots.txt 不起作用？

tag-icon • tag-icon robots.txt
为何我的 robots.txt 不起作用？

我有这个 robots.txt：

User-Agent: *
Disallow: /files/

User-Agent: ia_archiver
Allow: /

User-agent: Googlebot 
Disallow: 

User-agent: googlebot-image 
Disallow: 

User-agent: googlebot-mobile 
Disallow:

我发现 /files/ 目录中的 PDF 文件已被 Google 编入索引。

我应该将第一个条目移至底部吗？

在使用 Google 的网站管理员工具时，我将 /files/disallow 移至底部，并对文件目录中的一个 PDF 文件运行测试，结果返回成功。

我该如何修复这个问题？我们不希望此目录中的任何内容被索引。

已编辑

即使我删除除第一条款之外的所有内容，

User-Agent: *
Disallow: /files/

Google 仍然能够看到 /files/ 目录中的 PDF，我在这里做错了什么？

在 Bing 的网站管理员工具中，它显示为被阻止，但 Google 仍然显示成功。

答案1

编辑：重新阅读标准。机器人将使用第一个匹配的名称标记，或回退到*。对于您要拒绝访问的每个机器人/files/，您需要添加匹配的disallow:

User-agent: *
Disallow: /files/

User-agent: Googlebot 
Disallow: /files/

http://www.robotstxt.org/如果你还没看过的话，这是一个很好的资源。

相关内容