为何我的 robots.txt 不起作用?

为何我的 robots.txt 不起作用?

我有这个 robots.txt:

User-Agent: *
Disallow: /files/

User-Agent: ia_archiver
Allow: /

User-agent: Googlebot 
Disallow: 

User-agent: googlebot-image 
Disallow: 

User-agent: googlebot-mobile 
Disallow: 

我发现 /files/ 目录中的 PDF 文件已被 Google 编入索引。

我应该将第一个条目移至底部吗?

在使用 Google 的网站管理员工具时,我将 /files/disallow 移至底部,并对文件目录中的一个 PDF 文件运行测试,结果返回成功。

我该如何修复这个问题?我们不希望此目录中的任何内容被索引。

已编辑

即使我删除除第一条款之外的所有内容,

User-Agent: *
Disallow: /files/

Google 仍然能够看到 /files/ 目录中的 PDF,我在这里做错了什么?

在 Bing 的网站管理员工具中,它显示为被阻止,但 Google 仍然显示成功。

答案1

编辑:重新阅读标准。机器人将使用第一个匹配的名称标记,或回退到*。对于您要拒绝访问的每个机器人/files/,您需要添加匹配的disallow:

User-agent: *
Disallow: /files/

User-agent: Googlebot 
Disallow: /files/

http://www.robotstxt.org/如果你还没看过的话,这是一个很好的资源。

相关内容