如何在 robots.txt 中禁止特定路径

Question

我想禁止/path但也想允许/path/another-path。robots.txt我已经尝试过：

Disallow: /path

或者：

Disallow: /path$ 

但不起作用，我的意思是它/path/another-path也被阻止了。可以这样做吗？任何帮助都将不胜感激。

Answer 1

您可以使用Allow。但请注意，它不是原始“规范”的一部分，不过，有些搜索引擎支持它。

User-agent: *
Allow: /path/another-path
Disallow: /path/

看http://en.wikipedia.org/wiki/Robots_exclusion_standard#Allow_directive， 例如。