好的，目前我们正在限制目录 /Assets/ 在我们的 robots.txt 中被编入索引。/Assets/ 目录下有一个目录我想被编入索引 (/Assets/product_labels/)。除了将其移动到另一个目录之外，还有其他方法可以允许这个目录吗？
答案1
您可以明确指出Disallow要保持打开的文件夹的所有“兄弟”文件和文件夹。
Disallow: /Assets/Dir1
Disallow: /Assets/Dir2
Disallow: /Assets/DirN
Disallow: /Assets/File1
Disallow: /Assets/File1
Disallow: /Assets/FileN
只需将其排除/Assets/product_labels在外 — — 即可允许它。
此列表的生成可以自动进行，但请记住，必须对您Assets想要禁止的每个新目录或文件都执行此操作。
当然，如果你善于把它搬出product_labels去的话Assets，就会更干净。
答案2
“目前这有点尴尬，因为没有“允许”字段。简单的方法是将所有要禁止的文件放入单独的目录中，比如“stuff”，并将一个文件保留在此目录的上一级：” --> 引用自：www.robotstxt.org