我已将产品展示放在子域上，例如http://demo.domain.com/productname/。产品的演示版本位于http://demo.domain.com/productname/demo/。我想禁止抓取演示版本，有人可以帮我吗？
答案1
robots.txt 必须位于根目录中；如果您已将产品的演示版本放在子域的文件夹中，则需要更改子域 robots.txt 文件，该文件应为；http://demo.domain.com/robots.txt
robots.txt：
user-agent: *
disallow: /productname/demo
allow: /