禁止 xml robots.txt

Question

Google 网站站长常见问题解答建议从搜索中排除所有 xml 文件：

User-agent: Googlebot
Disallow: /*.xml$

这对于其他机器人来说也是合法的吗？

User-agent: *
Disallow: /*.xml$

Answer 1

是的，这是正确的。不过，其他机器人是否真正理解并服从则完全取决于它们自己！