我有这个 robots.txt 文件：
User-agent: *
Sitemap: Path_to_sitemap.xml
我的问题是，我还应该在其中添加其他内容吗？例如允许全部或类似内容？
谢谢
答案1
这是一个有效的 robots.txt。你可以阅读来自谷歌的这篇文章：http://www.google.com/support/webmasters/bin/answer.py?hl=en&answer=156449
答案2
取决于你想要什么 ;-) 你不必允许某些特殊内容，只需阻止 Google 和 Co. 不会抓取的内容。