我今天注意到一些奇怪的事情。
如果我去http://www.google.com/robots.txt，IE11 向我显示了 google 的 robot 文件的内容。但是，如果我使用相同的浏览器访问我的网站（仍在开发中）并将其指向 robots.txt，IE 会询问我是否要打开或将其保存到磁盘，如果我单击“打开”，它会在记事本中打开，而不是像 google 那样在浏览器中打开。
像谷歌那样做有什么区别吗（显然文件提供方式有所不同，那么这两种方法的优缺点是什么）？他们是如何做到的？我猜想 AddType/AddHandler 与此有关，但我不知道该怎么做。
以下是 Fiddler 为我的网站的 robots.txt 文件提供的信息：
HTTP/1.1 200 OK
Date: Thu, 02 Apr 2015 17:16:06 GMT
Server: Apache/2.4.9 (Win64) PHP/5.5.12
X-Powered-By: PHP/5.5.12
Content-Disposition: attachment; filename="robots.txt"
Content-Length: 33
Keep-Alive: timeout=5, max=100
Connection: Keep-Alive
Content-Type: text/plain
User-agent: *
Disallow: /images/
答案1
在“我的网站”上，该文件可供下载，因为内容配置标头：
Content-Disposition: attachment; filename="robots.txt"
到不是下载文件但在浏览器中呈现它 - 所需要做的就是删除该标题。
无论文件是否带有该标题都没有什么实际意义，因为目标受众（网络爬虫/机器人/非使用浏览器的人类）几乎肯定会忽略它。