有没有办法通过 IIS 管理控制台禁止机器人抓取整个网站

Question

我可以通过 IIS 设置做与 robots.txt 相同的事情吗？告诉

User-agent: * Disallow: / 

在主机头中还是通过 web.config？

Answer 1

不，这不是指定的方式。要么有 ，要么有robots.txtHTML-Meta-Tag，如中所述http://en.wikipedia.org/wiki/Meta_element#The_robots_attribute

仅有这两个选项可用。

Answer 2

您可以使用存储在 Web 服务器上某个位置的单个 robots.txt 文件，并将所有对 IIS 服务器上托管的任何站点的请求重定向到该文件的 robots.txt。这将是 IIS 中每个站点的更改，但您可以使用 PowerShell 以编程方式执行此操作。