☰

具有多个 VirtualHosts 的 Robots.txt

tag-icon • tag-icon virtualhost apache-2.4 robots.txt
具有多个 VirtualHosts 的 Robots.txt

apache 2.4.10我的网络服务器正在为以下域名运行（ ）不同的虚拟主机：

foo.example.com
bar.example.com
www.example.com
example.com

这是我的虚拟主机的配置文件：

<VirtualHost *:80>
        DocumentRoot /var/www/

        Redirect 404 /
        ErrorLog ${APACHE_LOG_DIR}/error.log
        CustomLog ${APACHE_LOG_DIR}/access.log combined
</VirtualHost>

<VirtualHost *:80>
        ServerName foo.example.com
        DocumentRoot /var/www/foo/

        ErrorLog ${APACHE_LOG_DIR}/foo-error.log
        CustomLog ${APACHE_LOG_DIR}/foo-access.log combined
</VirtualHost>

<VirtualHost *:80>
        ServerName bar.example.com
        DocumentRoot /var/www/bar/

        ErrorLog ${APACHE_LOG_DIR}/bar-error.log
        CustomLog ${APACHE_LOG_DIR}/bar-access.log combined
</VirtualHost>

<VirtualHost *:80>
        ServerName example.com
        ServerAlias www.example.com
        DocumentRoot /var/www/www/

        ErrorLog ${APACHE_LOG_DIR}/www-error.log
        CustomLog ${APACHE_LOG_DIR}/www-access.log combined
</VirtualHost>

我想知道如何处理该robots.txt文件。我希望我的所有域名都不被索引。

这是我的robots.txt文件：

User-agent: *
Disallow: /

我将其复制到了几个目录中，如下所示：

/var/www
     |-- foo
     |   |
     |   `-- robots.txt
     |
     |-- bar
     |   |
     |   `-- robots.txt
     |
     |-- robots.txt
     |
     `-- www
         |
         `-- robots.txt

这是一个恰当的配置？

答案1

我觉得还行，你为什么不试试看呢？如果它们都一样，你可能要考虑使用指向单个文档的链接，这样你只需要在一个地方进行更改。

还要记住，并非所有机器人都会遵守 robots.txt 文件，您最终可能不得不使用其他方式来阻止它们。

相关内容