我想阻止一些恶意的搜索引擎机器人,例如 MJ12bot、YandexBot 和 Ezooms。我们在 directadmin 环境中有大约 200 个用户,我们想安装一个“插件”或“模块”来阻止这些请求,因为我们不想去每个网站将其添加到 .htaccess。
有没有适用于 directadmin 的插件或模块,它叫什么名字?
谢谢!
答案1
在 (/var/www/html) 下创建 robots.txt 文件,内容如下:
User-agent: YandexBot
User-agent: Ezooms
Disallow: /
将以下内容添加到您的 httpd.conf 文件中
Alias /robots.txt /var/www/html/robots.txt
此 robots.txt 文件现在将为您服务器上的所有虚拟主机提供服务,并覆盖您可能为各个主机提供的任何 robots.txt 文件。