![在 Apache 配置文件中阻止 GoogleBot](https://linux22.com/image/554050/%E5%9C%A8%20Apache%20%E9%85%8D%E7%BD%AE%E6%96%87%E4%BB%B6%E4%B8%AD%E9%98%BB%E6%AD%A2%20GoogleBot.png)
对于我的临时服务器,我正在尝试找出一种方法来完全阻止搜索引擎机器人,而不是单个 .htaccess 文件或 robots.txt 文件。这个想法是,当在临时服务器上创建新站点时,它是看不见的,也想不到的。有没有办法使用 apache 模块检测机器人的用户代理并在服务器范围内阻止该连接?
谢谢!
答案1
我的建议是屏蔽除已知良好的测试代理字符串之外的所有内容。这样你就可以屏蔽你从未听说过的机器人。你也可以使用 %{REMOTE_ADDR} 屏蔽除已知良好的 IP 集之外的所有 IP。
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} !YourTestingAgent
RewriteRule (.*) /404.html