我们已经在服务器上设置了一个网站，并且网站使用 php 和 symfony 框架构建，因为我的要求是防止 Google 索引我的 robot.txt 并防止使用 .htaccess？
User-agent: *
Disallow:
那么如何预防和测试呢？
答案1
您的文件应该命名为：robots.txt
如果您可以在以下行看到文件的内容：http://youwebsite/robots.txt，那么它应该可以正常工作。否则，你可以用这个谷歌工具来测试它：https://support.google.com/webmasters/answer/6062598?hl=en