几个月前，我们在自己的 Web 服务器上安装了 JIRA（以及 Java），这是一个通过 Apache vhosts 托管多个网站的经典 LAMP。
然后，我们设置了域的 DNS 区域文件，以便让地址 jira.ourdomain.com 指向我们刚刚安装的 JIRA 应用程序，而 www.ourdomain.com 将保留为我们公司网站的地址。它工作正常（虽然经过数小时阅读文档和头痛，因为我们对 Java 一无所知）。
但最近我们注意到这个奇怪的网页：http://www.ourdomain.com/plugins/servlet/Wallboard/?dashboardId=10000 在搜索我们的公司/域名时出现在 Google 搜索结果中！
这是什么页面，如何隐藏它或完全禁止它被公众看到和访问？我一直在查看我们服务器上的 /opt/atlassian/jira/atlassian-jira/robots.txt 文件，并在其中添加了“Disallow *”，但我怀疑它与它没有任何关系。
答案1
解决方案确实是robots.txt文件。搜索引擎爬虫在索引网站之前会先检查它们。
对于 Jira，文件应位于$JIRA-INSTALL/atlassian-jira/robots.txt，在您的情况下似乎是/opt/atlassian/jira/atlassian-jira/robots.txt。但是，禁止所有搜索引擎的正确语法如下：
User-agent: *
Disallow: /
（第一行指定这适用于所有爬虫，第二行指定不应索引此域的所有内容）
请注意，Google 可能需要一段时间才能更新其搜索结果。为了加快更新速度，您可以声明内容已过期！ （故障排除页面中的更多信息）