![我如何阻止搜索引擎测试我的域名](https://linux22.com/image/1395369/%E6%88%91%E5%A6%82%E4%BD%95%E9%98%BB%E6%AD%A2%E6%90%9C%E7%B4%A2%E5%BC%95%E6%93%8E%E6%B5%8B%E8%AF%95%E6%88%91%E7%9A%84%E5%9F%9F%E5%90%8D.png)
我怎样才能屏蔽这个由我管理的网站(http://test.puttinout.com/),对于搜索引擎来说?
正如我所注意到的,Google 已将我们的大多数页面编入索引,但我们不需要 Google 为我们编入索引。
答案1
将 robots.txt 文件添加到您的根目录。因此,创建一个名为 Robots.txt 的文本文件,其中包含以下信息(这将阻止所有内容):
User-agent: *
Disallow: /
然后,将此文件上传到服务器上的网站根目录
在 Google 上搜索“robots.txt 文件”以获取更多详细信息(例如阻止某些页面,甚至某些机器人)
或者在元标记中使用 NOINDEX
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
由于该网站已被编入索引,您可能需要请求他们取消索引以下页面:https://support.google.com/webmasters/answer/164734?hl=en
因此,在记事本中添加以下内容
User-agent: *
Disallow: test.puttinout.com
将其命名为 robots.txt 并将其上传到您的根目录。
上述方法的问题是,它只适用于遵守 robots 文件的引擎。因此,另一种方法是,如果您有一个静态 IP 地址。只需将所有到您网站的连接(您的 IP 地址除外)转发到测试页面之外即可。
另一个选择是强制测试登录。这甚至可以是一个 javascript 密码,因为它不需要安全。然后,登录后,使用 cookie 或类似方法对用户进行身份验证。