我如何阻止搜索引擎测试我的域名

我如何阻止搜索引擎测试我的域名

我怎样才能屏蔽这个由我管理的网站(http://test.puttinout.com/),对于搜索引擎来说?

正如我所注意到的,Google 已将我们的大多数页面编入索引,但我们不需要 Google 为我们编入索引。

查看Google 索引详细信息请点击此处

答案1

将 robots.txt 文件添加到您的根目录。因此,创建一个名为 Robots.txt 的文本文件,其中包含以下信息(这将阻止所有内容):

User-agent: *
Disallow: /

然后,将此文件上传到服务器上的网站根目录

在 Google 上搜索“robots.txt 文件”以获取更多详细信息(例如阻止某些页面,甚至某些机器人)

或者在元标记中使用 NOINDEX

<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

由于该网站已被编入索引,您可能需要请求他们取消索引以下页面:https://support.google.com/webmasters/answer/164734?hl=en

因此,在记事本中添加以下内容

User-agent: * 
Disallow: test.puttinout.com

将其命名为 robots.txt 并将其上传到您的根目录。


上述方法的问题是,它只适用于遵守 robots 文件的引擎。因此,另一种方法是,如果您有一个静态 IP 地址。只需将所有到您网站的连接(您的 IP 地址除外)转发到测试页面之外即可。


另一个选择是强制测试登录。这甚至可以是一个 javascript 密码,因为它不需要安全。然后,登录后,使用 cookie 或类似方法对用户进行身份验证。

相关内容