我怎样才能屏蔽这个由我管理的网站(http://test.puttinout.com/),对于搜索引擎来说?
正如我所注意到的,Google 已将我们的大多数页面编入索引,但我们不需要 Google 为我们编入索引。
答案1
将 robots.txt 文件添加到您的根目录。因此,创建一个名为 Robots.txt 的文本文件,其中包含以下信息(这将阻止所有内容):
User-agent: *
Disallow: /
然后,将此文件上传到服务器上的网站根目录
在 Google 上搜索“robots.txt 文件”以获取更多详细信息(例如阻止某些页面,甚至某些机器人)
或者在元标记中使用 NOINDEX
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
由于该网站已被编入索引,您可能需要请求他们取消索引以下页面:https://support.google.com/webmasters/answer/164734?hl=en
因此,在记事本中添加以下内容
User-agent: *
Disallow: test.puttinout.com
将其命名为 robots.txt 并将其上传到您的根目录。
上述方法的问题是,它只适用于遵守 robots 文件的引擎。因此,另一种方法是,如果您有一个静态 IP 地址。只需将所有到您网站的连接(您的 IP 地址除外)转发到测试页面之外即可。
另一个选择是强制测试登录。这甚至可以是一个 javascript 密码,因为它不需要安全。然后,登录后,使用 cookie 或类似方法对用户进行身份验证。