这个问题很简单。我不想要一个 Google 帐户。我只希望 Google 停止每 2 分钟向它本不该知道的 URL 发出一次请求(显然,Google 不仅从实际网页中收集 URL,还从搜索请求和私人电子邮件中收集 URL)。
但是当我在 Google 上搜索有关删除 URL 的帮助时,我发现我必须使用他们的“网站管理员工具”,而这需要登录 GMail 帐户!
在不成为客户的情况下,我该如何告诉 Google 不要索引我的 URL?
注意:我已经使用重写规则对有问题的 URL 返回了 404 - 这对于每 2 分钟不断尝试获取页面的爬虫来说似乎没有任何区别。
答案1
您不需要 GMail 帐户,只需要一个 Google 网站帐户 - 您可以使用现有的电子邮件登录 Google 帐户,就像登录任何其他网站一样。
答案2
设置robots.txt文件来阻止来自搜索引擎的内容。
答案3
不允许机器人索引它。尝试:
<meta name="ROBOTS" content="NOINDEX, NOFOLLOW, NOARCHIVE, NOSNIPPET, NOODP, NOYDIR" />
在页面的头部。