我在 robots.txt 中的 User-agent: * 下屏蔽了一个页面，并尝试在网站站长工具中手动从 Google 缓存中删除该 URL。Google 说它没有在我的 robots.txt 中被屏蔽，所以我随后在 User-agent: GoogleBot 下专门屏蔽了它，并再次尝试将其删除，这次成功了。这是否意味着 Google 不尊重 User-agent: * 还是其他原因？
答案1
GoogleBot 应该会正确遵循 的规则User-agent: *，但是它不会更新缓存，直到 GoogleBot 再次抓取您的网站，这需要一些时间。Google 没有公布两次抓取之间的确切最短时间，但我猜测大约是 15 到 30 分钟。
答案2
传入链接也会使 URL 被 Google 编入索引。它不会有实际内容的索引
答案3
如果网站管理员工具显示 robots.txt 未阻止该链接，那么我认为您的 robots.txt 文件中一定存在错误。Google 绝对尊重 User-Agent，因此肯定存在其他问题。您可以通过 Google 网站管理员工具下的帮助页面详细查看 robots.txt。
根据我的经验，索引删除需要 24-48 小时，尽管我也见过最短 5 小时就能删除的。