因此，我正在寻找一个系统，该系统基本上会为每个没有特定 cookie 的访问者返回 401。我希望如果访问者/请求者是 Google，它就不会返回 401。
这是我拥有的以下代码，它似乎不起作用，但我不确定为什么。
基本上，我让它检查 cookie，然后通过用户代理检查它是否不是 google。
如果两者都属实，那么它将返回 401。
可能是因为当我通过网站管理员工具获取我的网站时，谷歌仍然会得到 401 错误。
答案1
这被称为伪装，如果 Google 发现您这样做，您的网站将被从 Google 上除名。
https://support.google.com/webmasters/answer/66355?hl=en
伪装是指向人类用户和搜索引擎呈现不同内容或网址的做法。伪装被视为违反 Google 网站站长指南，因为它会为用户提供与他们预期不同的结果。