我们在 Rackspace 上为 3 个 Web 服务器节点设置了一个简单的负载均衡器。在查看了我们的流量和费用后，最大的带宽占用者是 Google Bot。由于我们在 Rackspace 上按字节支付带宽费用，因此我们希望将所有来自 GoogleBot 的流量引导至另一台带宽不受限制的主机（MediaTemple）。
我们认为这将使我们每月的托管费用减少几千美元。
这可能吗？可取吗？
答案1
这是可行的，但会使您的基础设施复杂化，并且您需要在机架空间前面的某个地方（可能是 AWS）托管一个全局负载平衡器。此外，您还需要小心，如果 Googlebot 检测到这不是您的实时网站，那么这可能会损害您的排名。
其他选项包括，在监控排名的同时限制 googlebot，或者与 Rackspace 联系，看看他们一般能提供什么，根据我的经验，他们有一些优秀的人才可以在这里提供建议（公开和私下）。
认为最好的选择是识别 Google 正在抓取的页面内容并将其缓存在 CDN 上，带宽将被卸载到其他地方（应该更便宜），而且作为奖励，您还可以获得更具可扩展性的解决方案。