检测 AWS 上的机器人

检测 AWS 上的机器人

我们使用 Angular 作为前端,编译后的 dist 文件夹上传到连接到负载均衡器的 S3 存储桶。为了使我们的网站能够为搜索引擎机器人正确呈现,我们实现了在 ec2 实例上运行的 Angular Universal。问题是在所有 AWS 服务中,我们可以使用哪一项来检测机器人(甚至允许脚本检测机器人)并重定向到 ec2 实例。或者有什么替代方法可以采取吗?我目前正在研究cloudfront 和lamba。

答案1

一种解决方案是通过 JavaScript 支持来隔离用户。

查看 duckduckgo.com?q=example 可以观察到以下内容;

<noscript>
    <meta http-equiv="refresh" content="0;URL=/html?q=example">
</noscript>

检查用户代理是另一种解决方案(例子)。

相关内容