mod_security 与 OWASP CRS：将 googlebot 列入白名单的自定义规则

Question

我即将在启用 WHM/cPanel 的 CentOS 服务器（带有 apache）上使用带有 mod_security 的 OWASP CRS 规则。但我担心 Googlebot 可能会意外地被一条或另一条规则阻止。启用 OWASP CRS 后，如果我单独添加以下自定义规则，我的规则是否会阻止 Googlebot 被任何 CRS 规则阻止。以下规则是否会覆盖可能怀疑 Googlebot 的任何 CRS 规则。

建议的自定义规则：SecRule REMOTE_HOST googlebot.com$ allow,pass

更新：我的网站有数千个 URL，而谷歌的抓取率在每天 10K 到 50K 个 URL 之间。因此，很有可能 OWASP CRS 中的某些暴力规则会被 googlebot 触发。

Answer 1

在关于veryfying gooblebot，爬虫可能来自googlebot.com或google.com。

假设您不检查用户代理（很容易被欺骗），您需要执行以下操作：

SecRule REMOTE_HOST “@rx google(bot|)\.com$” “id:50000,nolog,allow”

此外，只有启用了 Apache 指令，此功能才会起作用HostnameLookups On。否则，您只能获取 IP。