☰

如何阻止假冒谷歌蜘蛛和假冒网络浏览器访问？

tag-icon • tag-icon nginx robots.txt
如何阻止假冒谷歌蜘蛛和假冒网络浏览器访问？

最近我发现有人试图镜像我的网站。他们用两种方法：

  1. 假装是google蜘蛛，访问日志如下：

    89.85.93.235 - - [05/May/2015:20:23:16 +0800] "GET /robots.txt HTTP/1.0" 444 0 "http://www.example.com" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" "66.249.79.138"
79.85.93.235 - - [05/May/2015:20:23:34 +0800] "GET /robots.txt HTTP/1.0" 444 0 "http://www.example.com" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" "66.249.79.154"

    http_x_forwarded_for 地址是 google 地址。

  2. 假装是一个普通的网络浏览器。

我正在尝试使用以下配置来阻止他们的访问：

对于问题 1，我将检查 X_forward_for 地址。如果用户代理是蜘蛛，并且 X_forward_for 不为空。则阻止。我正在使用

map $http_x_forwarded_for $xf {
    default 1;
    "" 0;
}

map $http_user_agent $fakebots {
    default 0;
    "~*bot" $xf;
    "~*bing" $xf;
    "~*search" $xf;
}

if ($fakebots) {
    return 444;
}

通过这种配置，假冒的 Google 蜘蛛似乎无法访问我的网站根目录。但它们仍然可以访问我的 php 文件，但无法访问 js 或 css 文件。很奇怪。我不知道出了什么问题。

对于问题2中声明自己不是spider的user-agent，我会用ngx_lua生成一个随机值放到cookie中，然后检查他们能否传回这个值，如果不能传回，就说明他们是robot，拦截访问。

map $http_user_agent $ifbot {
    default 0;
    "~*Yahoo" 1;
    "~*archive" 1;
    "~*search" 1;
    "~*Googlebot" 1;
    "~Mediapartners-Google" 1;
    "~*bingbot" 1;
    "~*msn" 1;
    "~*rogerbot" 3;
    "~*ChinasoSpider" 3;
}

if ($ifbot = "0") {
    set $humanfilter 1;
}
    #below section is to exclude flash upload
if ( $request_uri !~ "~mod\=swfupload\&action\=swfupload" ) {
    set $humanfilter "${humanfilter}1";
}


if ($humanfilter = "11") {
    rewrite_by_lua '
    local random = ngx.var.cookie_random
    if(random == nil) then
        random = math.random(999999)
    end
    local token = ngx.md5("hello" .. ngx.var.remote_addr .. random)
    if (ngx.var.cookie_token ~= token) then
      ngx.header["Set-Cookie"] = {"token=" .. token, "random=" .. random}
      return ngx.redirect(ngx.var.scheme .. "://" .. ngx.var.host .. ngx.var.request_uri)
    end
    ';
}

但看起来，通过上述配置，google bot 也被阻止了，尽管它不应该被阻止。

最后一个问题是，我尝试使用“拒绝”来拒绝某个 IP 的访问。但似乎它仍然可以访问我的服务器。

在我的 http 部分：

deny  69.85.92.0/23;
deny  69.85.93.235;

但当我检查日志时，我仍然可以发现

69.85.93.235 - - [05/May/2015:19:44:22 +0800] "GET /thread-1251687-1-1.html HTTP/1.0" 302 154 "http://www.example.com" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)" "123.125.71.107"
69.85.93.235 - - [05/May/2015:19:50:06 +0800] "GET /thread-1072432-1-1.html HTTP/1.0" 302 154 "http://www.example.com" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)" "220.181.108.151"
69.85.93.235 - - [05/May/2015:20:15:44 +0800] "GET /archiver/tid-1158637.html?page=1 HTTP/1.0" 302 154 "http://www.example.com" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)" "180.76.5.196"
69.85.93.235 - - [05/May/2015:20:45:09 +0800] "GET /forum.php?mod=viewthread&tid=1131476 HTTP/1.0" 302 154 "http://www.example.com" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)" "123.125.71.53"

有人可以帮忙吗？

相关内容