nginx proxy_pass 与动态上游服务器

Question

我们目前陷入了这样一种境地：我们正在使用nginx一组服务的主要前端服务器，这些服务由基于动态 DNS 的 Mesos-DNS 服务发现支持。

我们的 nginx 配置看起来有点像这样；

http {
  resolver 10.10.1.1 valid=1s; // some internal DNS server
}

server {
  set $core_api core-api-service.marathon.mesos; // some internal DNS
  location /api {
    proxy_pass $core_api:8080; // resolve core_api DNS dynamically to one of the IP's of the slave the process is running + listening on
  }
}

现在的问题是，这个设置可以正常工作，但是每 4-5 个请求中总有一个会导致 Nginx 返回 404，这是没有意义的，因为集群内运行的服务都没有移动到不同的从属服务器。

现在，解析器valid=1s非常激进，所以我们将其延长到更长的时间，认为这可能是查询 DNS 太频繁了。但那里的任何值都会导致同样的问题。删除valid=xx也无济于事。

这是怎么回事？我们该如何缓解这种情况？

谢谢。

编辑（完整配置）

server {
    listen       80;
    server_name  .myapp.com;
    return       301 https://www.myappname.com$request_uri;
}

server {
        listen   80;

        gzip on;
        gzip_min_length  1100;
        gzip_buffers  4 32k;
        gzip_types    text/plain application/x-javascript text/xml text/css;
        gzip_vary on;

        root /usr/share/nginx/www;
        index index.html index.htm;
        include /etc/nginx/mime.types;
        server_name api.myappname.com;
        error_page 404 /static/404.html;
        error_page 403 /static/404.html;
        error_page 503 /static/503.html;
        error_page 502 /static/502.html;
        set $core_api http://core_api.marathon.mesos;

        location /api {
                if ($http_x_forwarded_proto != 'https') {
                        rewrite ^ https://$host$request_uri? permanent;
                }
                limit_req   zone=one  burst=35;
                limit_req_status 503;
                proxy_pass            $core_api:8080;
                proxy_set_header      X-Real-IP  $remote_addr;
        }
}