如何在其他 nginx 服务器前使 nginx 反向代理缓存无效?

如何在其他 nginx 服务器前使 nginx 反向代理缓存无效?

我在单个 IP 地址上运行 Proxmox 服务器,它将根据请求的主机将 HTTP 请求分派到容器。

proxy_pass我在 Proxmox 端使用 nginx 来监听 HTTP 请求,并且在不同的块中使用指令server根据 来分派请求server_name

我的容器在 Ubuntu 上运行,并且还运行 nginx 实例。

我在某个完全静态的网站上缓存时遇到了麻烦:在文件更新后,nginx 一直为我提供过时的内容,直到我:

  • 清除 /var/cache/nginx/ 并重新启动 nginx
  • 或者设置proxy_cache off此服务器并重新加载配置

这是我的配置的详细信息:

在服务器(proxmox)上:

/etc/nginx/nginx.conf

user www-data;
worker_processes 8;
pid /var/run/nginx.pid;

events {
    worker_connections 768;
    # multi_accept on;
    use epoll;
}

http {

    ##
    # Basic Settings
    ##

    sendfile on;
    #tcp_nopush on;
    tcp_nodelay on;
    #keepalive_timeout 65;
    types_hash_max_size 2048;
    server_tokens off;

    # server_names_hash_bucket_size 64;
    # server_name_in_redirect off;

    include /etc/nginx/mime.types;
    default_type application/octet-stream;

    client_body_buffer_size 1k;
    client_max_body_size    8m;
    large_client_header_buffers 1 1K;
    ignore_invalid_headers on;

    client_body_timeout 5;
    client_header_timeout 5;
    keepalive_timeout 5 5;
    send_timeout 5;
    server_name_in_redirect off;

    ##
    # Logging Settings
    ##

    access_log /var/log/nginx/access.log;
    error_log /var/log/nginx/error.log;

    ##
    # Gzip Settings
    ##

    gzip on;
    gzip_disable "MSIE [1-6]\.(?!.*SV1)";

    gzip_vary on;
    gzip_proxied any;
    gzip_comp_level 6;
    # gzip_buffers 16 8k;
    gzip_http_version 1.1;
    gzip_types text/plain text/css application/json application/x-javascript text/xml application/xml application/xml+rss text/javascript;


    limit_conn_zone $binary_remote_addr zone=gulag:1m;
    limit_conn gulag 50;

    ##
    # Virtual Host Configs
    ##

    include /etc/nginx/conf.d/*.conf;
    include /etc/nginx/sites-enabled/*;
}

/etc/nginx/conf.d/proxy.conf:

proxy_redirect          off;
proxy_set_header        Host            $host;
proxy_set_header        X-Real-IP       $remote_addr;
proxy_set_header        X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_hide_header       X-Powered-By;
proxy_intercept_errors  on;
proxy_buffering         on;

proxy_cache_key         "$scheme://$host$request_uri";
proxy_cache_path        /var/cache/nginx levels=1:2 keys_zone=cache:10m inactive=7d max_size=700m;

/etc/nginx/sites-available/my-domain.conf:

server {
    listen 80;
    server_name .my-domain.com;

    access_log off;

    location / {
            proxy_pass http://my-domain.local:80/;
            proxy_cache cache;
            proxy_cache_valid 12h;
            expires 30d;
            proxy_cache_use_stale error timeout invalid_header updating;
    }
}

在容器(my-domain.local)上:

nginx.conf: (所有内容都在主配置文件中——很快就完成了……)

user  www-data;
worker_processes  1;

error_log  logs/error.log;

events {
    worker_connections  1024;
}


http {
    include       mime.types;
    default_type  application/octet-stream;

    sendfile        on;
    #tcp_nopush     on;

    keepalive_timeout  65;

    gzip  off;

    server {
        listen       80;
        server_name  .my-domain.com;
        root /var/www;

        access_log  logs/host.access.log;
    }
}

在决定发布我自己的问题之前,我已经阅读了许多博客文章和答案……我看到的大多数答案都建议设置sendfile off;,但是对我来说没用。我尝试了许多其他方法,仔细检查了我的设置,一切似乎都很好。

所以我想知道我是否不希望 nginx 的缓存做一些它不应该做的事情......?

基本上,我认为如果我的容器中的一个静态文件被更新了,那么我的反向代理中的缓存将失效,并且我的浏览器在请求时将获得该文件的新版本...

但我现在感觉我误解了很多事情。

我现在想知道 nginx 在服务器可以了解容器已经改变了?我已看到一个指令proxy_header_pass(或类似的东西),我应该使用它让容器中的 nginx 实例以某种方式通知 Proxmox 中的实例有关更新的文件吗?

这个期望只是梦想吗,还是在我目前的架构上用nginx可以实现?

答案1

您想要做的事情是不可能的。当代理缓存 URL 时,在缓存过期之前,不会再向后端查询此 URL。代理无法知道文件已在后端更新。

一些高级缓存(如 Varnish)能够通过标头或 PURGE 请求处理失效需求。例如,当用户编辑 mediawiki 页面时,对 POST 请求的响应包含一个标头,该标头会使文章的缓存条目失效。但此过程仅在使用 URL 调用修改资源时才有效:更改后端的静态文件不会通知代理缓存。

可以通过 lua 模块在 nginx 上实现这种类型的失效:http://syshero.org/post/68479556365/nginx-passive-cache-invalidation

答案2

您可以使用独立缓存(例如 memcached 或 redis)来实现此功能。nginx 有与之配合使用的模块。您需要对缓存键进行一些约定(例如,从用户 cookie 和 url 构建键)。在这种情况下,您可以从后端控制缓存项,包括使之无效和更新。

相关内容