☰

如何为 Node.js 设置 Nginx 和 Varnish 反向代理？

tag-icon • tag-icon nginx node.js varnish
如何为 Node.js 设置 Nginx 和 Varnish 反向代理？

我的网站在 Astro 框架（Node.js SSR 适配器）上部署在 1shared-cpu-1x@256MB fly.io位于阿姆斯特丹地区的实例，它自动处理 gzip、TSL 终止。

初始设置包括端口 80 上的 Varnish -> Nginx 8080 -> Node.js 3000。

Varnish 处理静态资产和动态请求的所有缓存，Nginx 主要用于重写/重定向 URL，在主应用程序上提供错误页面。

经过一番研究，我发现 Nginx 更适合提供静态内容，因此 Varnish 将接收已更改（如果需要）的 URL 并仅提供动态内容。此外，在之前的配置中，我遇到了VaryVarnish 标记的静态资产的标头重复的问题。这是设置方法的正确方法吗？

新设置：Nginx 端口 80 -> Varnish 8080 -> Node.js 3000。

如何正确配置var/www/html/client一年的静态资产缓存？这会干扰 Varnish 提供的动态路由吗？非常感谢。

nginx/nginx.conf

events {
    worker_connections 1024;
}

http {
    include /etc/nginx/mime.types;
    default_type application/octet-stream;

    log_format main '$remote_addr - $remote_user [$time_local] "$request" '
                    '$status $body_bytes_sent "$http_referer" '
                    '"$http_user_agent" "$http_x_forwarded_for"';

    access_log stdout;
    error_log stderr info;

    upstream varnish {
        server localhost:8080;
    }

    server {
        listen 80 default_server;
        listen [::]:80 default_server;

        root /var/www/html/client;
        index index.html;

        server_tokens off;

        error_page 404 /404.html;

        location = /404.html {
            internal;
        }

        location = /robots.txt {
            log_not_found off; access_log off; allow all;
        }

        location ~* \.(7z|avi|bmp|bz2|css|csv|doc|docx|eot|flac|flv|gif|gz|ico|jpeg|jpg|js|less|mka|mkv|mov|mp3|mp4|mpeg|mpg|odt|ogg|ogm|opus|otf|pdf|png|ppt|pptx|rar|rtf|svg|svgz|swf|tar|tbz|tgz|ttf|txt|txz|wav|webm|webp|woff|woff2|xls|xlsx|xml|xz|zip)(\?.*)?$ {
            log_not_found off;
            add_header Cache-Control "public, max-age=31536000, immutable";
            add_header X-Static-File "true";
            expires max;
        }

        # Redirect URLs with a trailing slash to the URL without the slash
        location ~ ^(.+)/$ {
            return 301 $1$is_args$args;
        }

        # Redirect static pages to URLs without `.html` extension
        location ~ ^/(.*)(\.html|index)(\?|$) {
            return 301 /$1$is_args$args;
        }

        location / {
            try_files $uri $uri/index.html $uri.html @proxy;
        }

        location @proxy {
            proxy_http_version 1.1;
            proxy_cache_bypass $http_upgrade;

            proxy_set_header Upgrade $http_upgrade;
            proxy_set_header Connection 'upgrade';
            proxy_set_header Host $http_host;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
            proxy_set_header X-Forwarded-Proto $scheme;

            proxy_redirect off;
            proxy_pass http://varnish;

            proxy_intercept_errors on;
        }
    }
}

varnish/default.vcl

vcl 4.1;

import std;

backend default {
    .host = "127.0.0.1";
    .port = "3000";
}

acl purge {
    "localhost";
    "127.0.0.1";
    "::1";
}

sub vcl_recv {
    // Remove empty query string parameters
    // e.g.: www.example.com/index.html?
    if (req.url ~ "\?$") {
        set req.url = regsub(req.url, "\?$", "");
    }

    // Remove port number from host header
    set req.http.Host = regsub(req.http.Host, ":[0-9]+", "");

    // Sorts query string parameters alphabetically for cache normalization purposes
    set req.url = std.querysort(req.url);

    // Remove the proxy header to mitigate the httpoxy vulnerability
    // See https://httpoxy.org/
    unset req.http.proxy;

    // Only handle relevant HTTP request methods
    if (
        req.method != "GET" &&
        req.method != "HEAD" &&
        req.method != "PUT" &&
        req.method != "POST" &&
        req.method != "PATCH" &&
        req.method != "TRACE" &&
        req.method != "OPTIONS" &&
        req.method != "DELETE"
    ) {
        return (pipe);
    }

    // Only cache GET and HEAD requests
    if (req.method != "GET" && req.method != "HEAD") {
        return (pass);
    }

    // Purge logic to remove objects from the cache.
    if (req.method == "PURGE") {
        if (client.ip !~ purge) {
            return (synth(405, "Method Not Allowed"));
        }
        return (purge);
    }

    // Mark static files with the X-Static-File header, and remove any cookies
    // X-Static-File is also used in vcl_backend_response to identify static files
    if (req.url ~ "^[^?]*\.(7z|avi|bmp|bz2|css|csv|doc|docx|eot|flac|flv|gif|gz|ico|jpeg|jpg|js|less|mka|mkv|mov|mp3|mp4|mpeg|mpg|odt|ogg|ogm|opus|otf|pdf|png|ppt|pptx|rar|rtf|svg|svgz|swf|tar|tbz|tgz|ttf|txt|txz|wav|webm|webp|woff|woff2|xls|xlsx|xml|xz|zip)(\?.*)?$") {
        set req.http.X-Static-File = "true";
        unset req.http.Cookie;
        return (hash);
    }

    // No caching of special URLs, logged in users and some plugins
    if (
        req.http.Authorization ||
        req.url ~ "^/preview=" ||
        req.url ~ "^/\.well-known/acme-challenge/"
    ) {
        return (pass);
    }

    // Remove any cookies left
    unset req.http.Cookie;

    return (hash);
}

sub vcl_pipe {
    // If the client request includes an "Upgrade" header (e.g., for WebSocket or HTTP/2),
    // set the same "Upgrade" header in the backend request to preserve the upgrade request
    if (req.http.upgrade) {
        set bereq.http.upgrade = req.http.upgrade;
    }
    return (pipe);
}

sub vcl_backend_response {
    // Inject URL & Host header into the object for asynchronous banning purposes
    set beresp.http.x-url = bereq.url;
    set beresp.http.x-host = bereq.http.host;

    // Set the default grace period if backend is down
    set beresp.grace = 1d;

    // Stop cache insertion when a backend fetch returns an 5xx error
    if (beresp.status >= 500 && bereq.is_bgfetch) {
        return (abandon);
    }

    // Cache 404 response for short period
    if (beresp.status == 404) {
        set beresp.ttl = 60s;
    }

    // Create cache variations depending on the request protocol and encoding type
    if (beresp.http.Vary) {
        set beresp.http.Vary = beresp.http.Vary + ", X-Forwarded-Proto, Accept-Encoding";
    } else {
        set beresp.http.Vary = "X-Forwarded-Proto, Accept-Encoding";
    }

    // If the file is marked as static cache it for 1 year
    if (bereq.http.X-Static-File == "true" && beresp.http.Cache-Control == "public, max-age=0") {
        unset beresp.http.Set-Cookie;
        set beresp.http.X-Static-File = "true";
        set beresp.ttl = 1y;
    }
}

sub vcl_deliver {
    // Check if the object has been served from cache (HIT) or fetched from the backend (MISS)
    if (obj.hits > 0) {
        // For cached objects with a TTL of 0 seconds but still in grace mode, mark as STALE
        if (obj.ttl <= 0s && obj.grace > 0s) {
            set resp.http.X-Cache = "STALE";
        } else {
            // For regular cached objects, mark as HIT
            set resp.http.X-Cache = "HIT";
        }
    } else {
        // For uncached objects, mark as MISS
        set resp.http.X-Cache = "MISS";
    }

    // Set the X-Cache-Hits header to show the number of times the object has been served from cache
    set resp.http.X-Cache-Hits = obj.hits;

    // Unset certain response headers to hide internal information from the client
    unset resp.http.x-url;
    unset resp.http.x-host;
    unset resp.http.x-varnish;
    unset resp.http.via;
}

答案1

Nginx 是一个很棒的 Web 服务器，Varnish 是一个很棒的缓存，两者都是很棒的反向代理服务器。

如果您仅使用 Nginx 进行 URL 重写、重定向和错误处理，那么您实际上并不需要 Nginx。Varnish 可以同样出色地完成这些工作。

VCL 模板

我推荐的基本 VCL 配置如下：https://www.varnish-software.com/developers/tutorials/example-vcl-template/

它是 Varnish Software 推荐的非框架特定 VCL。它涵盖以下内容：

  • 从 URL 中删除广告系列参数
  • 对查询字符串进行排序
  • 标头清理
  • 静态文件缓存
  • 后端健康检查
  • 边缘侧包含解析
  • 设置X-Forwarded-Proto标题
  • 删除跟踪 cookies
  • 创建协议感知缓存变体

URL 重写

如果要执行 URL 重写，您可以在 VCL 中编写 if 语句并通过 重置 URL set req.url = "..."。您还可以使用regsuball()函数执行查找/替换并使用正则表达式。

看https://www.varnish-software.com/developers/tutorials/varnish-configuration-language-vcl获取基本的 VCL 教程。

以下是 Nginx 配置中的 2 个重写规则的 VCL 解释：

sub vcl_recv {
    if(req.url ~ "^(.+)/$") {
        return(synth(301,regsuball(req.url,"^(.+)/$","\1")));
    }

    if(req.url ~ "^/(.*)(\.html|index)(\?|$)") {
        return(synth(301,regsuball(req.url,"^/(.*)(\.html|index)(\?|$)","/\1")));
    }
}

sub vcl_synth {
    if(resp.status == 301) {
        set resp.http.Location = resp.reason;
        set resp.reason = "Moved Permanently";
        set resp.body = "Redirecting.";
        return(deliver);
    }
}

此示例代码将重定向到/test/和/test，就像在您的 Nginx 配置中一样。/test.html/test

错误处理

来自后端的错误在 VCL 的vcl_backend_error子程序中处理，并且可以定制。

您还可以根据传入的请求在 Varnish 中生成自己的错误。您可以通过return(synth(INT status, STRING reason);在 VCL 代码中返回来执行此操作。我们已经在 URL 重定向示例中这样做了。

定制合成响应的输出类似于后端错误，并发生在vcl_synth子程序中。

以下是如何修改后端和合成错误的输出模板的示例。该示例使用 HTML 模板：https://www.varnish-software.com/developers/tutorials/vcl-synthetic-output-template-file/

这应该可以清楚地指导你如何处理来自 NodeJS 应用程序的错误。

在设置中是否保留 Nginx？

根据您描述的情况，您实际上不需要 Nginx。所有缓存和反向代理逻辑都可以在 Varnish 中轻松完成。

但是有两个理由可以证明在此项目中使用 Nginx 是合理的：

  • TLS 处理
  • 缓存大量静态数据

先说一下TLS，目前开源版Varnish还不支持原生的TLS，商业版是支持的，但是开源版Varnish需要关闭TLS。

我们开发了自己的 TLS 代理。它被称为拴住和 Varnish 配合得很好。参见https://www.varnish-software.com/developers/tutorials/terminate-tls-varnish-hitch/查看教程。

但是有人可能会说，如果您已经决定使用 Nginx，那么您不妨在连接到 Varnish 之前使用它来终止 TLS 会话。

另一个原因可能是静态数据。别误会我的意思：Varnish 非常擅长缓存静态数据，甚至可能比 Nginx 更快。但是，在 Varnish 中缓存大量静态数据可能会占用您的缓存空间。

在 Varnish 中，您需要分配用于缓存的内存量。如果您只分配了 1GB 内存，而要缓存的静态文件为 2GB，那么您的缓存可能会完全填满。这不是什么大问题，因为最近最少使用算法会自动通过删除长尾内容来清理空间。但如果这不可接受，仍然可以使用 Nginx。

如果您的静态文件集合是 1GB，但是您的缓存更大，那么您实际上不需要添加 Nginx。

相关内容