☰

NGINX-提高对 ads.txt 和 robots.txt 的请求速度

tag-icon • tag-icon nginx
NGINX-提高对 ads.txt 和 robots.txt 的请求速度

我们其中一个网站的结构包含许多子域名，多达数百万个（当然，这是有原因的）。这意味着 Google 爬虫必须访问每个子域名的 /ads.txt 和 /robots.txt 文件，而我可以在服务器上看到每秒对这些文件的数百个请求。

在这种情况下，满足这些请求的最有效方法是什么？

我目前使用这个：

    location = /robots.txt  {
        access_log off;
        log_not_found off;
        alias /home/sys/example.com/public/robots.txt;
    }
    location = /ads.txt  {
        access_log off;
        log_not_found off;
        alias /home/sys/example.com/public/ads.txt;
    }

我的目的是将 robots 和 ads txt 文件指向每个请求的同一位置，尽管我不知道这本身是否有任何区别。另外，使用“access_log off;”关闭日志记录似乎是个好主意。

我相信可以直接从 nginx 返回 txt 文件内容 - 这样会更快吗（对 nginx 服务的要求更低）？

答案1

这些 txt 文件有多大？如果它们不大，你可以将内容直接放入配置中，即：

location /robots.txt {
    return 200 'file content bla bla bla’;
    add_header Content-Type text/html; 
}

您还可以使用 \n 转义字符在内容中添加新行

相关内容