Nginx:Googlebot 暂时无法访问某些图片

Nginx:Googlebot 暂时无法访问某些图片

我使用 nginx 作为反向代理。当我尝试使用“以 Google 身份抓取”来抓取我的网站时,我收到一些 CDN 托管图片的 404 错误,这些图片完全是随机出现的。大多数图片都可以正常加载和渲染,但有些则不行。

因此,看起来 CDN 上的某些资源没有被正确获取,我相信 nginx 应该受到指责,因为我在 MaxCDN 上有一个 robots.txt。

为什么资源通过 Google/nginx 渲染时会出现超时?

那是什么原因呢?

答案1

很可能没什么,但我想确定一下,所以我做了以下事情:

1.正如评论中指出的那样,我应该更好地处理日志记录。在查看 nginx 文件时,我注意到它没有正确记录真实 IP。然后我确保 Google 可以正常抓取该网站。

查看问题:如何正确设置 nginx 缓存的 access_log

2.我还确保将以下内容添加到我的虚拟主机。

root /my/home/dir 

如果事实证明这是一个真正的问题,我将在这里报告(几天后就会知道)

相关内容