我在 Amazon S3 的一个存储桶中有一个网站，最近开始收到来自 Google 的电子邮件“Googlebot 无法访问您的网站”。当我进入网站管理员工具并尝试抓取时，它实际上不起作用。此外，与我不同位置的人有时报告他们无法访问该网站。
出于好奇，我从我的终端尝试了一下：
$ host xxx
xxx is an alias for xxx.s3-website-us-west-1.amazonaws.com.
xxx.s3-website-us-west-1.amazonaws.com is an alias for s3-website-us-west-1.amazonaws.com.
s3-website-us-west-1.amazonaws.com has address yyy.yyy.yyy.yyy
当我尝试时dig：
$ dig xxx
; <<>> DiG 9.8.3-P1 <<>> xxx
;; global options: +cmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 17860
;; flags: qr rd ra; QUERY: 1, ANSWER: 3, AUTHORITY: 0, ADDITIONAL: 0
;; QUESTION SECTION:
;xxx. IN A
;; ANSWER SECTION:
xxx. 300 IN CNAME xxx.s3-website-us-west-1.amazonaws.com.
xxx.s3-website-us-west-1.amazonaws.com. 60 IN CNAME s3-website-us-west-1.amazonaws.com.
s3-website-us-west-1.amazonaws.com. 60 IN A yyy
;; Query time: 1514 msec
;; SERVER: 75.75.75.75#53(75.75.75.75)
;; WHEN: Fri Aug 22 12:32:13 2014
;; MSG SIZE rcvd: 127
我觉得没问题。Google 为什么会告诉我 DNS 错误？
更新：
Google 也无法获取 robots.txt，但我可以从浏览器中获取它。
更新2：
我有一个从根到 www.* 主机名的转发：
$ dig thenifty.me
; <<>> DiG 9.8.3-P1 <<>> thenifty.me
;; global options: +cmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 49286
;; flags: qr rd ra; QUERY: 1, ANSWER: 0, AUTHORITY: 1, ADDITIONAL: 0
;; QUESTION SECTION:
;thenifty.me. IN A
;; AUTHORITY SECTION:
thenifty.me. 300 IN SOA ns1hwy.name.com. support.name.com. 1 10800 3600 604800 300
;; Query time: 148 msec
;; SERVER: 75.75.75.75#53(75.75.75.75)
;; WHEN: Fri Aug 22 13:32:56 2014
;; MSG SIZE rcvd: 88
答案1
dig thenifty.me：
无答案部分。
dig www.thenifty.me：
;; ANSWER SECTION:
www.thenifty.me. 299 IN CNAME www.thenifty.me.s3-website-us-west-1.amazonaws.com.
www.thenifty.me.s3-website-us-west-1.amazonaws.com. 59 IN CNAME s3-website-us-west-1.amazonaws.com.
s3-website-us-west-1.amazonaws.com. 59 IN A 176.32.116.11
Googlebot 可能检查了 www 和非 www，并报告了错误，因为您缺少非 www 变体的记录。这也可能是某些用户无法访问该网站的原因 - 他们在输入时遗漏了 www。