服务器仅对 Baiduspider 返回 404

服务器仅对 Baiduspider 返回 404

我最近更新了我的网站,强制所有请求都使用 HTTPS。更改后,一切似乎都运行良好,但百度的网络爬虫 (Baiduspider) 对所有请求都收到 404 错误。

该网站以 Azure 网站的形式在标准模式下运行,并绑定了 SNI SSL。所有其他搜索引擎爬虫均未遇到此问题。任何有关如何解决此问题的想法都值得赞赏。谢谢。

更新:下面是我的网络服务器日志的一个条目

2015-03-19 19:05:21 WWW-OMITTED-COM GET /OMITTED X-ARR-LOG-ID=d6e1b9e7-a035-4cdf-8792-89df3117fc69 80 - 107.184.16.197 Mozilla/5.0+(兼容;+Baiduspider/2.0;++http://www.baidu.com/search/spider.html) - - www.OMITTED.com 301 0 0 589 625 8 2015-03-19 19:05:23 WWW-OMITTED-COM GET /OMITTED X-ARR-LOG-ID=e01cdee8-5587-4c94-a733-ad3f258e6914 443 - 107.184.16.197 Mozilla/5.0+(compatible;+Baiduspider/2.0;++http://www.baidu.com/search/spider.html) - - www.OMITTED.com 200 0 0 39853 747 2626

相关内容