我遇到了一个问题:当 googlebot 来到有登录表单的网站页面时 - 它会从网站收到错误(网站管理员工具中为“ureachable”)。
此错误为N500
- HTTP/1.1 500 内部服务器错误
- 缓存控制:私有
- 内容类型:text/html;字符集=utf-8
- 服务器:Microsoft-IIS/7.5
- X-AspNet-版本:4.0.30319
- X-Powered-By:ASP.NET
- 日期:2012 年 2 月 11 日星期六 07:56:20 GMT
- 内容长度:4855
当 googlebot 访问没有登录表单的页面时 - 它会收到 ok(状态 200)
当我通过浏览器访问网站页面时 - 所有页面(带有登录表单和它)一切正常。
我的系统:
- Windows Web 服务器 2008 R2 (x64)
- 应用程序池:ASP.NET 4 - 托管管道模式:“集成”
- ISAPI 和 CGI 限制:ASP.NET 4.0.30313(32 位):允许
- IIS 7.5
我只有一个版本的 ASP.NET
Web.config(部分):
<anonymousIdentification enabled="true" />
<authentication mode="Forms">
<forms
cookieless="UseCookies"
defaultUrl="Default.aspx"
loginUrl="~/AccessDenied.aspx"
name="GSFORMAUTH"
protection="All"
slidingExpiration="true"
timeout="44000">
</forms>
</authentication>
失败请求跟踪日志(部分):
<failedRequest url="http://mysite.com:80/"
siteId="1"
appPoolId="ASP.NET v4.0"
processId="2956"
verb="GET"
remoteUserName=""
userName=""
tokenUserName="IIS APPPOOL\ASP.NET v4.0"
authenticationType="anonymous"
activityId="{00000000-0000-0000-5700-0080000000F5}"
failureReason="STATUS_CODE"
statusCode="200"
triggerStatusCode="500"
timeTaken="4172"
xmlns:freb="http://schemas.microsoft.com/win/2006/06/iis/freb"
>
是什么导致了这个问题?
谢谢你的帮助,亚历克斯。
答案1
Google 的网站管理员论坛上有一些相关信息。基本上,有一个 Firefox 插件可以让您像 Googlebot 一样访问网站。您将以与 Googlebot 相同的方式看到它(包括错误和所有内容)。这应该可以帮助您弄清楚它看到了什么。
http://groups.google.com/group/Google_Webmaster_Help-Indexing/browse_thread/thread/f8ba10ba010b6039- 论坛帖子
https://addons.mozilla.org/en-US/firefox/addon/user-agent-switcher/- 链接到 Firefox 插件
简而言之,爬虫不是浏览器,它查看您网页的方式与标准浏览器不同。您可以使用上述插件将浏览器切换为不同的用户代理模式,即 Googlebot。