我正在使用一个名为的应用程序Xenu Link 侦探尝试查找我们托管的网站上的无效链接。当我通过浏览器访问该网站时，它会立即弹出。
当我尝试通过 Xenu 运行它时，它立即抛出了 404 未找到错误。我检查了 Robots.txt 文件，认为 Xenu 可能正在使用它作为基础，但我确定这不是原因。
有人知道什么可能导致这种情况吗？ 是否有我不知道的某个安全设置导致爬虫程序出现 404？
任何帮助都值得感激，我被难住了。
另外，这是一个内部网站。不确定这是否有区别。
答案1
我会检查几件事……首先确保 URL 没有破坏它。本周早些时候有各种关于 hashbang#!破坏事情的文章。此外，我会查看您的请求在日志中的样子以及此软件的请求在日志中的样子。
答案2
当网站页面无法找到时，会抛出 404 错误。请确保您为网站设置了默认文档。