最近我测试了我的网站Google 移动友好度测试主要加载问题是“Googlebot 被 robots.txt 阻止” 我的 robots.txt我认为允许 Google 机器人吗？
大家觉得怎么样？这里有什么问题？
答案1
我非常确定您的 robots.txt 文件允许您域上的所有内容，并且一切都正常运行。
似乎发生的情况是，您的页面中嵌入了来自其他网站的资源，而这些资源仅仅没有被 Google 抓取，因为这些域名的 robots.txt 文件（这些域名不受您控制，而且可能不应该被编入索引）有 robots.txt 文件来禁止它们。
如果你查看报告并点击每行旁边突出显示的“robots.txt”，它会显示 URL 的 robots.txt 文件，而这些文件在你的域之外，并且是完全不同的 robots.txt