我刚刚在新网站上更新了我的 robots.txt 文件;Google 网站管理员工具报告说,它在我上次更新前 2 天读取了我的 robots.txt。我上一个 robots.txt 有一个“disallow: all”原始文件。
有什么方法可以让我尽快让 Google 重新读取我的 robots.txt?
目前,Google 尚未扫描我的网站。请帮帮我!
答案1
您应该能够使用此处说明的“以 Google 身份抓取”功能强制 Google 抓取并索引您的网站:
https://support.google.com/webmasters/answer/1352276?hl=en
此后,Google 应该遵守新的 robots.txt。