我如何鼓励 Google 扫描新的 robots.txt 文件?

我如何鼓励 Google 扫描新的 robots.txt 文件?

我刚刚在新网站上更新了我的 robots.txt 文件;Google 网站管理员工具报告说,它在我上次更新前 2 天读取了我的 robots.txt。我上一个 robots.txt 有一个“disallow: all”原始文件。

有什么方法可以让我尽快让 Google 重新读取我的 robots.txt?

目前,Google 尚未扫描我的网站。请帮帮我!

答案1

您应该能够使用此处说明的“以 Google 身份抓取”功能强制 Google 抓取并索引您的网站:

https://support.google.com/webmasters/answer/1352276?hl=en

此后,Google 应该遵守新的 robots.txt。

相关内容