Google 索引了我网站上的一个页面,该页面从未链接到任何其他页面。没有人链接到该页面,并且目录内容无法浏览。这怎么可能发生?我以为爬虫无法收录未链接的页面。
答案1
您没有链接到它,但您确定没有其他人这样做吗?有人在 Facebook、Twitter、公共聊天记录、个人网站等上分享它可能会成功。
如果您不希望 Google 索引某个页面,请通过 robots.txt 或其他技术阻止 Googlebot。单纯依靠隐蔽性会让您自食其果。
Google 索引了我网站上的一个页面,该页面从未链接到任何其他页面。没有人链接到该页面,并且目录内容无法浏览。这怎么可能发生?我以为爬虫无法收录未链接的页面。
您没有链接到它,但您确定没有其他人这样做吗?有人在 Facebook、Twitter、公共聊天记录、个人网站等上分享它可能会成功。
如果您不希望 Google 索引某个页面,请通过 robots.txt 或其他技术阻止 Googlebot。单纯依靠隐蔽性会让您自食其果。