☰

似乎阻止了 /my-beautiful-sef-url-123

tag-icon • tag-icon seo robots.txt
似乎阻止了 /my-beautiful-sef-url-123

我的 robots.txt 如下所示：

User-agent: *
Disallow: /system/
Disallow: /admin/
Disallow: /index.php

显而易见的目标是防止所有丑陋的 URL 被索引，因为它们都以“/index.php”开头。
但出于某种原因，所有像/我的美丽-sef-url-123列于抓取错误在 Google 网站管理员工具中，输入“受 robots.txt 限制的 URL”。（当我测试此类 URL 时，它会产生允许适用于 Googlebot 和 Googlebot-Mobile。

有人可以帮忙吗？

答案1

URL 是否类似/我的美丽-sef-url-123是真实页面还是重定向到其他页面？如果重定向，是否可以尝试在 Google Webmaster 中测试重定向到的页面？

相关内容