我如何知道我的网站有多少页面和文件可以被搜索引擎抓取？
答案1
如果其他页面链接到它们，它们都是可抓取的。您可以使用robots.txt文件，他们应该尊重它，但即使有了一个，也可能有网络机器人不会尊重它。我知道那里的大佬们（谷歌、雅虎、必应……）将要尊重 robots.txt 文件，但可能存在一些较小的文件不尊重。
我如何知道我的网站有多少页面和文件可以被搜索引擎抓取？
我如何知道我的网站有多少页面和文件可以被搜索引擎抓取？
如果其他页面链接到它们，它们都是可抓取的。您可以使用robots.txt文件，他们应该尊重它，但即使有了一个，也可能有网络机器人不会尊重它。我知道那里的大佬们（谷歌、雅虎、必应……）将要尊重 robots.txt 文件，但可能存在一些较小的文件不尊重。