我们的 sitemap.xml 文件越来越大。我想阻止随机访问 Sitemap.xml 文件，只允许 google、yahoo 和 bing 访问它。有点像白名单方法。我在哪里可以找到搜索引擎站点地图爬虫的 IP 地址？
答案1
最好按用户代理进行过滤。您可以搜索要允许的代理这里。
如何保护 Sitemap.xml 文件不被频繁访问？
我们的 sitemap.xml 文件越来越大。我想阻止随机访问 Sitemap.xml 文件，只允许 google、yahoo 和 bing 访问它。有点像白名单方法。我在哪里可以找到搜索引擎站点地图爬虫的 IP 地址？
最好按用户代理进行过滤。您可以搜索要允许的代理这里。