Yahoo AdCrawler 正在反复重试某些 URL。这些 URL 被赋予了 302 响应代码，因此我认为 Yahoo 应该“稍后”再试一次，但在我看来，“稍后”并不意味着每天应该对 7 个特定 URL 进行 3,000 次点击。
URL 的样式如下：
/find/product-abc123?ppcid=yahoo_PPC_Product
查询部分可能是我们的客户添加的，但我提到它是为了提醒大家
目前，我们已经在 Robots.txt 中禁止了 AdCrawler。
User-agent: Yahoo!-AdCrawler
Disallow: /
如果您有任何想法、类似的经历或观点，我将不胜感激。谢谢。
答案1
AdCrawler 与 Slurp 不同，后者是雅虎用来建立索引的工具。 广告爬虫是：
最近，雅虎推出了另一个抓取工具（名为“Yahoo!-AdCrawler”），它也会抓取 YSM 广告客户登录页面。该抓取工具旨在帮助我们评估这些页面的相关性，从而帮助我们将广告与特定的搜索查询进行匹配。
阻止它是绝对安全的——而且我们强烈推荐。