我如何在抓取时分配不同的 IP 地址
我每天都会抓取数十亿个页面（分配不同的 IP 将有助于处理堵塞）
答案1
您可以使用不同的选项来获得不同的 IP。通常，您需要做的是使用一些代理，我通常建议选择一个好的 VPN，它允许您在其服务器之间轻松切换连接，这样，一旦它们被阻止，您就可以轻松拥有不同的 IP。
因此通常情况下，您会开始抓取，一旦 IP 被阻止，您就可以从 VPN 切换到另一台服务器并再次开始抓取。
只需确保 VPN 提供商允许您这样做，因为有些提供商不允许。
另一种选择是使用爬虫代理。这是一项服务，为您提供一个您可以调用的端点，它们将始终为您提供响应。这样您就不必担心 IP、阻塞、限制等……
到目前为止我知道两种服务代理爬行和爬行动物，我都用过，它们都很好用，proxycrawl 比另一个更便宜、更快。我建议你都试试，使用更适合你的那个。