所以我目前正在使用 Puppeteer 在 NodeJS 中开发一个网络抓取项目。我需要在每个请求上使用和轮换代理,以避免被网站阻止。
但是,Puppeteer 每次浏览器启动时只允许一个代理,如果不重新启动浏览器则无法更改。每次请求时重新启动浏览器会给脚本增加大量时间。
所以我想知道这是否可行,以及如何编写一个本地代理服务器,将每个请求重定向到列表中的随机地址。当然,代理服务器的语言不一定是 NodeJS。我在想也许可以使用 Python 和 Proxy Broker 库,但我不确定如何去做。
答案1
有一个 Python 项目可以实现这个功能:代理经纪商
该项目允许代理 [Finder | Checker | Server]。HTTP(S) 和 SOCKS: