在 Linux 虚拟机上进行网页抓取时请求缓慢

在 Linux 虚拟机上进行网页抓取时请求缓慢

我必须发出大量请求才能抓取网站数据。仅我的计算机发出所有这些请求需要花费太多时间,因此我改为在 7 台虚拟机上运行 Python 脚本。在我的 Windows PC 上,每个请求大约需要 0.25 秒,但在虚拟机 (linux) 上,它们通常需要 0.15 秒,但大约 4 个请求中有 1 个似乎卡住了,需要 3-5 秒。这大大减慢了抓取速度...为什么会这样?!我怎样才能让它像在我的小型电脑上一样好用?感谢您的帮助

相关内容