我必须发出大量请求才能抓取网站数据。仅我的计算机发出所有这些请求需要花费太多时间，因此我改为在 7 台虚拟机上运行 Python 脚本。在我的 Windows PC 上，每个请求大约需要 0.25 秒，但在虚拟机 (linux) 上，它们通常需要 0.15 秒，但大约 4 个请求中有 1 个似乎卡住了，需要 3-5 秒。这大大减慢了抓取速度...为什么会这样？！我怎样才能让它像在我的小型电脑上一样好用？感谢您的帮助
在 Linux 虚拟机上进行网页抓取时请求缓慢
我必须发出大量请求才能抓取网站数据。仅我的计算机发出所有这些请求需要花费太多时间，因此我改为在 7 台虚拟机上运行 Python 脚本。在我的 Windows PC 上，每个请求大约需要 0.25 秒，但在虚拟机 (linux) 上，它们通常需要 0.15 秒，但大约 4 个请求中有 1 个似乎卡住了，需要 3-5 秒。这大大减慢了抓取速度...为什么会这样？！我怎样才能让它像在我的小型电脑上一样好用？感谢您的帮助