我必须发出大量请求才能抓取网站数据。仅我的计算机发出所有这些请求需要花费太多时间,因此我改为在 7 台虚拟机上运行 Python 脚本。在我的 Windows PC 上,每个请求大约需要 0.25 秒,但在虚拟机 (linux) 上,它们通常需要 0.15 秒,但大约 4 个请求中有 1 个似乎卡住了,需要 3-5 秒。这大大减慢了抓取速度...为什么会这样?!我怎样才能让它像在我的小型电脑上一样好用?感谢您的帮助
在 Linux 虚拟机上进行网页抓取时请求缓慢
相关内容
- 将 PHP 从 5.3.3 升级到 5.4.40 会出现问题
- 为什么在线工具找不到我的 MX 记录?[关闭]
- Windows 7 上的窗口键命令停止工作
- Apache HTTP Server+Tomcat:哪个文件生成 mod_jk.conf,如何修改生成的内容,以及 httpd 如何到达它?
- 如何用某个范围内的数字填充单元格? – Excel
- 如何分析 2003 Server x86 上的 Debug Diagnostic Tool v2.0 转储
- 在 Chef-solo 启动之前运行脚本?
- GNOME 在线帐户 - 已达到超时
- 将 Web 应用程序流量复制到另一个实例进行测试
- Haproxy 优雅重新加载