我必须发出大量请求才能抓取网站数据。仅我的计算机发出所有这些请求需要花费太多时间,因此我改为在 7 台虚拟机上运行 Python 脚本。在我的 Windows PC 上,每个请求大约需要 0.25 秒,但在虚拟机 (linux) 上,它们通常需要 0.15 秒,但大约 4 个请求中有 1 个似乎卡住了,需要 3-5 秒。这大大减慢了抓取速度...为什么会这样?!我怎样才能让它像在我的小型电脑上一样好用?感谢您的帮助
在 Linux 虚拟机上进行网页抓取时请求缓慢
相关内容
- 需要有关 SBS 2008 的建议:Premium 还是 Standard?WSS 和/或 MOSS?
- 在 tikz 中绘制 exp(x)
- 当变量以反斜杠结尾时批量环境变量扩展?
- pop!_os 配备 Realtek ALC711-CG 声卡,无音频设备
- 通过管道 ssh 到 shell 脚本但看不到 stdin echo
- 我可以借别人的 Windows 安装 CD 来安装在我的笔记本电脑上吗?[重复]
- openconnect 显示连接成功,但实际上无法访问 vpn 网络上的源
- 用于多个 LXC 容器的 Nginx 虚拟主机
- 引用 MWE 示例不起作用
- 更改 SSH 端口:我应该只修改 sshd_config,还是也修改 ssh_config?