抓取过程中的 CPU/线程

抓取过程中的 CPU/线程

我是一名初级开发人员,对抓取性能有疑问。我注意到,优化软件脚本(例如抓取 Google 数据并将数据插入 PostgreSQL)的效果并不好。无论我使用什么进行进程管理(例如 pm2 或 systemd)以及运行多少个进程,当我在服务器处理器上设置与线程数量相似的脚本实例时,效果最佳,对吗?我使用各种配置进行了测试,包括使用 pgBouncer 的 PostgreSQL,主要因素似乎是 CPU 线程,对吗?优化的一种方法是使用更强大的服务器或多台服务器,对吗?

相关内容