我是一名初级开发人员,对抓取性能有疑问。我注意到,优化软件脚本(例如抓取 Google 数据并将数据插入 PostgreSQL)的效果并不好。无论我使用什么进行进程管理(例如 pm2 或 systemd)以及运行多少个进程,当我在服务器处理器上设置与线程数量相似的脚本实例时,效果最佳,对吗?我使用各种配置进行了测试,包括使用 pgBouncer 的 PostgreSQL,主要因素似乎是 CPU 线程,对吗?优化的一种方法是使用更强大的服务器或多台服务器,对吗?
抓取过程中的 CPU/线程
相关内容
- 删除从第三部分安装的 python3.9
- 可以连接多个 InfiniBand 交换机吗?
- Safari Web Clip 保存在哪里?
- 如何统计一个词的频率>20
- 未知标签 26 遇到充气城堡异常
- apt-get update 在 18.04 上显示“bionic-getdeb Release'没有 Release 文件”[重复]
- 如何清除上传中心的临时文件
- 为什么我可以将文件复制到该目录,但不能在该目录中创建文件? [复制]
- 有没有 Java 反编译器 GUI
- Debian:用 /etc/apt/sources.list.d/some_equivalent_files.list 完全替换 /etc/apt/sources.list 有什么缺点吗?