为什么并行运行一段时间后会变慢?

为什么并行运行一段时间后会变慢?

我正在使用 GNU 并行执行 60 个脚本(它们都有wget命令),但我注意到几个小时后执行速度会有点慢。可能是什么原因造成的?

我正在与此命令并行执行:parallel -j 60 < list其中“list”只是一个包含 60 个脚本目录的文件。

我在 CentOS 6.5 机器上。

答案1

了解 Linux 内核:

在Linux中,进程优先级是动态的。调度程序跟踪进程正在做什么并定期调整它们的优先级;通过这种方式,长时间被拒绝使用 CPU 的进程可以通过动态提高其优先级来提升。相应地,长时间运行的进程会受到降低其优先级的惩罚。

相关内容