Spawn 工作线程会耗尽几乎所有可用的 CPU

Question

假设我有一个 CLI 应用程序，我想要做一些工作（例如处理一些媒体文件）。当我运行应用程序的一个实例时，它会占用 20% 的 CPU。剩下的80%是闲置的。

我想要某种进程管理器，它可以运行尽可能多的应用程序实例，以使用几乎所有的 CPU。该应用程序知道该做什么以及如何不干扰其兄弟姐妹，但它无法生成/管理自身。

有这样的经理吗？我一直在使用 Supervisor 来运行固定的一组不同应用程序，每个应用程序一个实例，但我不知道它是否可以用于根据 CPU 可用性运行同一应用程序的可变数量的实例。

Answer 1

为了最大程度地杀伤力，有一些软件，例如，HTCondor尽管此类框架通常具有比您的情况可能需要的更高的设置成本和更长的学习曲线。

一种更简单但不太灵活的解决方案是编写一个小脚本来检查当前的 CPU 负载，并据此决定是否让wait 进程退出或生成一个或多个作业（然后让wait 进程退出）。这种脚本可能就是类似的东西HTCondor演变而来的。

更简单的可能是先使用 a Makefile，然后make -j 4 ... 在知道每个“作业”占用 20% - 25% 的 CPU 的情况下使用。这假设您知道作业占用了多少 CPU，并且您知道作业并且可以将它们全部列在Makefile.所以不太灵活，除非您可以Makefile从工作列表中生成。