本着 moreutils“并行”精神的多机床?

本着 moreutils“并行”精神的多机床?

parallel更多实用程序是一个很好的工具,除其他外,它可以m在 CPU 上均匀分配独立任务n。有人知道有一种工具可以为多台机器完成相同的事情吗?这样的工具当然不必了解多台机器或网络或类似的概念——我只是在谈论将m任务分配到N 集群,其中集群i N_i任务是并行运行的。

今天,我使用自己的 BASH 脚本来完成同样的事情,但如果有一个更精简、更干净的工具就更好了。有人知道吗?

答案1

GNU Parallel 可以做到这一点以及更多(使用 ssh)。

它甚至可以处理混合速度的机器,因为它只有一个作业队列,在机器列表上启动(例如每个 CPU 核心一个)。当一项工作完成后,另一项工作就会开始。

因此,它不会在启动之前将作业划分为集群,而是动态地进行划分。

观看介绍视频以了解更多信息:http://pi.dk/1

相关内容