parallel
从更多实用程序是一个很好的工具,除其他外,它可以m
在 CPU 上均匀分配独立任务n
。有人知道有一种工具可以为多台机器完成相同的事情吗?这样的工具当然不必了解多台机器或网络或类似的概念——我只是在谈论将m
任务分配到N
集群,其中集群i
N_i
任务是并行运行的。
今天,我使用自己的 BASH 脚本来完成同样的事情,但如果有一个更精简、更干净的工具就更好了。有人知道吗?
答案1
GNU Parallel 可以做到这一点以及更多(使用 ssh)。
它甚至可以处理混合速度的机器,因为它只有一个作业队列,在机器列表上启动(例如每个 CPU 核心一个)。当一项工作完成后,另一项工作就会开始。
因此,它不会在启动之前将作业划分为集群,而是动态地进行划分。
观看介绍视频以了解更多信息:http://pi.dk/1