我的 Xubuntu 机器集群中有一个大约 100,000 个小问题需要解决。每个问题在单个线程上都需要几分钟时间。其中一些问题会产生更多问题（稍微小一些）。这些问题出现在我最强大的机器上——双 Xeon CPU，总共有 32 个超线程，但还有另外 6 台较小的机器，总共大约有 32 个线程。尽管如此，这仍将花费数百小时。
每个问题都以短文本文件的形式陈述——大约 500-1500 字节。答案类似，但大小在该范围的高端。有 4TB 驱动器的 RAID 用于存储。
我准备使用 0MQ、postgreSQL、平面文件或其他任何方案，但从未遇到过这样的工作量，我不知道该选择哪种方案。而且设置解决方案的工作量已经够大了，我宁愿不用重新做。
设置它的最佳方法是什么？请注意，结果肯定会存储在 PostgreSQL 上，因此它肯定会在那里。但所有主机也都安装了 0MQ。我以前从未认真使用过其中任何一个。