多台服务器是否像一台服务器一样拥有所有硬件?

多台服务器是否像一台服务器一样拥有所有硬件?

到目前为止,我有 10 台用于高性能计算的服务器,面向高性能计算。我的用户需要使用 qmake 启动多个进程。用户习惯使用 ubuntu 9.10,并且存储库中的软件对他们来说是可用的。

我已经将 ubuntu 9.10 部署到所有 10 台服务器(pxe rocks)。

现在我们使用 parallel-ssh 和 cluster-ssh,这允许我们向所有服务器启动相同的进程。使用这些工具,服务器保持独立,但使用相同的软件和相同的启动命令。

现在我们进入下一步,将所有服务器视为一个服务器,并将来自其他 9 个服务器的所有资源视为它的资源。

处理时间和设计发射命令的时间差异会很大。

关于使用哪种软件有任何建议会很有用吗?

谢谢

答案1

你说的是单一系统映像 (SSI)。Linux 上最常见的这种方案的变体是MOSIX。虽然它在系统管理方面确实提供了一些优势,但一般来说,如果不使用某种形式的移动基础设施基本上,无论您是否使用在 gridengine 上运行的“标准”集群,或者将系统组成单个映像,您仍然需要修改所有软件才能跨越多个节点。

答案2

从性能角度来看,集群不是单台机器,文件系统/内存局部性对性能很重要。

在应用程序级别执行操作虽然不太通用,但更节省资源。通过设置 distcc,可以显著加快 qmake 示例的速度。

答案3

最后我使用了 Sun Grid Engine。

我已将其记录在私人 wiki 中,并剪切粘贴到我的博客上。我认为即使没有翻译,它也是有用的。;)

博客条目:http://suportrecerca.barcelonamedia.org/blog/?p=240

如果有人想要 wiki 代码,请在这里询问。

谢谢。

答案4

我以前从未实现过,但这听起来像贝奥武夫集群可以满足您的要求。我过去读过很多这方面的资料,对于一些较简单的流程,可能不需要重新编码,具体取决于您要实现的目标。

相关内容