大学集群的使用思路

大学集群的使用思路

我目前是一所中型大学的学生工。我在理学院(包括数学、统计学、计算机科学、物理学、化学和生物学)工作,是一名“技术员”;基本上负责基本故障排除和修复教师计算机、设置计算机实验室、编写自定义程序以及管理网络和数据库服务器。

我们目前有 3 组相当新的计算机用于集群,但它们没有被使用并且被废弃了。我想做一些集群项目,但我最大的障碍是如何在集群上/用集群做什么。如果我知道哪些应用程序或项目可以利用集群,我就可以开始。我读过关于集群用于视频渲染、生成彩虹表/密码破解和高可用性 Web 服务器的文章。但我在寻找一些更学术的东西;可以作为实际学术可用性的东西呈现给教授和院长的东西。而不是永远不会用的东西。

我不太想做视频渲染,因为没有必要渲染视频。密码破解对学院没有多大用处。高可用性 Web 集群没有用处,因为我们只托管一些静态教职员工页面和我们的网站(网络和大学网站是另一个部门)。我可以向数学、物理或化学系展示的工具将是理想的。不过,我愿意接受想法或例子。

设置/管理 Linux 或任何操作系统或程序都不是问题。问题在于如何处理集群。

tl/dr:在学术环境中如何处理集群。

答案1

你可以安装 debian 以及各种debian-科学这些机器上的软件包。其中包括大量针对科学中几个常见计算问题的免费软件程序,以及通用库和工具包,如 openmpi。

也可以看看http://blends.alioth.debian.org/science/tasks/。它包含 DebianScience 项目的子项目或任务列表以及可用软件包的列表,并附有它们的作用/用途的描述以及软件包的状态。上面的 DS 主 wiki 页面指向此页面的链接已损坏,因此这里有一个已修复的链接。

我目前在澳大利亚一所大学的化学学院担任系统管理员,最近一直在为学者们建造几台机器,安装了 DebianScience/Chemistry 软件包以及商业/专有软件,例如 Gaussian03、QCHEM 和 WebMO(这是 Gaussian、QCHEM、MOPAC 和其他计算化学程序的 Web/Java 前端)。

我更熟悉 Debian 科学软件包中的化学程序,但我知道还有很多其他领域的软件,如物理、天文学、生物学、数学等等。此外还有更多用于数据采集、排版(TeX 等)、Fortran、C、python 计算库等的“通用”软件包。

如果没有其他信息,上面的 debian-science wiki 页面将为您提供科学学者可能感兴趣的计算集群软件类型的概述。您说您有三组用于集群的机器,因此一旦您了解了可用的软件类型,您就可以与一些教授交谈并开始制定重建/重新利用机器的计划。

答案2

当我在大学实验室担任系统管理员时,我面临着大量的处理能力(大约 50 台 iMac),但这些能力基本上没有得到充分利用,所以我想做你建议的事情。为了获得最初的关注,我找到了一位博士生,他有一些可并行化的问题——这是物理学,所以他有一个格点 QCD模拟 - 并着手将他的代码移植到 Mac 上,以便可以在 Xgrid 下运行。当他在共享 Sun 集群上花费的 1/3 时间内(实际上是“空闲”的 CPU 时间)获得结果时,部门的其他人开始关注。

答案3

AHadoop如果有需要的话,可以使用集群来处理海量数据。

答案4

这篇文章是我偶然发现的一个 RSS 源,我思考了这个问题。它列出了 25 个开源 HPC 应用程序。它包括来自多个学科的许多科学相关应用程序。

http://www.hpccommunity.org/f55/clusters-produce-25-open-hpc-applications-591/

相关内容