我所在的实验室必须支持一些处理器密集型的用户应用程序,但基本上不需要本地磁盘存储,因为我们不保证任何类型的数据持久性。但是,作为一家 Mac 商店,我们仍然购买具有标准存储配置的 Mac Pro。鉴于管理政策是继续购买比我们使用的更多的磁盘容量,有没有办法在这些磁盘上构建某种分布式文件存储?
理想情况下,它可用于存储用户主目录,但是,由于我们目前有超过 15TB 的空间被完全浪费,我们很乐意选择更能容忍延迟的应用程序,比如存储要通过登录钩子下载和提取的主目录 tarball,甚至是服务器备份的存档。
要求:
- 客户端(数据用户)、节点(数据保存者)以及任何可能的服务器(协调器?)软件均在 Mac OS 10.5 及更高版本上运行
- 高度容错:“节点”也是可能随时重新启动的用户工作站;当然,工作人员会在停机进行长期维护或退役之前采取任何必要的措施
- 运行在商用硬件上:相当高端的商用硬件,但仍然是商用硬件,没有光纤通道或 SCSI
奖金:
- 符合 posix 规范:如果与 Hadoop 不同,它能够以常规 NFS 挂载或其他方式呈现,那就太好了
目前,MogileFS 似乎是最佳候选者,而 Hadoop 则在未来的支持方面胜过它。我也读过 Gluster,但我不知道它与竞争对手有何不同。任何建议都非常感谢。我意识到在用户工作站上工作时将其作为存储节点运行是一项非常艰巨的任务。
如果有人能告诉我该应用程序的名称,我将不胜感激,因为维基百科声称“分布式文件系统”实际上是指 NFS 和 BitTorrent 之类的东西(?!)。
答案1
Gluster 几乎可以完全按照您的要求执行操作。它甚至将文件存储为普通系统文件,但使用它们的扩展属性来跟踪它们。我曾在 CentOS Linux 上的一些相当重要的生产环境中使用过它,但不知道它在 MacOS 上的支持情况如何。理论上,您可以从源代码编译它……如果没有可用的二进制文件等。