对于计算机集群上的哪些工作负载(例如同时活跃的用户运行平均 HPC 中心作业),有没有任何硬性数字或经验法则,使得并行网络共享文件系统(例如 Lustre、GPFS、Ibrix 或 Panasas)成为要求?
...也就是说,什么时候 NFS 共享 SAN 存储不再足够,你需要某种平行线NAS?
编辑:在“SAN”之前添加了“NFS 共享”。
答案1
首先,据我所知,HPC 中没有“平均值”——我有幸在三种 HPC 环境中工作过,这三种环境的动态差异很大(用传统的瓶颈建模术语来说,一种是磁盘限制,一种是 CPU 限制,一种是内存限制)。
这直接引出了我对您问题的回答:当磁盘限制达到影响性能的程度时,您需要“某种并行 NAS”。当您无法再让所有 CPU 都处于饱和状态时(并且您仍有空闲的 RAM,或者某些节点完全处于空闲状态等待磁盘),您就会知道情况就是这样。
如果您当前的存储系统具有性能监控功能,您可以查看统计数据,并在达到最大性能值的 66% 或 75% 时计划采取行动,但没有硬性规定说“X 节点,Y 任务 - 现在您需要部署 GPFS”。
答案2
您正在比较苹果和橘子。SAN 提供逻辑卷 - 而不是文件系统。如果您有多个系统尝试将同一逻辑卷安装为可写(即即使启用了访问时间),那么您需要一个支持并发访问的文件系统。
通常,术语 NAS 适用于提供文件共享服务(如 NFS 或 SMB)的系统,这使得使用集群文件系统变得多余(只有控制器直接访问文件系统)。然而,该术语有时也适用于 iSCSI 协议 - 在这种情况下,设备的行为类似于 SAN。