哪些分布式文件系统,对于小文件的读/写工作负载表现更好?

哪些分布式文件系统,对于小文件的读/写工作负载表现更好?

我有两台机器通过 iscsi(多路径)共享存储,很快我们又要添加一台,这些机器是 Web 应用服务器,它们读取共享存储上的小文件(< 256kB),然后将其写回。因此,我们写入的内容与读取的内容大致相同。我们需要数据复制,并且两台服务器都可以访问这些文件。

我们测试了 OCFS2 和 GFS2,两者都存在性能问题,导致整个应用程序运行缓慢。我尝试了两种解决方案的许多改进,但都没有成功。

这两种解决方案的性能都会随着时间的推移而下降,这种分布式 FS 是否适合这种工作负载?是否有其他更好的解决方案可以在具有数据复制的 2-3 个服务器的小型集群上读取/写入文件?

问候。

答案1

格鲁斯特是一个开源分布式文件系统,已在HPC集群环境中使用。 光泽是另一种在 HPC 集群中广泛使用的并行文件系统,并且有几种不同的实现。

相关内容