分布式文件系统可以很好地处理多个小文件

分布式文件系统可以很好地处理多个小文件

嗨,我的用例非常具体。

我有 20 台 Windows 7 机器不断在存储中创建文件;这些文件约 98% 为 2.1 MB。平均每 3 天我们会创建 2400 万个文件,而且这个数字在不久的将来可能会增加,因为我们可能需要向系统添加新客户端。

我不修改文件(只是创建、读取、复制和删除)。我已经看到了 Reiser4,它看起来很有前途,但我也希望能够在网络上的多个存储节点之间复制文件,这样我就可以拥有一个容错系统。

有什么建议吗?

答案1

查看 GlusterFS。几个月前我也有类似的需求,并在虚拟机和物理节点上进行了测试。复制速度很快,设置也不是那么困难。

需要注意的是。如果您确实这样做,则需要一台专用计算机来充当文件服务器。然后该机器将处理从属节点之间的复制。我尝试在其中一个终端节点上编辑文件,即查看多个节点是否可以充当文件服务器,以查看复制是否会同步更改。事实并非如此;但是当我通过主/控制器编辑文件时,更改已同步。

相关内容