☰

分布式文件系统是否跨节点对文件进行分区？

tag-icon • tag-icon nfs distributed-filesystems
分布式文件系统是否跨节点对文件进行分区？

在 HDFS 中，文件被分成多个块，并分布在多个节点上。

我想知道以下分布式文件系统是否也如此：NFS、Andrew 文件系统（以及 Bayou、Coda，如果你碰巧知道的话）？

谢谢。

答案1

其中，只有 HDFS 从一开始就被设计为将数据块拆分到多个节点，并且磁盘格式也用于实现这一点。戴尔的 HPC 小组将这些称为并行文件系统.或者我想你也可以说是扩大规模。

其余的是远程访问存储阵列的网络协议。这是 20 世纪 80 年代的分布式挑战，如何将工作站连接到部门的中央存储？虽然 AFS、Coda 和 Bayou 有各种复制方案，但它们是在服务器或卷级别，而不是块或范围级别。

pNFS 是 NFS 的可选附加组件，允许通过任意数据协议访问块。这种抽象允许对数据块的存储位置进行一些巧妙的工程设计。但与 HDFS 的设计截然不同。

请注意，Ceph、Lustre 或 HDFS 有通过 NFS 提供文件访问的方法。实现跨多个节点分布的对象存储的并行文件系统有时会为需要文件共享的客户端提供最小公分母。甚至更多的抽象层...

答案2

NFS 协议有多个版本 - v2、v3、v4.0、v4.1 和 v4.2。版本 4.1NFS 协议定义并行nfs， 作为。。而被知道原发性神经纤维，它定义了如何通过 NFS 协议访问分布式数据。Linux 内核 3.9 及更新版本中提供了支持 pNFS 的版本。

pNFS 描述了客户端访问分布式数据的各种方式：

尽管 pNFS 允许（并期望）将文件分散到多个数据服务器（例如 raid-0），但所有现有file layout服务器实现都会分发文件集，并将单个文件的整个块保存在同一台服务器上。当然，这种情况会随着时间的推移而改变。

我期望基于块布局的 Linux 服务器支持文件条带化，但我不是这方面的专家。你最好检查一下Redhat 管理指南

笔记HDFS NFS 网关使用 NFSv3 并通过单个节点代理所有（分布式）数据。

相关内容