基于 Infiniband 的高可用性存储：除了 mdraid 之外还有什么？

Question

通过 infiniband 进行 mdadm 是不是一个坏主意？ 获得合理性能存储以应对单台机器故障的真正诀窍是什么？

我们已经运行 ceph 几年了，它的伟大的易于实现冗余，但其性能令人瞠目结舌。NVME 很容易达到 3GB/s，而我们的 ceph 在 50Gbs 网络上以 100MB/s 的速度运行，同时消耗 64 个核心 CPU。我只是认为我在这里没有为性能预期做出正确的选择。

与成本低于 50GB 以太网卡的上一代 100GB 卡相比，Infiband 似乎极具成本效益。使用 iSER 通过 infiniband 将本地磁盘暴露给另一台主机似乎非常简单，而且性能良好。

现在，让它在主机故障中幸存下来的简单解决方案是 mdraid 跨多个远程目标。但我发现没有多少人真正这样做，这个答案这表明这甚至可能是一个坏主意，因为 mdraid 无法理解底层设备是否是远程设备。此外此评论明确指出此设置可能会遇到边缘情况错误。

但是，您还能怎样构建一个能够在无人值守的情况下从节点故障中恢复的无限带宽存储网络呢？

Answer 1

目前 IB 存储的首选解决方案是光泽并查看哇哇云

Lustre 是一种分布式文件系统，支持跨服务器的经典 RAID 语义。Lustre
的基本最低限度设置包括元数据服务器 (MDS)（兼作管理服务器 (MGS)）和一些对象存储服务器 (OSS)。请注意，Lustre 在 S3 之前很久就使用了“对象”一词，并且发布的是类似 POSIX 的文件系统，而不是对象存储。