☰

InfiniBand 存储

tag-icon • tag-icon storage-area-network iscsi infiniband
InfiniBand 存储

我正在考虑下一次重组我的中型存储。目前大约有 30TB，通过 AoE 共享。我的主要选择是：

  1. 保持原样。它还能生长一段时间。
    • 使用 iSCSI。目前速度稍慢，但有更多选择
    • 光纤通道。
    • InfiniBand。

就我个人而言，我喜欢 InfiniBand 主机适配器的性价比，并且 Supermicro（我首选的硬件品牌）的大多数产品都有 IB 作为选项。

Linux 已经有 IPoIB 驱动程序一段时间了；但我不知道是否有众所周知的存储用途。大多数关于 IB 上的 iSCSI 的评论都谈到了 iSER，以及它为何不受某些 iSCSI 堆栈的支持。

那么，有人能指点一下如何使用 IB 为 Linux 服务器提供共享存储吗？有没有启动器/目标项目？我可以简单地使用 iSCSI 而不是 IPoIB 吗？

答案1

尽管可以通过 IPoIB 在 InfiniBand 上运行 iSCSI，但 iSER 和 SRP 协议在 InfiniBand 网络上的性能明显更好。Linux 的 iSER 实现可通过目标项目和 Linux 的 SRP 实现可通过以下方式获得南卡罗来纳科技大学项目。关于 Windows 支持：目前没有适用于 Windows 的 iSER 启动器驱动程序。但 winOFED 软件包中提供了适用于 Windows 的 SRP 启动器驱动程序（另请参阅 openfabrics.org 网站）。

答案2

所以……大多数人并没有真正考虑过以太网和 IB 如何传送数据包。一方面，以太网确实很容易使用，而且无处不在。但数据包管理不是​​自动魔法，也不是保证传送。当然，现代交换非常出色！数据包丢失不再是很久以前的问题。但是，如果你真的推动以太网，你会开始看到数据包在那里循环。就好像他们真的不知道要去哪里一样。最终，数据包到达了它们应该去的地方，但循环造成的延迟已经发生了。没有办法哄骗数据包到达它们应该去的地方。

Infiniband 使用保证交付。数据包和数据包交付受到主动管理。您将看到 IB 的性能将达到峰值，然后偶尔像平方正弦曲线一样下降。下降在几毫秒内结束。然后性能再次达到峰值。

以太网也能达到峰值，但在使用率高时会遇到困难。它不是方波正弦波，而是先下降，然后需要一段时间才能恢复到峰值性能。它看起来像左边的楼梯，右边的则是直线下降。

这是大型数据中心的问题，因为工程师选择以太网而不是 IB 是因为它简单。然后，数据库管理员和存储工程师开始争吵，互相指责对方导致性能问题。当他们向网络团队寻求答案时，问题被回避了，因为大多数工具都认为“平均”网络使用率不是最佳性能。您必须观察数据包才能看到这种行为。

哦！选择 IB 而不是以太网还有一个原因。每个 IB（FDR）端口都可以达到 56 Gb/s。您必须为每 1 个 IB 端口绑定 (6) 个 10Ge 端口。这意味着布线会少很多。

顺便说一句……当您构建金融、数据仓库、生物逻辑或大型数据系统时，您需要大量的 IOPS + 带宽 + 低延迟 + 内存 + CPU。您不能删除其中任何一个，否则您的性能会受到影响。我已经能够以每秒 7GB 的速度从 Oracle 推送到全闪存存储。我最快的全表扫描是 13 秒内扫描了 60 亿行。

交易系统可以缩减总带宽，但它们仍然需要上一段中提到的所有其他组件。理想情况下，您将使用 10Ge 作为公共网络，使用 IB 作为存储和互连。

只是我的想法......约翰

答案3

我刚刚处理了使用 Mellanox NIC 的 IB SAN。在 RHEL 上开箱即用

答案4

那么 10gb 以太网呢？接口越奇特，找到驱动程序和消除错误就越困难，而且一切成本都会越高。

好的 - 鉴于所有内容都在 cx4 电缆距离（15 米）范围内，因此这里有一个便宜的概述：

（我使用的是美元和网页上的标价。我假设供应商价格也是美元）

Infiniband 真的便宜那么多吗？

（请注意 - 我从未真正使用过这些装备，我只是在谷歌上搜索 30 秒后根据搜索结果进行判断。我绝对不会认可它，也不会建议它会带来任何好处或坏处）

相关内容