我正在考虑下一次重组我的中型存储。目前大约有 30TB，通过 AoE 共享。我的主要选择是：
- 保持原样。它还能生长一段时间。
- 使用 iSCSI。目前速度稍慢，但有更多选择
- 光纤通道。
- InfiniBand。
就我个人而言，我喜欢 InfiniBand 主机适配器的性价比，并且 Supermicro（我首选的硬件品牌）的大多数产品都有 IB 作为选项。
Linux 已经有 IPoIB 驱动程序一段时间了；但我不知道是否有众所周知的存储用途。大多数关于 IB 上的 iSCSI 的评论都谈到了 iSER，以及它为何不受某些 iSCSI 堆栈的支持。
那么，有人能指点一下如何使用 IB 为 Linux 服务器提供共享存储吗？有没有启动器/目标项目？我可以简单地使用 iSCSI 而不是 IPoIB 吗？
答案1
答案2
所以……大多数人并没有真正考虑过以太网和 IB 如何传送数据包。一方面，以太网确实很容易使用，而且无处不在。但数据包管理不是自动魔法，也不是保证传送。当然，现代交换非常出色！数据包丢失不再是很久以前的问题。但是，如果你真的推动以太网，你会开始看到数据包在那里循环。就好像他们真的不知道要去哪里一样。最终，数据包到达了它们应该去的地方，但循环造成的延迟已经发生了。没有办法哄骗数据包到达它们应该去的地方。
Infiniband 使用保证交付。数据包和数据包交付受到主动管理。您将看到 IB 的性能将达到峰值，然后偶尔像平方正弦曲线一样下降。下降在几毫秒内结束。然后性能再次达到峰值。
以太网也能达到峰值，但在使用率高时会遇到困难。它不是方波正弦波，而是先下降，然后需要一段时间才能恢复到峰值性能。它看起来像左边的楼梯，右边的则是直线下降。
这是大型数据中心的问题，因为工程师选择以太网而不是 IB 是因为它简单。然后，数据库管理员和存储工程师开始争吵，互相指责对方导致性能问题。当他们向网络团队寻求答案时，问题被回避了，因为大多数工具都认为“平均”网络使用率不是最佳性能。您必须观察数据包才能看到这种行为。
哦！选择 IB 而不是以太网还有一个原因。每个 IB（FDR）端口都可以达到 56 Gb/s。您必须为每 1 个 IB 端口绑定 (6) 个 10Ge 端口。这意味着布线会少很多。
顺便说一句……当您构建金融、数据仓库、生物逻辑或大型数据系统时，您需要大量的 IOPS + 带宽 + 低延迟 + 内存 + CPU。您不能删除其中任何一个，否则您的性能会受到影响。我已经能够以每秒 7GB 的速度从 Oracle 推送到全闪存存储。我最快的全表扫描是 13 秒内扫描了 60 亿行。
交易系统可以缩减总带宽，但它们仍然需要上一段中提到的所有其他组件。理想情况下，您将使用 10Ge 作为公共网络，使用 IB 作为存储和互连。
只是我的想法......约翰
答案3
我刚刚处理了使用 Mellanox NIC 的 IB SAN。在 RHEL 上开箱即用
答案4
那么 10gb 以太网呢？接口越奇特，找到驱动程序和消除错误就越困难，而且一切成本都会越高。
好的 - 鉴于所有内容都在 cx4 电缆距离（15 米）范围内，因此这里有一个便宜的概述：
（我使用的是美元和网页上的标价。我假设供应商价格也是美元）
- 转变：5222美元
- 带 cx4 接口的 10gig 卡：495 美元 x12
- cx4 电缆：82 美元 x6 + 165 美元 x6
- 总计：12,700 美元
Infiniband 真的便宜那么多吗？
（请注意 - 我从未真正使用过这些装备，我只是在谷歌上搜索 30 秒后根据搜索结果进行判断。我绝对不会认可它，也不会建议它会带来任何好处或坏处）