![四面体背靠背 GB-lan 拓扑结构中的 4* 商品集群的消费者板](https://linux22.com/image/527462/%E5%9B%9B%E9%9D%A2%E4%BD%93%E8%83%8C%E9%9D%A0%E8%83%8C%20GB-lan%20%E6%8B%93%E6%89%91%E7%BB%93%E6%9E%84%E4%B8%AD%E7%9A%84%204*%20%E5%95%86%E5%93%81%E9%9B%86%E7%BE%A4%E7%9A%84%E6%B6%88%E8%B4%B9%E8%80%85%E6%9D%BF.png)
我不太确定对于这样的配置该选择什么样的消费主板。
我计划构建一个或多个“类似 Beowulf 的集群”(从一个用于测试的集群开始),一个这样的集群由以下部分组成:四个盒子(商品 Socket-1156 + i7/875K + 2x2GB 1333)采用四面体 Gbit-Lan 拓扑(直接背靠背 X-link 连接)。
在下面的图片中,每个名为 A、B、C 或 D 的框都有四Gbit-NIC,一个指向上游 Gbit 交换机(细线),三个用于连接剩余的框(每种颜色表示两个 NIC 之间的一个子网):
这是一个可靠的 2.5K 欧元(可能更便宜)“32 节点”计算服务器,运行 64 位 Linux 和 OpenMPI。该服务器通过 OpenMPI 在节点上启动数值模拟,节点将通过背对背连接进行通信。
问题:我已经在“三角”集群(三个节点,每个节点都有二附加 PCIe-NIC和板载 Gbit-NIC)成功的一一 板型 (技嘉 P55A-UD3R)。
我测试的另一块主板(技嘉 P55A-UD4)在网络满负荷的情况下,几分钟后重现失败(但不是当单节点模式)。
对于上述设置,我想使用能够同时承受四条 Gbit 链路的主板。从我的三角设置中,我知道每个 NIC 的传输速度约为 50-80 MB/s(iftop)。
- 四面体拓扑结构(如上所示)可能实现吗?
- 我应该选择带有船上有两人Gbit-NICS(昂贵)?
- 消费类主板上的 PCIe 能否同时支持 4 条 Gbit 线路?
- 一堆便宜的(无源) PCIe-NIC 可以吗?
- 有没有人做过类似的事情并有建议?
感谢和问候
離子
答案1
问题可能出在 NIC 的质量上。消费级主板的板载网络通常采用价格低廉的 Broadcom 或 Realtek 芯片组,但在实际负载下,它们的表现相当糟糕。廉价的消费级 NIC 也会出现类似的问题。
配备更好的英特尔芯片组的独立网卡非常受好评。
消费类主板上的 PCIe 应该能够毫无问题地处理这种带宽。
为此,请购买企业级网卡 - 其他任何网卡都会给您带来麻烦,无论是速度还是 CPU 负载(更便宜的网卡会将处理卸载到您的 CPU)。我会考虑使用英特尔千兆 ET2 四端口服务器适配器之类的产品。
http://www.intel.com/Products/Server/Adapters/Gb-EF-Dual-Port/Gb-EF-Dual-Port-overview.htm
这将花费您大约 400 美元,虽然不便宜,但能提供您所需的性能。
此外,一定要确保你不会意外地通过交换机传输流量。如果你没有昂贵的企业级交换机,这可能会导致满负荷问题。如果你的硬件支持,请打开巨型帧。