我正在构建家庭集群，其中我将有大约 16 个节点，可以使用 1G 端口，但我希望在文件服务器和中央节点上使用 10GE。它们都是本地的，因此不需要超过 3-5 米长的电缆。当然，我希望花尽可能少的钱（不会花超过整个集群的成本）:-)
我有什么选择？
- 传统解决方案是使用一些 24-48 端口 1GE 交换机，并通过 4-8 个聚合链路连接到文件/中央节点。我想这会起作用，成本非常可接受，但我不确定使用那么多聚合链路是否可行。当然，在需要时很难将带宽翻倍…… :-D
- 具有多个 10GE 上行链路“端口”的交换机。据我所知，它们都需要花费约 1000 美元的模块，因此我需要 4 个 10G 模块和 2 个 10GE 卡…… 价格似乎远超 5000 美元……
- 通过 2 个 10G 卡直接连接文件和中央节点，并在文件服务器上放置 4 个四端口 1GE NIC。我节省了 2 个 10G 模块和一个交换机，文件服务器必须进行数据包路由，但它仍然会剩下很多 CPU :-)
- 还有其他选择吗？Infiniband？
- MyriNet 适配器可以正常工作吗？我想没有更便宜的选择吗？
- 嗯...废弃文件服务器，将其全部放在中心节点上，并为每个节点提供专用的 1GE 端口......这很可悲......
答案1
我认为您没有看到整个情况。
您希望以 10Gbps 的速度连接文件服务器，这听起来可能是一个不错的主意。但您没有看到的是该服务器能够生成如此多的磁盘读取流量。从文件服务器获得 1GBps 的速度，在今天已经是一项了不起的成就。正如您自己所意识到的，10Gbps 不仅价格昂贵，而且至少 90% 是无用的。
如果您的文件服务器需要提供如此大量的 IO，那么最好的选择就是开始在文件服务器中安装一些速度超快的磁盘。我坚信实现这一目标的“经济实惠”（注意引号）途径是快速 RAID 配置（即 RAID10）中的 SSD 驱动器。
至于网络，4x1Gbps 聚合就足够了，你甚至可以稍后添加更多。请注意，内部总线（读取 PCI*）并不总是能够处理多千兆位速度。如果你没有使用服务器级主板，情况尤其如此。
我相信这是你唯一“负担得起”的选择。Infiniband 卡并不贵。我相信你可以找到一些价格约为 150 美元的卡，但交换机会非常昂贵。
答案2
如果您想节省一些昂贵的第 3 层交换机，您可能需要考虑以太网上的 ATA。这是我目前所知的任何其他文件系统中成本最低但性能最高的解决方案的首选协议。但是没有 10Gb 普通交换机（没有 L3 交换）。
视为 POC：Ubuntu 服务器 10.x 和 AOE 工具项目 http://sourceforge.net/projects/aoetools/files