我们目前有一个 2 节点 Oracle 11g RAC，使用 1GigE 作为专用互连。在高峰更新时间，节点之间的流量达到 35 MByte/秒，因此在带宽容量方面我们仍然表现良好。我们正在考虑向集群添加第三个节点以支持我们交易量的增长。我想知道是否有人已经看到向集群添加节点将如何影响专用互连流量以及什么会触发使用 Infiniband。据我所知，Infiniband 不仅可以增加带宽，而且网络延迟也短得多。任何使用 Infiniband 进行 RAC 专用互连的人都可以与我们分享您的经验吗？提前谢谢。
答案1
我有一个 4 节点 oltp rac 数据库和一个 3 节点 dw rac 数据库，使用 IB 作为互连。
我们使用 cisco IB 交换机和 cisco IB 卡。我们使用 IP over IB 作为互连协议。到目前为止，我们对结果非常满意。从未遇到过互连流量问题。我们的千兆以太网公共接口已接近饱和，但 IB 带宽还远远不够。所有 7 个节点都连接到 2 个 infiniband 交换机，这些交换机设置为主动/被动故障转移配置。
答案2
我从未在生产中使用过 Infiniband，但据我所知，唯一可能适合使用 Infiniband 的情况是当您发现自己偏向于 10GigE 时（如果我没记错的话，价格点在 10GbE 左右达到平衡）。以纳秒为单位测量的延迟非常酷，但它对 DB 来说重要吗？其实并不重要。
您可能可以组合两个 1Gb 连接（当然需要适当的硬件），或者在需要 Infiniband 之类的东西之前进行任意数量的其他调整（例如巨型数据包或调整 MTU）。
话虽如此，如果您只是想向朋友炫耀一下，Infiniband 还是非常酷的……
答案3
IB 和 10GbE 之间的最大区别应该是延迟。IB 使用 DMA 类型的模型，延迟在微秒范围内，而 10GbE 要求您的通信在堆栈的两侧来回传输。IB 还应该具有比 10GbE 更高的原始带宽，但当 40 和 100GbE 推出时，10GbE 可能会向后兼容。
实际上，我们刚刚接到任务，要构建一个 5 节点 Oracle 集群，该集群带有 IB 互连和 IB -> 10GbE 交换机概念验证，我们正在与戴尔合作。因此，我的信息主要是我为准备 POC 而进行的研究。
答案4
如果您更关心实例到实例同步的批量数据传输的成本（对于您的应用程序而言），那么您当前的 35Mbps 速率目前已经足够低，以至于转移到不同的集群互连不太可能对其产生积极影响。
不要忘记，您可以非常轻松地将 1Gbps 以太网连接中继到 4Gbps 或 8Gbps（取决于您可以在各个集群节点中粘贴的物理端口数量），而不会在网络堆栈中承担更多延迟。
正如 Farseeker 所说，IB（在商业环境中）是一件很酷的事情，值得向你的朋友炫耀。在科研界，IB 几乎已经成为集群互连的商品。