与 Teamed Broadcom BCM5709C NIC 配置 (VMQ、TOE、LSO、CSO 等) 相符的 Hyper-V R2 的正确配置是什么？

Question

我有两台运行 Windows Server 2008 R2 Datacenter 的 Dell PowerEdge R710 服务器（2 个 Xeon X5690、64GB、8 个 BCM5709C NIC）。它们由一台 Dell PowerVault MD3200 提供支持，该服务器通过 HBA 以 3.6TB 的容量组成 RAID 10（实际为 1.8TB）不是 iSCSI！）。这些是在 Hyper-V 故障转移群集中设置的。

由于出现了一些问题，我正在重建集群。作为重建的一部分，我还升级了服务器上的所有固件（虽然这无关紧要，但我还是把它放在那里）。

由于我正在设置一个“全新”集群，因此这次我想尝试更好地调整网络连接。我花了无数天研究硬件的最佳实践等，但我仍然有一些问题。

在回答问题之前，我的网卡都运行的是固件 7.4.8 和驱动程序 7.4.14.0。它们分为三个组：民众，私人的和虚拟机。团队类型为智能负载平衡和故障转移。

• 公共团队（2 个 NIC - 用于主机网络访问）
• 私人团队（2x NIcs - 用于故障转移群集、实时迁移等）
• 虚拟机团队（3 个 NIC - 用于 VM 网络访问）

还有一个身体的NIC 在 Hyper-V 中绑定为单独的 vSwitch，并且仅分配给我们的 Web 服务器，因为它承载了该服务器的专用连接。

所有端口均分布在两个 Dell PowerConnect 6224 交换机之间，以实现冗余。好了，让我们回到问题：

首先，我需要在虚拟机团队上配置哪些设置才能获得最佳的虚拟机网络性能？从我读到的内容来看，我应该禁用所有将成为虚拟机团队一部分的 NIC 上的 TOE（Broadcom 的 TCP 连接卸载？）、局域网唤醒、巨型帧、流量控制、RSS 和 QoS。我唯一应该拥有的已启用是 LSO 和 CSO。对吗？

编辑：我还读到，我应该预设链接速度，而不是让它自动如果我知道我的硬件的功能，这也是一件好事吗？

使用新的固件和驱动程序，我可以启用 VMQ，在阅读戴尔白皮书我觉得这样做是件好事。但是我也读了一些关于注册表设置的内容，我感到很困惑。我按照指南操作论坛发帖在 Broadcom 的网站上，但我不确定这样做是否是个好主意，因为它适用于不同的 NIC 型号。配置 VMQ 以适用于我的硬件的正确方法是什么？

回到上面禁用巨型帧的问题，我现在已经为所有团队启用了它们。我应该完全禁用它们吗？我读到（在我启用它们之后）它只用于 iSCSI 设置，但我没有，所以我不确定……

在 Web 服务器的专用连接上，如果它仅可供一台服务器使用，我是否需要在其上启用 VMQ？

最后，如果您对任何连接有任何建议，我们将不胜感激。感谢您阅读本文，并提前感谢您的帮助！

Answer 1

我的商店目前在 PE710 中使用组合 Broadcom NIC 来构建 Hyper-V 集群。许多选项取决于您对特定链接的操作。在许多情况下，是否启用某个功能不会对 NIC 的性能产生影响。因此，大多数功能可以保留为默认状态而不会产生任何不良影响。由于您使用的是直接连接存储，因此我建议这样做，原因如下（基于我自己的经验）：

TOE（Broadcom 的 TCP 连接卸载） - 此功能用于将 iSCSI 会话管理卸载到 HBA。由于您似乎没有使用 iSCSI SAN，因此可以关闭此功能。如果保持打开状态，则不会发生任何事情，因为还必须配置此功能才能使其正常工作。

局域网唤醒 - 可以安全关闭。实际上，如果您的服务器始终处于打开状态，则不会产生任何影响（就我个人而言，我认为让服务器进入睡眠状态没有什么意义）。保持此功能处于打开状态会带来某些安全隐患（例如恶意魔术包），但同样，如果服务器始终处于打开状态，则它们并不是真正的问题。

巨型帧 - 取决于您的网络配置和预期用途。巨型帧通过减少帧（和相关报头）的数量来提高通过网络发送大型数据包的性能。除您的 NIC 外，数据路由上的所有网络硬件都必须能够支持巨型帧并在使用前启用该功能。我们已为 iSCSI 网络启用该功能，并为所有其他流量禁用该功能，因为我们不控制核心路由器基础设施。如有疑问，请将其禁用。如果您在 NIC 上启用了该功能，但在其他地方未启用，这可能会给您的网络故障排除带来麻烦。

流量控制 - 同样取决于网络配置。通常将其设置为自动即可。HBA 将自动检测是否受支持。只有当供应商明确建议不要在其硬件上使用流量控制时，我们才会关闭流量控制。

RSS（接收端扩展）允许网络适配器的网络负载在多个处理器之间共享。RSS 使数据包接收处理能够根据可用处理器的数量进行扩展。这允许 Windows 网络子系统利用多核和多核处理器架构。除非您确定它会导致性能下降，否则我会保留它。其他信息这里。

QoS - 即服务质量。此功能根据数据的类型标记数据，并允许优先处理流量。仅当您的网络支持此功能时才有用。如果您不熟悉 QoS 配置，请将其关闭或在打开之前对其进行智能配置。设置它不仅仅是在 NIC 上打开它。

LSO/CSO - 大型发送卸载和校验和卸载；除非您有充分理由关闭，否则请保留这些。传统观点认为，最好让 HBA 尽其所能，以最大限度地减少 CPU 资源利用率。

预设链接速度而不是将其设置为自动 - 这曾经是传统做法，但对于 1GB 和 10GB 以太网链接，现在认为将其设置为自动是最佳做法。在某些情况下，设置链接速度实际上会导致链接脱机。

VMQ - Microsoft 提供了有关何时启用 VMQ 的指导这里并非所有 Broadcom NIC 都支持 VMQ，因此如果 BACS 中没有此选项，则您的型号可能不支持它。无需配置注册表设置即可启用该功能。

哦，最后要说的是。非常非常重要的一点是，您的组合网卡必须配置相同。不仅在同一台服务器上的网卡之间，而且在集群中一起使用的网卡之间也必须配置相同。理想情况下，硬件应该相同，但如果不相同，至少要确保只启用相同的功能。