我们有一个 5 节点 Windows Server 2016 故障转移群集设置,使用 HPE Nimble 作为共享存储。我们将群集用于 Hyper-V。所有虚拟机 VHDX 都存储在群集共享卷 (CSV) 上。
当虚拟机在不拥有 CSV 存储的节点上运行时,虚拟机内的磁盘性能出现问题。
当虚拟机都在拥有 CSV 的节点上运行时,通过 SMB 在虚拟机之间传输文件的速度在 1.5GB/s 到 2GB/s 之间。如果您从该节点拿走存储所有权,速度会降至约 100MB/s。
这似乎是存储流量通过 1GB 网络,通过所有者节点,然后进入 SAN。据我所知,除非 CSV 已设置为重定向模式,否则不应该出现这种情况。(我还没有用 Wireshark 或其他工具确认这一点,正在研究这个问题)
我运行了该命令Get-ClusterSharedVolumeState
,返回以下内容:
BlockRedirectedIOReason : NotBlockRedirected
FileSystemRedirectedIOReason : NotFileSystemRedirected
Name : Cluster Disk 1
Node : HyperV03
StateInfo : Direct
VolumeFriendlyName : VM-CSV
VolumeName : \\?\Volume{9323278e-8374-474c-b9e7-1097305c0d1f}\
BlockRedirectedIOReason : NotBlockRedirected
FileSystemRedirectedIOReason : NotFileSystemRedirected
Name : Cluster Disk 1
Node : Hyperv06
StateInfo : Direct
VolumeFriendlyName : VM-CSV
VolumeName : \\?\Volume{9323278e-8374-474c-b9e7-1097305c0d1f}\
BlockRedirectedIOReason : NotBlockRedirected
FileSystemRedirectedIOReason : NotFileSystemRedirected
Name : Cluster Disk 1
Node : hyperv05
StateInfo : Direct
VolumeFriendlyName : VM-CSV
VolumeName : \\?\Volume{9323278e-8374-474c-b9e7-1097305c0d1f}\
BlockRedirectedIOReason : NotBlockRedirected
FileSystemRedirectedIOReason : NotFileSystemRedirected
Name : Cluster Disk 1
Node : Hyperv04
StateInfo : Direct
VolumeFriendlyName : VM-CSV
VolumeName : \\?\Volume{9323278e-8374-474c-b9e7-1097305c0d1f}\
BlockRedirectedIOReason : NotBlockRedirected
FileSystemRedirectedIOReason : NotFileSystemRedirected
Name : Cluster Disk 1
Node : Hyperv02
StateInfo : Direct
VolumeFriendlyName : VM-CSV
VolumeName : \\?\Volume{9323278e-8374-474c-b9e7-1097305c0d1f}\
据此输出重定向不是问题的原因。
有人能想到为什么会发生这种情况吗?
已使用 HPE Windows Toolkit 设置与 SAN 的所有连接,该工具包会为您配置 MPIO 设置和其他各种位。我们已确认所有节点都能够达到预期的 1GB/s+ 传输速度,但前提是该节点拥有 CSV 的所有权。
谢谢
答案1
这也可能是防病毒问题。需要确保 C:\ClusterStorage 有排除项。
答案2
您可以在 CSVFS 下检查文件系统类型。它可以是 NTFS 或 ReFS。ReFS 有此限制,即它始终将流量重定向到所有者节点。请参阅:
https://learn.microsoft.com/en-us/windows-server/failover-clustering/failover-cluster-csvs