☰

iSCSI SAN 读/写性能缓慢

tag-icon • tag-icon vmware-esx vmware-vsphere
iSCSI SAN 读/写性能缓慢

这是基于 Cyber​​netics miSAN D iSCSI SAN 运行虚拟机的 ESXi 4.0 的新设置。

在虚拟机上进行高数据读取测试，它花费了 8 分钟，而在位于较慢的 VMWare Server 1.0 Host 上的同一台虚拟机上，虚拟机位于本地磁盘上，则花费了 1.5 分钟。我正在观察 SAN 的读取速度，它的最大读取速度刚好超过 3MB/s，而虚拟机上的磁盘使用率也刚好超过 3MB/s……非常慢。

服务器和 SAN 都连接到同一个 1GB 交换机。我已遵循此指南

virtualgeek.typepad.com/virtual_geek/2009/09/a-multivendor-post-on-using-iscsi-w ith-vmware-vsphere.html

正确设置多路径，但我的虚拟机仍然没有获得良好的性能。我知道 SAN 和网络应该能够处理超过 100MB/s 的速度，但我就是无法实现。我在 SAN 上有两个 GB NIC，它们多路径连接到 ESXi 主机上的两个 GB NIC。每个 VMkernel 一个 NIC。我还可以检查或做些什么来提高速度？提前感谢任何提示。

答案1

该 SAN 硬件已通过 Vmware 认证，因此请寻求支持以进行调查。性能不佳的常见原因是 SAN 硬件接口过载，因为如果您与同一 SAN 有多个连接，则并非所有连接都能够以最大速度提供服务。

此外，您的本地磁盘将始终比您的设置中的 SAN 更快，因为即使是 SATA 磁盘也最多只有 3Gb/s 带宽，因此您的 SAN 永远不会匹配本地磁盘的速度。您可能还使用以太网而不是光纤，这也无助于提高性能。

使用 SAN 不仅因为速度快，还因为有一个集中管理的地方，您可以将所有重要数据存放在那里，并确保应用合适的 RAID 级别。还有一些功能，例如复制，这是使用 SAN 的优势之一。

答案2

该设置应该能够提供合理的性能，据我所知，即使对于小块随机 IO，该阵列也可以维持每秒约 60-70 兆字节的速度。我没有使用它们的经验，但规范表明它应该能够轻松满足您的要求，搜索到的几条评论也支持这一点。

无论如何，如果我是你，我会先退后一步。摆脱多路径（最初），并确保你可以获得一条路径（在 VMware 端）来维持可观的性能。假设你有一个 8 驱动器单元，完全填充了 10k SAS 驱动器、一个热备用驱动器和一个 7 驱动器 RAID 5 包，它应该能够轻松地通过一个良好的专用 Gbit LAN 上的单个接口提供 >100Meg/sec 的顺序读取或写入，甚至考虑到所有 ip\tcp 和 iSCSI 开销。对 SAN 上的大型文件副本（比阵列上的写入缓存大得多）进行简单的批量测试，以检查你是否看到了这一点。如果你正在读取和写入 SAN 卷，那么性能将不会超过一半。如果不是，那么你将需要查看所有常见的嫌疑人：

  • 首先确保 SAN 的缓存配置正确
  • 确保所有驱动器都健康 - 即您没有遇到 RAID 重建问题
  • 确保交换机运行正常且没有忙于其他事务 - 理想情况下，您应该将 SAN 流量隔离到它自己的交换机上，如果不能做到这一点，就将其放在它自己的 VLAN 上。
  • 绝对不要把它放在一个很忙的廉价开关上。
  • 检查所有端口（ESX、交换机和 SAN）的双工和速度设置
  • 避免摆弄巨型帧和 ESX，除非您确定其他一切都正常
  • 一定要在交换机上启用硬件流控制

测试时，请确保 ESX 主机或 SAN 没有忙于其他任何事情。

一旦您成功在单个上行链路上获得 >100Meg/sec 的连续流量，那么您可以考虑查看多路径是否有所不同。使用 ESX4 上的 iSCSI 可以，但除非存储阵列与 ESX 4 一起正确支持它，否则不太可能 - 我会向阵列供应商寻求指导。

答案3

多路径可能是导致您出现问题的原因。您是否能够（并且是否尝试过）禁用多路径，只使用一个 1Gb 连接到您的 SAN？由于链接不良或数据包传送延迟，VMware 在负载下可能会发生路径抖动...

顺便说一句，如果您的 SAN 和 ESXi 主机是该链路上仅有的两个设备，则 1Gb 链路的最大吞吐量将达到 ~30MBytes/秒……

答案4

请记住，VMware 中的本机多路径 IO 驱动程序 (MPIO) 仅是主动/被动的，因此它每个 LUN 仅使用一条路径。因此，如果您的所有流量都流向单个 LUN，则您只能使用一条路径将流量传输到那里。唯一支持的第三方 MPIO 驱动程序（据我所知）是 EMC 的 PowerPath，它是一个主动/主动 MPIO 驱动程序，但它需要 vSphere 的 Enterprise Plus 版本。

有些东西值得一看。

您是否已在 SAN、交换机和主机上启用巨型帧？SAN 是否通过其监控工具显示任何性能问题？有多少磁盘位于相关 LUN 后面？有多少其他内容访问这些相同的磁盘？

相关内容