使用 HP P2000 SAN 进行 iSCSI MPIO 负载平衡

使用 HP P2000 SAN 进行 iSCSI MPIO 负载平衡

我的设置:

具有 2 个节点(AMD 24 核、64GB RAM)的 Hyper-V 群集通过 2 个 Procurve 25-10g 连接到 p2000g3 SAN(12x300 GB 企业 SAS 10k 2.5 英寸)。每个节点都是一个 iSCSI 启动器。

问题:

当我在节点上运行虚拟机并启动基本 crystalmark 磁盘基准测试时,我的读取和写入速度均为 80 MB/s。这很差。

你们有什么感想 ?

更新1: 经过一整天的测试,这是我的第一个结论。似乎我不能指望超过一千兆字节以太网卡的带宽。当没有 mpio 并且只有一个连接时,带宽使用率为 100%,当有 2 个 mpio 路径时,每个路径占用 50%,当有 3 个 mpio 路径时占用 33%...启用流量控制不会产生更多影响(似乎更少..),启用巨型帧也不会产生更多影响。我无法想象我被困在 1gb,p2000 有 2 个控制器,每个控制器有 4 个端口。请告诉我是否可以聚合它 :)

回顾一下我的测试: 在虚拟机上运行 crystalmark 磁盘顺序 (1000mb) 得到 80 到 100 mb/s 的速度,在 hyperv 主机上本地使用存储虚拟机进行相同测试得到 250 的速度。

答案1

几年前,我们有一个非常相似的设置。这是一个复杂的设置,有很多活动部件,你必须仔细检查。以下是检查性能的主要方面:

  • SAN:确保配置正确,根据制造商规格验证虚拟磁盘布局,分散的虚拟磁盘通常会导致问题。此外,请确保您有适当的设置来处理两个或多个主机(集群)从同一虚拟磁盘读取数据的情况。
  • 开关:检查您的巨型帧设置,您通常需要确保在交换机、SAN 和服务器上启用巨型帧,仅用于数据连接。此外,如果您的网络和数据流量共享同一个交换机,请确保使用 VLAN 来隔离流量。
  • 服务器:驱动程序和 iSCSI,确保它们是最新的并且设置正确。对于多台主机,您确实需要使用多路径驱动程序和配置,请再次咨询您的制造商。您没有发布您的 NIC 规格,但请确保它也支持 1GB 或更高的流量。

这是一些真正的基本起点。最坏的情况是打电话给你的供应商,他们通常有关于这类内容的很好的白皮书或案例研究。

答案2

您的表现将根据基准测试的类型而有所不同。如果您正在执行顺序的读取或写入,您应该能够从磁盘获得大量 MB/s 的性能。这不是一个有用的基准,因为这不是虚拟服务器通常执行的 IO 类型。

如果你正在做小块随机的IO,您的写入操作将被缓存,直到缓存用完为止,并且只有一小部分读取操作来自缓存。其余的将全部进入磁盘,然后您的性能(以 MB/s 为单位)就无关紧要了。IO/s 的数量将限制您。每个 10k 磁盘最多可以增加几百个 IO/s,因此使用 12 个磁盘,您最多只能获得几千个 IO/s。

编辑:如果您使用的是 1Gb/s 网络交换机,那么您可以获得的最大吞吐量是 80MB/s,这与您所看到的完全一致。在交换机上添加网络端口,看看是否会有所改善。

答案3

80MBps = 1Gbps 以太网,您要么只使用 1 个 NIC,要么没有正确设置 MPIO。

答案4

如果每个服务器有 2x1gig 连接,每个 SAN 节点有 2x1gig 连接,则服务器上的 MPIO 配置错误,或者在 SAN 上传输负载平衡。

如果您的 SAN 不支持传输负载平衡到单个主机那么你就倒霉了:你最多只能通过一个链接到达主机。

我找不到任何证明 p2000 支持传输负载平衡的文档;我只找到对主动/被动控制器的引用。

相关内容