☰

iSCSI TGTD over InfiniBand 性能

tag-icon • tag-icon linux performance iscsi infiniband
iSCSI TGTD over InfiniBand 性能

我刚刚配置了服务器到服务器的 4x SDR InfiniBand 链路，以增加虚拟机后端存储（特别是数据库服务器）的带宽。我在 CentOS 6 上使用带有 TGTD 的 iSCSI，使用 iperf 测试时，我能够使用 IPoIB 实现约 6.45Gbps。

我已成功调整 iSCSI 启动器和目标，使之能够实现约 260MB/s 的 SSD 写入速度。然而，这仍然不是最佳写入速度，因为我的本地写入速度约为 500-600MB/s。

我目前使用的参数是：

  • 最大接收数据段长度 4194304
  • 最大发送数据段长度 524288
  • 最大突发长度 4194304
  • 首次突发长度 262144
  • MaxOutstandingUnexpectedPDUs=0
  • 最大未完成R2T=1
  • 最大命令数=256
  • 队列深度=128

有没有人有调整这方面的经验？通过更改配置，是否可以获得更高的带宽？即使在两个设备上执行 RAID 0，我仍然只能实现相同的带宽，而我本来期望带宽更高。

答案1

使用当前设置，您获得的结果是可以预期的。使用iser传输模式，您可以获得额外的性能提升。

配置提示来自自述文件

目标：

    ./tgtadm --lld iser --mode target \
             --op new --tid 1 --targetname "iqn.$(hostname).t1"
    ./tgtadm --lld iser --mode target \
             --op bind --tid 1 --initiator-address ALL
    ./tgtadm --lld iser --mode logicalunit \
             --op new --tid 1 --lun 1 \ --backing-store /dev/sde
             --bstype rdwr

发起者：

    iscsiadm -m discovery -t sendtargets -p $targe
    iscsiadm -m node -p $targetip -T $targetname --op update \
        -n node.transport_name -v iser
    iscsiadm -m node -p $targetip -T $targetname --login

相关有用的 SF 问题：设置简单的 Infiniband 块存储（SRP 或 iSER）。

相关内容