☰

我的快速网络的慢速网络共享有什么问题？

tag-icon • tag-icon linux networking cifs iscsi
我的快速网络的慢速网络共享有什么问题？

我已经做了大量的测试。cp、dd、rysnc、iperf、netcat、custom-dd 等等。

我所看到的是一个强大的网络。下面的 iperf 结果显示了这一点，我还有其他数据可以验证这一点。

我正在寻找一种可以匹配这些速度甚至接近这些速度的共享协议。

我目前使用共享协议 iSCSI (FreeNAS) 和 CIFS (WIN7) 获得的数据约为 1.5 GB/m 到 2.5 GB/m。我的目标是 3.0 GB/m

我在共享协议实施过程中可能搞砸了什么，导致速度大幅降低？

root@fdas:~# ./iperf -c 192.168.2.138
------------------------------------------------------------
Client connecting to 192.168.2.138, TCP port 5001
TCP window size: 16.0 KByte (default)
------------------------------------------------------------
[  3] local 192.168.2.118 port 43066 connected with 192.168.2.138 port 5001
[ ID] Interval       Transfer     Bandwidth
[  3]  0.0-10.0 sec  1.05 GBytes   900 Mbits/sec
root@fdas:~# ./iperf -c 192.168.2.138 -t 60
------------------------------------------------------------
Client connecting to 192.168.2.138, TCP port 5001
TCP window size: 16.0 KByte (default)
------------------------------------------------------------
[  3] local 192.168.2.118 port 43067 connected with 192.168.2.138 port 5001
[ ID] Interval       Transfer     Bandwidth
[  3]  0.0-60.0 sec  6.22 GBytes   891 Mbits/sec
root@fdas:~# ./iperf -c 192.168.2.138 -t 600
------------------------------------------------------------
Client connecting to 192.168.2.138, TCP port 5001
TCP window size: 16.0 KByte (default)
------------------------------------------------------------
[  3] local 192.168.2.118 port 35506 connected with 192.168.2.138 port 5001
[ ID] Interval       Transfer     Bandwidth
[  3]  0.0-600.0 sec  62.0 GBytes   887 Mbits/sec

//编辑添加的磁盘 io 基准。注意：此 hdparm 测试按顺序读取，最终目标是从 aa 磁盘（整个磁盘，而不是分区）读取和写入原始字节

/dev/sdd1 on /a type ext4 (rw)

注意：sdd 是 FreeNAS iSCSI 磁盘

root@fdas:~# hdparm -t /dev/sdd

/dev/sdd:
 Timing buffered disk reads:  168 MB in  3.02 seconds =  55.71 MB/sec
root@fdas:~# hdparm -t -T /dev/sdd

/dev/sdd:
 Timing cached reads:   5240 MB in  2.00 seconds = 2620.70 MB/sec
 Timing buffered disk reads:  168 MB in  3.01 seconds =  55.84 MB/sec

答案1

您是否在服务器和客户端上运行过磁盘 IO 基准测试？除非磁盘子系统能够提供您所需的吞吐量，否则它们当然会成为瓶颈，而不是网络。

答案2

根据我的经验，iSCSI 是开销最低的，巨型帧最终还是要计算在内。我曾见过 iSCSI 使用 LIO-Target iSCSI 框架和 ramdisk 作为目标，使 GigE 连接饱和。那东西飞起来了。旧版本的 Linux iSCSI 堆栈确实存在一些性能问题，并且无法使用 ramdisk 实现全口径吞吐量。我不确定 FreeNAS 现在运行的是什么，LIO-Target 的东西相当新。

这种吞吐量的最大限制因素之一最终是存储系统后端。正如我所提到的，我通过使用 ram-disk 获得了上述速度（服务器有 32GB RAM，因此值得一试）。当我尝试使用跨 48 个磁盘条带化的存储进行相同测试时，我能够在连续测试期间使 GigE 饱和，但随机 I/O 测试远低于此；我记得在 65-80MB/s 范围内。

相关内容