什么可能导致通过 10Gb NIC 复制文件非常慢?

什么可能导致通过 10Gb NIC 复制文件非常慢?

在我的本地网络上复制数据非常慢。问题中的网络仅为 10Gbe。也就是说,10.0.2.0 子网上的所有内容都是 10Gbe,并且每个设备/交换机都位于同一个 VLAN 上,并且启用了巨型数据包 (9000)。

我需要在两个 Linux Supermicro 服务器(均为 LSI 卡上的 RAID 6 阵列)之间传输至少两次 16TB 的数据,因此我希望它尽可能高效。

我目前取得的最好成绩是 9 分 14 秒传输 49G。奇怪的是,为了尽可能排除可能性,我直接连接服务器,并用 NFS 挂载接收文件系统,但这并没有改善多少。8 分 46 秒。

将相同的 49Gb 数据从 SSD 本地复制到目标磁盘阵列耗时 1 分 14 秒。

通过这种直接连接,iperf3 报告;

iperf3 -c 10.0.2.18
Connecting to host 10.0.2.18, port 5201
[  5] local 10.0.2.16 port 57632 connected to 10.0.2.18 port 5201
[ ID] Interval           Transfer     Bitrate         Retr  Cwnd
[  5]   0.00-1.00   sec  1.15 GBytes  9.90 Gbits/sec    0   2.85 MBytes
[  5]   1.00-2.00   sec  1.15 GBytes  9.90 Gbits/sec    0   3.00 MBytes
[  5]   2.00-3.00   sec  1.15 GBytes  9.89 Gbits/sec    0   3.00 MBytes
[  5]   3.00-4.00   sec  1.15 GBytes  9.89 Gbits/sec    0   3.00 MBytes
[  5]   4.00-5.00   sec  1.15 GBytes  9.90 Gbits/sec    0   3.00 MBytes
[  5]   5.00-6.00   sec  1.15 GBytes  9.90 Gbits/sec    0   3.00 MBytes
[  5]   6.00-7.00   sec  1.15 GBytes  9.89 Gbits/sec    0   3.00 MBytes
[  5]   7.00-8.00   sec  1.15 GBytes  9.90 Gbits/sec    0   3.16 MBytes
[  5]   8.00-9.00   sec  1.15 GBytes  9.89 Gbits/sec    0   3.16 MBytes
[  5]   9.00-10.00  sec  1.15 GBytes  9.90 Gbits/sec    0   3.16 MBytes
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bitrate         Retr
[  5]   0.00-10.00  sec  11.5 GBytes  9.90 Gbits/sec    0             sender
[  5]   0.00-10.04  sec  11.5 GBytes  9.85 Gbits/sec                  receiver

iperf Done.

我觉得这很好。

那么为什么 NFS 会复制;

root@kitkat:~/.ssh# time cp -a /mnt/vmfs/CO_ictDC /mnt/smicro1/TEST

real    8m46.683s
user    0m0.089s
sys     1m27.369s

花费很长时间记住目标服务器上的本地副本;

root@esxidev:~# time cp -a ./CO_ictDC /mnt/raid6/TEST/

real    1m14.693s
user    0m0.307s
sys     1m1.827s

有人能指点一下吗?

编辑后回答了下面评论中的一些问题。不知道还能怎么做。

@LPChip,我检查了文件后发现复制确实已完成。

@harrymc,通过光缆和 sfp+ 连接每个服务器的网卡。

@spiff,rsync 和 scp 一样慢。虽然慢不了多少,但确实慢了不少。还试过 ftp,速度大约为 100Mb/s。唯一连接的网卡是 10Gbe 网卡,两者都连接到同一个 TP-Link TL-SX3008F,该设备没有 1Gbe 或 RJ45 端口。

相关内容