在我的本地网络上复制数据非常慢。问题中的网络仅为 10Gbe。也就是说,10.0.2.0 子网上的所有内容都是 10Gbe,并且每个设备/交换机都位于同一个 VLAN 上,并且启用了巨型数据包 (9000)。
我需要在两个 Linux Supermicro 服务器(均为 LSI 卡上的 RAID 6 阵列)之间传输至少两次 16TB 的数据,因此我希望它尽可能高效。
我目前取得的最好成绩是 9 分 14 秒传输 49G。奇怪的是,为了尽可能排除可能性,我直接连接服务器,并用 NFS 挂载接收文件系统,但这并没有改善多少。8 分 46 秒。
将相同的 49Gb 数据从 SSD 本地复制到目标磁盘阵列耗时 1 分 14 秒。
通过这种直接连接,iperf3 报告;
iperf3 -c 10.0.2.18
Connecting to host 10.0.2.18, port 5201
[ 5] local 10.0.2.16 port 57632 connected to 10.0.2.18 port 5201
[ ID] Interval Transfer Bitrate Retr Cwnd
[ 5] 0.00-1.00 sec 1.15 GBytes 9.90 Gbits/sec 0 2.85 MBytes
[ 5] 1.00-2.00 sec 1.15 GBytes 9.90 Gbits/sec 0 3.00 MBytes
[ 5] 2.00-3.00 sec 1.15 GBytes 9.89 Gbits/sec 0 3.00 MBytes
[ 5] 3.00-4.00 sec 1.15 GBytes 9.89 Gbits/sec 0 3.00 MBytes
[ 5] 4.00-5.00 sec 1.15 GBytes 9.90 Gbits/sec 0 3.00 MBytes
[ 5] 5.00-6.00 sec 1.15 GBytes 9.90 Gbits/sec 0 3.00 MBytes
[ 5] 6.00-7.00 sec 1.15 GBytes 9.89 Gbits/sec 0 3.00 MBytes
[ 5] 7.00-8.00 sec 1.15 GBytes 9.90 Gbits/sec 0 3.16 MBytes
[ 5] 8.00-9.00 sec 1.15 GBytes 9.89 Gbits/sec 0 3.16 MBytes
[ 5] 9.00-10.00 sec 1.15 GBytes 9.90 Gbits/sec 0 3.16 MBytes
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bitrate Retr
[ 5] 0.00-10.00 sec 11.5 GBytes 9.90 Gbits/sec 0 sender
[ 5] 0.00-10.04 sec 11.5 GBytes 9.85 Gbits/sec receiver
iperf Done.
我觉得这很好。
那么为什么 NFS 会复制;
root@kitkat:~/.ssh# time cp -a /mnt/vmfs/CO_ictDC /mnt/smicro1/TEST
real 8m46.683s
user 0m0.089s
sys 1m27.369s
花费很长时间记住目标服务器上的本地副本;
root@esxidev:~# time cp -a ./CO_ictDC /mnt/raid6/TEST/
real 1m14.693s
user 0m0.307s
sys 1m1.827s
有人能指点一下吗?
编辑后回答了下面评论中的一些问题。不知道还能怎么做。
@LPChip,我检查了文件后发现复制确实已完成。
@harrymc,通过光缆和 sfp+ 连接每个服务器的网卡。
@spiff,rsync 和 scp 一样慢。虽然慢不了多少,但确实慢了不少。还试过 ftp,速度大约为 100Mb/s。唯一连接的网卡是 10Gbe 网卡,两者都连接到同一个 TP-Link TL-SX3008F,该设备没有 1Gbe 或 RJ45 端口。