iostat 图

Question 1

这个答案是受到@shodanshok 的评论启发的，他评论了（所以我不能赞同他的贡献 - 而是发布答案）

编辑 2021/06/09-iperf3开发人员发现了一个可能的问题；软件包的较新版本可能有不同的行为，YMMV。请参阅：https://github.com/esnet/iperf/issues/1159

最初，我用它iperf3 -F ....来测量网络写入速度（以验证 10G 光纤连接）。然而，它产生的结果比通过 NFS 写入数据（使用fio基准测试生成）慢得多。

这非常令人困惑，因为rsync速度远远低于这个数字100MB/s，即使考虑到解密/加密，在 10G 光纤上也不应该这么慢。所以我一直在错误的方向挖掘。

下面的测量结果显示，具有 NVME（单）磁盘的 10G 网络能够超过 900MB/s，并且有备用 CPU 容量。

在我的设置中，我使用逻辑卷（LVM），奇怪的是 LVM 统计信息与分区不一致NVME；这是系统上唯一的分区 - 因此，看看如果没有 LVM 会发生什么情况会很有趣。

nfs 导出： /mnt/nfs *(rw,no_subtree_check,async,insecure,no_root_squash,fsid=0)

cat /etc/mtab | grep nfs

10.0.0.21:/mnt/nfs /mnt/nfs1 nfs rw,relatime,vers=3,rsize=1048576,wsize=1048576,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,mountaddr=10.0.0.21,mountvers=3,mountport=52335,mountproto=udp,local_lock=none,addr=10.0.0.21 0 0

命令用于产生以下测量结果：

`fio --name=random-write --ioengine=libaio --rw=randwrite --bs=$SIZE --numjobs=1 --iodepth=1 --runtime=30 --end_fsync=1 --size=3g`

`dd if=/dev/zero of=/mnt/nfs1/test bs=$SIZE count=$(3*1024/$SIZE)`


|            | fio (bs=4k)    | fio (bs=8k)    | fio (bs=1M)   | dd (bs=4k)    | dd (bs=1M) |
|------------|----------------|----------------|---------------|---------------|------------|
|nfs (udp)   |  153           |    210         |    984        |    907        |    962     |
|nfs (tcp)   |  157           |    205         |    947        |    946        |    916     |

iostat 图

从：

`fio --name=random-write --ioengine=libaio --rw=randwrite --bs=1m --numjobs=1 --iodepth=1 --runtime=30 --end_fsync=1 --size=20g`

这

本地写入速度	NFS 写入速度（10G光纤）

Answer

这个答案是受到@shodanshok 的评论启发的，他评论了（所以我不能赞同他的贡献 - 而是发布答案）

编辑 2021/06/09-iperf3开发人员发现了一个可能的问题；软件包的较新版本可能有不同的行为，YMMV。请参阅：https://github.com/esnet/iperf/issues/1159

最初，我用它iperf3 -F ....来测量网络写入速度（以验证 10G 光纤连接）。然而，它产生的结果比通过 NFS 写入数据（使用fio基准测试生成）慢得多。

这非常令人困惑，因为rsync速度远远低于这个数字100MB/s，即使考虑到解密/加密，在 10G 光纤上也不应该这么慢。所以我一直在错误的方向挖掘。

下面的测量结果显示，具有 NVME（单）磁盘的 10G 网络能够超过 900MB/s，并且有备用 CPU 容量。

在我的设置中，我使用逻辑卷（LVM），奇怪的是 LVM 统计信息与分区不一致NVME；这是系统上唯一的分区 - 因此，看看如果没有 LVM 会发生什么情况会很有趣。

nfs 导出： /mnt/nfs *(rw,no_subtree_check,async,insecure,no_root_squash,fsid=0)

cat /etc/mtab | grep nfs

10.0.0.21:/mnt/nfs /mnt/nfs1 nfs rw,relatime,vers=3,rsize=1048576,wsize=1048576,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,mountaddr=10.0.0.21,mountvers=3,mountport=52335,mountproto=udp,local_lock=none,addr=10.0.0.21 0 0

命令用于产生以下测量结果：

`fio --name=random-write --ioengine=libaio --rw=randwrite --bs=$SIZE --numjobs=1 --iodepth=1 --runtime=30 --end_fsync=1 --size=3g`

`dd if=/dev/zero of=/mnt/nfs1/test bs=$SIZE count=$(3*1024/$SIZE)`


|            | fio (bs=4k)    | fio (bs=8k)    | fio (bs=1M)   | dd (bs=4k)    | dd (bs=1M) |
|------------|----------------|----------------|---------------|---------------|------------|
|nfs (udp)   |  153           |    210         |    984        |    907        |    962     |
|nfs (tcp)   |  157           |    205         |    947        |    946        |    916     |

iostat 图

从：

`fio --name=random-write --ioengine=libaio --rw=randwrite --bs=1m --numjobs=1 --iodepth=1 --runtime=30 --end_fsync=1 --size=20g`

这

本地写入速度	NFS 写入速度（10G光纤）

Question 2

使用我的 2 台通过 10Gbit 以太网连接的服务器，您的测试方式表明，使用 iperf3 时，我使用的 NVMe 驱动器比我预期的要慢。我认为您可能会在 iostat 或 atop 中看到磁盘实际上处于 100% 繁忙状态。

跑步：

dd if=/dev/urandom of=/home/randomfile bs=1M count=10240
iperf3 -s -F /home/randomfile

# in a different session:
iostat -x 1

iperf3 服务器端显示磁盘：

Device  %util
dm-0    0.00
dm-1    100.00
md0     0.00
nvme0n1 100.00
nvme1n1 100.00

和 iperf：

[ ID] Interval           Transfer     Bitrate
        Sent 4.04 GByte / 4.04 GByte (100%) of /home/randomfile
[  5]   0.00-10.00  sec  4.04 GBytes  3.47 Gbits/sec                  receiver

运行撤销使用 -R 标志（读取而不是写入文件）

iperf3 -c server1 -R

iperf3服务器端的磁盘：

Device  %util
dm-0    0.00
dm-1    0.00
md0     0.00
nvme0n1 0.40
nvme1n1 0.40

和 iperf：

[ ID] Interval           Transfer     Bitrate         Retr
[  5]   0.00-10.00  sec  10.9 GBytes  9.39 Gbits/sec   56             sender
[  5]   0.00-10.00  sec  10.9 GBytes  9.38 Gbits/sec                  receiver

反向重试 iperf。这可能与网络无关。

添加：

当将文件移动到 ramdisk 时，您可以看到网络功能正常：

mount -t ramfs -o size=11G ramfs /mnt
mv /home/randomfile /mnt/
iperf3 -s -F /mnt/randomfile

iperf3 -c server1
[ ID] Interval           Transfer     Bitrate         Retr
[  5]   0.00-2.51   sec  2.74 GBytes  9.39 Gbits/sec   35             sender
[  5]   0.00-2.51   sec  0.00 Bytes  0.00 bits/sec                  receiver

iperf3 -c server1 -R
[ ID] Interval           Transfer     Bitrate
[  5]   0.00-1.59   sec  0.00 Bytes  0.00 bits/sec                  sender
[  5]   0.00-1.59   sec  1.73 GBytes  9.38 Gbits/sec                  receiver

Answer

使用我的 2 台通过 10Gbit 以太网连接的服务器，您的测试方式表明，使用 iperf3 时，我使用的 NVMe 驱动器比我预期的要慢。我认为您可能会在 iostat 或 atop 中看到磁盘实际上处于 100% 繁忙状态。

跑步：

dd if=/dev/urandom of=/home/randomfile bs=1M count=10240
iperf3 -s -F /home/randomfile

# in a different session:
iostat -x 1

iperf3 服务器端显示磁盘：

Device  %util
dm-0    0.00
dm-1    100.00
md0     0.00
nvme0n1 100.00
nvme1n1 100.00

和 iperf：

[ ID] Interval           Transfer     Bitrate
        Sent 4.04 GByte / 4.04 GByte (100%) of /home/randomfile
[  5]   0.00-10.00  sec  4.04 GBytes  3.47 Gbits/sec                  receiver

运行撤销使用 -R 标志（读取而不是写入文件）

iperf3 -c server1 -R

iperf3服务器端的磁盘：

Device  %util
dm-0    0.00
dm-1    0.00
md0     0.00
nvme0n1 0.40
nvme1n1 0.40

和 iperf：

[ ID] Interval           Transfer     Bitrate         Retr
[  5]   0.00-10.00  sec  10.9 GBytes  9.39 Gbits/sec   56             sender
[  5]   0.00-10.00  sec  10.9 GBytes  9.38 Gbits/sec                  receiver

反向重试 iperf。这可能与网络无关。

添加：

当将文件移动到 ramdisk 时，您可以看到网络功能正常：

mount -t ramfs -o size=11G ramfs /mnt
mv /home/randomfile /mnt/
iperf3 -s -F /mnt/randomfile

iperf3 -c server1
[ ID] Interval           Transfer     Bitrate         Retr
[  5]   0.00-2.51   sec  2.74 GBytes  9.39 Gbits/sec   35             sender
[  5]   0.00-2.51   sec  0.00 Bytes  0.00 bits/sec                  receiver

iperf3 -c server1 -R
[ ID] Interval           Transfer     Bitrate
[  5]   0.00-1.59   sec  0.00 Bytes  0.00 bits/sec                  sender
[  5]   0.00-1.59   sec  1.73 GBytes  9.38 Gbits/sec                  receiver

Question 3

所以，我遇到了类似的情况。不同之处在于：我使用 fio 来测量系统速度。

fio --randrepeat=1 --ioengine=libaio --direct=1 --gtod_reduce=1 --name=test --filename=test.fio --bs=4k --iodepth=64 --size=4G --readwrite=randrw --rwmixread=75

这是我使用的命令。我的 nvme 驱动器通过 nvmet-tcp 连接到客户端计算机上。客户端和服务器连接到 10Gbps 网络，RAM 到 RAM 的速度为 10 Gigs。

但服务器上的 NVME 驱动器读取速度可达到每秒 6 Gigabits。我无法在客户端上获得超过 1 Gbps 的速度。

因此，在阅读了您的原始问题后，我尝试了相同的命令，但添加了--numjobs参数，以指定运行此程序的线程数。

fio --randrepeat=1 --ioengine=libaio --direct=1 --gtod_reduce=1 --name=test --filename=test.fio --bs=4k --iodepth=64 --size=4G --readwrite=randrw --rwmixread=75 --numjobs=8

通过这种设置，我能够毫无问题地达到 6Gbps。

当我查看 I/O 期间的处理器使用情况时，发现存在一些瓶颈。可能是网卡和处理器之间，但其中一个核心会加载到 100%，而其余核心则处于空闲状态。如果有 8 个并发流，我会加载 8 个核心（在服务器端），这将为我带来 6Gbps。

Answer

所以，我遇到了类似的情况。不同之处在于：我使用 fio 来测量系统速度。

fio --randrepeat=1 --ioengine=libaio --direct=1 --gtod_reduce=1 --name=test --filename=test.fio --bs=4k --iodepth=64 --size=4G --readwrite=randrw --rwmixread=75

这是我使用的命令。我的 nvme 驱动器通过 nvmet-tcp 连接到客户端计算机上。客户端和服务器连接到 10Gbps 网络，RAM 到 RAM 的速度为 10 Gigs。

但服务器上的 NVME 驱动器读取速度可达到每秒 6 Gigabits。我无法在客户端上获得超过 1 Gbps 的速度。

因此，在阅读了您的原始问题后，我尝试了相同的命令，但添加了--numjobs参数，以指定运行此程序的线程数。

fio --randrepeat=1 --ioengine=libaio --direct=1 --gtod_reduce=1 --name=test --filename=test.fio --bs=4k --iodepth=64 --size=4G --readwrite=randrw --rwmixread=75 --numjobs=8

通过这种设置，我能够毫无问题地达到 6Gbps。

当我查看 I/O 期间的处理器使用情况时，发现存在一些瓶颈。可能是网卡和处理器之间，但其中一个核心会加载到 100%，而其余核心则处于空闲状态。如果有 8 个并发流，我会加载 8 个核心（在服务器端），这将为我带来 6Gbps。

iostat 图

我到目前为止尝试过的：

发现了一些“有趣”的行为：

设置细节：

答案1

iostat 图

答案2

答案3

相关内容