☰

ZFS 磁盘映像性能

tag-icon • tag-icon io zfs loop-device
ZFS 磁盘映像性能

我正在尝试从 LVM 迁移到 ZFS 作为新服务器上原始虚拟机/磁盘映像的后备存储。我使用的是 Ubuntu 18.04，SSD 均为 Intel D3-S4510。

我遇到的问题是磁盘映像上的文件访问速度非常慢（低于 50 MB/s 或预期值的 10%）。我已经从等式中删除了虚拟化，只是在主机中安装了驱动器，但性能仍然很差。

我尝试过以下实验：

  1. 使用原始 SSD。
    • 复制原始磁盘 - 401 MB/秒 [1]
    • 在已安装的驱动器中复制文件 234 MB/s [2]
  2. 带有 ZVOL 的 ZFS。这非常令人失望，比预期慢得多。我对 ZVOL 所做的一切（包括磁盘映像的初始副本）都比 #3 慢得多。
    • 复制原始磁盘 - 76 MB/秒 [3]
    • 在已安装的驱动器中复制文件 23 MB/s [4]
  3. ZFS 使用文件而不是设备。复制原始设备确实很好，但挂载的文件性能大幅下降。
    • 复制原始磁盘（文件） - 344 MB/s [5]
    • 在已安装的驱动器中复制文件 46 MB/s [6]
  4. ZFS 使用文件而不是设备，但使用 blktap 驱动程序公开。与#3 没有什么不同。
    • 复制原始磁盘（文件）- 343 MB/s
    • 在已安装的驱动器中复制文件 48 MB/s

ZFS 的性能下降似乎比我预期的要高得多，而且幅度如此之大，以至于我无法使用 ZFS，而不得不返回到 LVM。

任何建议或建议都非常感激。

  • 作为参考，主机内存限制为 4G，当前没有其他运行。
  • ZFS 是单个 VDEV 中的单个驱动器。我知道这很糟糕，但我想要与单个 SSD 相当的东西。
  • zpool 初始化为 ashift=12
  • fdisk 返回
    • Sector size (logical/physical): 512 bytes / 4096 bytes
    • I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Results of iostat -xm 10

[1] sdg is the raw SSD
Device            r/s     w/s     rMB/s     wMB/s   rrqm/s   wrqm/s  %rrqm  %wrqm r_await w_await aqu-sz rareq-sz wareq-sz  svctm  %util
sdg           2603.70    0.00    325.44      0.00     0.00     0.00   0.00   0.00    0.00    0.00   1.15   127.99     0.00   0.33  85.12

[2]
Device            r/s     w/s     rMB/s     wMB/s   rrqm/s   wrqm/s  %rrqm  %wrqm r_await w_await aqu-sz rareq-sz wareq-sz  svctm  %util
sdg           2648.30    0.30    102.50      0.00     9.70     0.00   0.36   0.00    0.00    0.00   1.60    39.63     4.00   0.17  43.84

[3] sda is the ssd in the vdev and zd0 is the zvol
Device            r/s     w/s     rMB/s     wMB/s   rrqm/s   wrqm/s  %rrqm  %wrqm r_await w_await aqu-sz rareq-sz wareq-sz  svctm  %util
sda           8674.70    0.00     73.96      0.00     0.00     0.00   0.00   0.00    0.00    0.00   1.49     8.73     0.00   0.10  87.08
zd0           13942.50    0.00     72.62      0.00     0.00     0.00   0.00   0.00    0.05    0.00   0.73     5.33     0.00   0.04  62.64

[4]
Device            r/s     w/s     rMB/s     wMB/s   rrqm/s   wrqm/s  %rrqm  %wrqm r_await w_await aqu-sz rareq-sz wareq-sz  svctm  %util
sda           3088.90    0.00     28.54      0.00     0.00     0.00   0.00   0.00    0.00    0.00   0.49     9.46     0.00   0.12  37.52
zd0           4580.40    0.00     22.93      0.00     0.00     0.00   0.00   0.00    0.28    0.00   1.29     5.13     0.00   0.18  84.56

[5]
%wrqm r_await w_await aqu-sz rareq-sz wareq-sz  svctm  %util
sda           2667.30    8.10    333.17      0.09     1.10     0.00   0.04   0.00    0.00   42.77   3.18   127.91    11.01   0.37  99.24

[6] loop0 is the mounted file device
Device            r/s     w/s     rMB/s     wMB/s   rrqm/s   wrqm/s  %rrqm  %wrqm r_await w_await aqu-sz rareq-sz wareq-sz  svctm  %util
loop0          998.60    0.50     42.06      0.00     0.00     0.00   0.00   0.00    4.13    8.00   6.11    43.13     4.00   0.89  89.40
sda            811.10   11.70     99.06      0.13     0.00     0.00   0.00   0.00    0.00    0.00   0.49   125.06    11.80   0.58  48.12

相关内容