Raid 阵列无明显原因地超载,iostat 输出没有多大意义?

Raid 阵列无明显原因地超载,iostat 输出没有多大意义?

我正在寻找由 HP P400 控制器管理的 raid 阵列组成的 iscsi 安装。2 对驱动器(每对驱动器均为镜像)加上 raid 10 配置中的 4 个驱动器,所有驱动器均为 7200rpm sas。

这些驱动器保存通过 iscsi 导出到多个 vmware esxi 主机的 vmfs3 卷。

以下是在存储机上运行iostat -xm 1的示例:设备:

    rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
cciss/c0d0        0,00     0,00    0,00    0,00     0,00     0,00     0,00     8,34    0,00   0,00 100,00
cciss/c0d1        0,00     0,00    0,00    1,00     0,00     0,00     8,00     8,54 1760,00 1000,00 100,00
cciss/c0d2        0,00     0,00    6,00   45,00     0,14     0,64    31,57    89,71 1747,45  19,61 100,00

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0,00    0,00    0,45    0,00    0,00   99,55

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
cciss/c0d0        0,00     0,00    0,00    0,00     0,00     0,00     0,00    10,00    0,00   0,00 100,00
cciss/c0d1        0,00     0,00    0,00    0,00     0,00     0,00     0,00     9,95    0,00   0,00 100,00
cciss/c0d2        0,00     0,00    0,00    4,00     0,00     0,04    22,00    91,00 2325,00 250,00 100,00

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0,00    0,00    0,25    0,00    0,00   99,75

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
cciss/c0d0        0,00     0,00    0,00    0,00     0,00     0,00     0,00    10,00    0,00   0,00 100,00
cciss/c0d1        0,00     0,00    0,00    0,00     0,00     0,00     0,00    10,00    0,00   0,00 100,00
cciss/c0d2        0,00     0,00    1,00    9,00     0,00     0,04     8,90    90,90 2776,00 100,00 100,00

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0,25    0,00    0,00    0,00    0,00   99,75

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
cciss/c0d0        0,00     0,00    0,00    4,00     0,00     0,01     6,25     8,80 3890,00 250,00 100,00
cciss/c0d1        0,00     0,00    2,00    5,00     0,01     0,04    13,71     9,68 3982,86 142,86 100,00
cciss/c0d2        0,00     1,00    0,00   27,00     0,00     1,14    86,81    91,82 4147,04  37,04 100,00

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0,25    0,00    0,50    0,00    0,00   99,26

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
cciss/c0d0        0,00     0,00    0,00    5,00     0,00     0,07    30,60     2,92 3946,00 200,00 100,00
cciss/c0d1        0,00     0,00    1,00    1,00     0,00     0,00     8,00     6,29 3995,00 500,00 100,00
cciss/c0d2        0,00     1,00    0,00   15,00     0,00     0,52    70,93   106,73 4271,33  66,67 100,00

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0,00    0,00    0,25    0,00    0,00   99,75

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
cciss/c0d0        0,00     0,00    0,00    1,00     0,00     0,01    16,00     1,80 4940,00 1000,00 100,00
cciss/c0d1        0,00     0,00    0,00    0,00     0,00     0,00     0,00     6,00    0,00   0,00 100,00
cciss/c0d2        0,00     0,00    4,00   11,00     0,02     0,34    49,07   106,21 5011,33  66,67 100,00

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0,24    0,00    0,00    0,00    0,00   99,76

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
cciss/c0d0        0,00     0,00    0,00    0,00     0,00     0,00     0,00     2,00    0,00   0,00 100,00
cciss/c0d1        0,00     0,00    0,00    0,00     0,00     0,00     0,00     6,00    0,00   0,00 100,00
cciss/c0d2        0,00     0,00    1,00    4,00     0,01     0,02     9,60   103,27 5876,00 200,00 100,00

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0,51    0,00    0,00    0,00    0,00   99,49

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
cciss/c0d0        0,00     0,00    0,00    0,00     0,00     0,00     0,00     2,00    0,00   0,00 100,00
cciss/c0d1        0,00     0,00    0,00    0,00     0,00     0,00     0,00     6,00    0,00   0,00 100,00
cciss/c0d2        0,00     0,00    1,00   16,00     0,01     0,64    78,18   105,78 6313,53  58,82 100,00

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0,00    0,00    0,24    0,00    0,00   99,76

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
cciss/c0d0        0,00     0,00    0,00    1,00     0,00     0,00     1,00     1,78 5180,00 1000,00 100,00
cciss/c0d1        0,00     0,00    0,00    4,00     0,00     0,01     6,50     8,72 5430,00 250,00 100,00
cciss/c0d2        0,00     0,00    0,00   28,00     0,00     0,47    34,07   106,16 5791,79  35,71 100,00

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0,00    0,00    2,72    0,00    0,00   97,28

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
cciss/c0d0        0,00     0,00    0,00   23,00     0,00     0,30    26,87     1,79  218,26  39,57  91,00
cciss/c0d1        0,00     0,00    9,00   59,00     0,04     0,41    13,47     9,78  361,47  14,26  97,00
cciss/c0d2        0,00    11,00   31,00  714,00     0,33    18,96    53,03    94,85  526,35   1,34 100,00

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0,25    0,00    4,90    1,23    0,00   93,63

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
cciss/c0d0        0,00     0,00    0,00    6,00     0,00     0,16    54,00     0,45  101,67  38,33  23,00
cciss/c0d1        0,00     0,00  151,00    4,00     0,59     0,07     8,73     1,16    7,35   4,77  74,00
cciss/c0d2        0,00    19,00   79,00  917,00     1,51    30,18    65,16    45,22   31,22   1,00 100,00

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0,00    0,00    0,49    0,00    0,00   99,51

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
cciss/c0d0        0,00     0,00    0,00    0,00     0,00     0,00     0,00     0,76    0,00   0,00  76,00
cciss/c0d1        0,00     0,00    0,00    0,00     0,00     0,00     0,00     4,00    0,00   0,00 100,00
cciss/c0d2        0,00     1,00    2,00   45,00     0,07     1,73    78,30    95,52  624,47  21,28 100,00




avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0,00    0,00    6,80    0,00    0,00   93,20

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
cciss/c0d0        0,00     0,00    0,00    4,00     0,00     0,08    38,50     2,35  797,50 245,00  98,00
cciss/c0d1        0,00     0,00    5,00   26,00     0,02     0,15    11,45    18,82 2227,74  31,94  99,00
cciss/c0d2        0,00     6,00    2,00   21,00     0,01     0,61    55,39     7,27 2031,74  43,04  99,00

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0,00    0,00    0,52    0,00    0,00   99,48

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
cciss/c0d0        0,00     0,00    0,00    0,00     0,00     0,00     0,00     0,00    0,00   0,00   0,00
cciss/c0d1        0,00     0,00    1,00    0,00     0,00     0,00     8,00     1,70   60,00 1000,00 100,00
cciss/c0d2        0,00     4,00    1,00   42,00     0,01     2,30   109,95    78,00  326,51  23,26 100,00

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0,00    0,00    2,13    0,00    0,00   97,87

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
cciss/c0d0        0,00     0,00    0,00    2,00     0,00     0,02    16,50     0,00    0,00   0,00   0,00
cciss/c0d1        0,00     0,00  188,00    2,00     0,73     0,00     7,96     2,51   14,84   4,68  89,00
cciss/c0d2        0,00    19,00   23,00  263,00     0,12     9,81    71,12    61,14  358,22   2,94  84,00

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0,00    0,00    0,25    0,00    0,00   99,75

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
cciss/c0d0        0,00     0,00    0,00    0,00     0,00     0,00     0,00     0,59    0,00   0,00  59,00
cciss/c0d1        0,00     0,00    1,00    2,00     0,00     0,02    13,33     5,89  500,00 333,33 100,00
cciss/c0d2        0,00     5,00    1,00   32,00     0,00     1,81   112,73   104,74  646,06  30,30 100,00

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0,50    0,00    0,50    0,00    0,00   99,00

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
cciss/c0d0        0,00     0,00    0,00    0,00     0,00     0,00     0,00     1,96    0,00   0,00 100,00
cciss/c0d1        0,00     0,00    0,00    2,00     0,00     0,01     8,00     7,06 2015,00 500,00 100,00
cciss/c0d2        0,00     0,00    1,00   16,00     0,00     0,88   105,88   107,45 1802,35  58,82 100,00

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0,00    0,00    0,24    0,00    0,00   99,76

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
cciss/c0d0        0,00     0,00    0,00    0,00     0,00     0,00     0,00     2,75    0,00   0,00 100,00
cciss/c0d1        0,00     0,00    0,00    0,00     0,00     0,00     0,00     8,37    0,00   0,00 100,00
cciss/c0d2        0,00     0,00    0,00   12,00     0,00     0,54    92,67   104,39 2697,50  83,33 100,00

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0,00    0,00    1,47    0,00    0,00   98,53

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
cciss/c0d0        0,00     0,00    0,00   19,00     0,00     0,15    16,47    10,76  814,74  52,63 100,00
cciss/c0d1        0,00     0,00    1,00   11,00     0,00     0,07    12,42     8,66 2084,17  83,33 100,00
cciss/c0d2        0,00    13,00    3,00  178,00     0,03     9,86   111,92   108,70 1913,43   5,52 100,00

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0,24    0,00    1,90    0,00    0,00   97,86

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
cciss/c0d0        0,00     0,00    0,00   36,00     0,00     0,20    11,58     1,53   58,61  14,72  53,00
cciss/c0d1        0,00     0,00    6,00   11,00     0,02     0,06    10,41     2,08  167,65  58,24  99,00
cciss/c0d2        0,00    11,00   34,00  673,00     0,30    15,90    46,95    89,14  149,72   1,41 100,00

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0,50    0,00    2,73    0,00    0,00   96,77

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
cciss/c0d0        0,00     0,00    0,00    1,00     0,00     0,00     1,00     0,08   80,00  80,00   8,00
cciss/c0d1        0,00     0,00  189,00    3,00     0,74     0,01     7,96     0,75    3,96   3,54  68,00
cciss/c0d2        1,00    28,00  198,00  904,00     5,24    28,98    63,60    32,31   28,12   0,91 100,00

cciss/c0d0 是 raid10 中的四个 1TB 驱动器,cciss/c0d1 是 500GB 镜像,cciss/c0d2 是 2TB 镜像。

100%util 几乎没有交易,在类似条件下 await 和 svctm 极高,等等。除此之外,hpacucli 控制器管理工具可能需要长达 40 秒才能返回有关控制器的简单状态输出。

vmstat 关于内存利用率和其他参数的输出看起来也非常好。

我目前很困惑。有什么建议吗?

答案1

嗯。移除有问题的驱动器似乎已经解决了问题。还是要谢谢你。

相关内容