HP DL380 G7 + Smart Array P410i + sysbench -> raid 10 性能不佳

Question

根据您的硬件规格，您的系统肯定性能不佳。我sysbench在几台运行 CentOS 5/6 的闲置 HP ProLiant DL380 G6/G7 服务器上加载了该实用程序，以检查其性能。这些是普通的固定分区，而不是 LVM。（我通常不使用 LVM，因为 HP Smart Array 控制器提供了灵活性）

DL380 G6 配备 6 磁盘 RAID 1+0 阵列，位于 Smart Array P410 控制器上，配备 512MB 电池备份缓存。DL380 G7 配备 2 磁盘企业级 SLC SSD 阵列。文件系统为西弗斯。我使用了与您相同的 sysbench 命令行：

sysbench --init-rng=on --test=fileio --num-threads=16 --file-num=128 --file-block-size=4K --file-total-size=54G --file-test-mode=rndrd --file-fsync-freq=0 --file-fsync-end=off --max-requests=30000 run

我的结果是每秒随机读取 1595 次跨 6 个磁盘。
在 SSD 上，结果是每秒随机读取 39047 次。完整结果在本文末尾...

至于您的设置，我首先注意到的是测试分区的大小。您几乎用 54GB 的测试文件填满了 60GB 的分区。我不确定 ext4 在 90% 以上的性能下是否存在问题，但这是您修改和重新测试的最快方法。（或使用一组较小的测试数据）
即使使用 LVM，此控制器/磁盘设置也有一些可用的调整选项。检查预读并更改输入/输出调度程序默认设置韓國到最后期限或者无操作很有帮助。请参阅以下问题和答案：Linux - 实际硬件 RAID 控制器调整（scsi 和 cciss）
您的 RAID 控制器缓存比率是多少？我通常使用 75%/25% 的写入/读取平衡。这应该是一个快速测试。6 磁盘阵列在 18 秒内完成。您的阵列花了 2 分钟多。
你能运行邦尼++或者碘测试有问题的分区/阵列？看看系统上是否有其他瓶颈会很有帮助。我不熟悉系统工作台，但我认为这些其他工具可以让您更好地了解系统的功能。
文件系统挂载选项可能会产生一点差别，但我认为问题可能比这更深......

hpacucli 输出...

Smart Array P410i in Slot 0 (Embedded)    (sn: 50123456789ABCDE)

   array A (SAS, Unused Space: 0 MB)

      logicaldrive 1 (838.1 GB, RAID 1+0, OK)

      physicaldrive 1I:1:1 (port 1I:box 1:bay 1, SAS, 300 GB, OK)
      physicaldrive 1I:1:2 (port 1I:box 1:bay 2, SAS, 300 GB, OK)
      physicaldrive 1I:1:3 (port 1I:box 1:bay 3, SAS, 300 GB, OK)
      physicaldrive 1I:1:4 (port 1I:box 1:bay 4, SAS, 300 GB, OK)
      physicaldrive 2I:1:5 (port 2I:box 1:bay 5, SAS, 300 GB, OK)
      physicaldrive 2I:1:6 (port 2I:box 1:bay 6, SAS, 300 GB, OK)

   SEP (Vendor ID PMCSIERA, Model  SRC 8x6G) 250 (WWID: 50123456789ABCED)

sysbench DL380 G6 6 磁盘结果...

sysbench 0.4.12:  multi-threaded system evaluation benchmark

Running the test with following options:
Number of threads: 16
Initializing random number generator from timer.

Extra file open flags: 0
128 files, 432Mb each
54Gb total file size
Block size 4Kb
Number of random requests for random IO: 30000
Read/Write ratio for combined random IO test: 1.50
Using synchronous I/O mode
Doing random read test
Threads started!
Done.

Operations performed:  30001 Read, 0 Write, 0 Other = 30001 Total
Read 117.19Mb  Written 0b  Total transferred 117.19Mb  (6.2292Mb/sec)
 1594.67 Requests/sec executed

Test execution summary:
    total time:                          18.8133s
    total number of events:              30001
    total time taken by event execution: 300.7545
    per-request statistics:
         min:                                  0.00ms
         avg:                                 10.02ms
         max:                                277.41ms
         approx.  95 percentile:              25.58ms

Threads fairness:
    events (avg/stddev):           1875.0625/41.46
    execution time (avg/stddev):   18.7972/0.01

sysbench DL380 G7 SSD 结果...

sysbench 0.4.12:  multi-threaded system evaluation benchmark

Running the test with following options:
Number of threads: 16
Initializing random number generator from timer.


Extra file open flags: 0
128 files, 432Mb each
54Gb total file size
Block size 4Kb
Number of random requests for random IO: 30000
Read/Write ratio for combined random IO test: 1.50
Using synchronous I/O mode
Doing random read test
Threads started!
Done.

Operations performed:  30038 Read, 0 Write, 0 Other = 30038 Total
Read 117.34Mb  Written 0b  Total transferred 117.34Mb  (152.53Mb/sec)
39046.89 Requests/sec executed

Test execution summary:
    total time:                          0.7693s
    total number of events:              30038
    total time taken by event execution: 12.2631
    per-request statistics:
         min:                                  0.00ms
         avg:                                  0.41ms
         max:                                  1.89ms
         approx.  95 percentile:               0.57ms

Threads fairness:
    events (avg/stddev):           1877.3750/15.59
    execution time (avg/stddev):   0.7664/0.00

Answer 1