☰

md-RAID5 - 它应该有多快或者瓶颈在哪里？

tag-icon • tag-icon linux software-raid encryption performance
md-RAID5 - 它应该有多快或者瓶颈在哪里？

我设置了一台带有 LUKS 加密 RAID5 的新服务器。在之前的服务器上，瓶颈肯定是 CPU，因为它是一个 7 年前的单核处理器，负载高达 100%。

现在情况不同了。我的写入性能仍然很差，但我看不出瓶颈在哪里。

期间

root@home-le:/data# dd if=/dev/zero of=benchmark bs=100MB count=100
100+0 Datensätze aus
10000000000 Bytes (10 GB) kopiert, 775,726 s, 12,9 MB/s

我明白了

root@home-le:/data# iostat
Linux 2.6.38-11-server (home-le)        23.09.2011      _x86_64_        (2 CPU)

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0,22    3,58   10,02   13,56    0,00   72,61

Device:            tps    kB_read/s    kB_wrtn/s    kB_read    kB_wrtn
sda              66,63       795,46      8876,84  105325279 1175367302
sdc             244,12      8203,55      1523,39 1086218095  201709949
sdf             253,41      8219,63      1519,15 1088347371  201148053
sde             242,42      8172,09      1495,00 1082051932  197950373
md0             933,49        36,80      3937,60    4872631  521371476
dm-4            933,51        36,79      3938,19    4871328  521449348

阵列已同步

md0 : active raid5 sda1[5] sdc1[0] sde1[2] sdf1[4]
      2768292864 blocks super 1.2 level 5, 512k chunk, algorithm 2 [4/4] [UUUU]

并由 4 个 950GB 分区组成，每个分区有 4 个 1TB WD Caviar Green。（磁盘上的其他分区没有太多负载。）FS 是 ext4，块大小为 4096。

如果您不知道瓶颈所在，我也非常感谢您提供来自可比较阵列的结果。

答案1

RAID-5 的写入性能往往很低，但我承认低于 13 MB/s 是低于标准的。

你能尝试只对单个磁盘进行基准测试吗？多年来，我听说过关于 WD Caviar Green 系列的恐怖故事。还没有检查情况是否有所改善，但几年前争论的焦点是 Caviar Green 驱动器的 RPM。有人怀疑它的 RPM 约为 5400 RPM，而不是 7200 RPM，这导致驱动器非常慢。当然，西部数据对这种情况有自己的解释：

“通过对旋转速度、传输速率和缓存算法进行精细调整，旨在实现显著的节能效果和稳定的性能。”

呃，对的。

那么，您能否仅对删除所有不必要的层（LUKS，RAID）的单个磁盘进行基准测试，看看它是否更快？

答案2

我可以提请你注意巴林航空研究基金会其中详细讨论了奇偶校验 RAID 的性能问题？

除此之外，您确实应该对任何类型的带奇偶校验条带的数据集启用写缓存 - 否则任何随机负载（无论多小）都会立即损害您的性能。

hdparm -W 1 /dev/sd[acfe]

顺便说一句：硬盘在随机访问时很慢。我的意思是真的很慢。大多数时候没有人注意到，因为在“一台计算机 - 一个硬盘”的情况下，内容可能会被缓存或可能是连续的。但所有 I/O 密集型服务器负载都存在这个问题。如果在虚拟化场景中负载分布“正确”（即小块大小，随机写入/读取访问），我可以拥有一个由八个 15K Cheetah 磁盘（可以说是最快的中端磁盘）组成的 RAID10 阵列，以 100% 的利用率饱和，满队列的速度低于 10 MB/秒。如果您需要随机访问，请确保您有大（写回）缓存。如果您需要大量随机访问，请获取分层存储。

相关内容