mdadm raid5 写入时太慢

Question 1

构建此类阵列的正常时间为 5.5-6 小时。有几件事可能会减慢阵列重建过程 - 同一磁盘上的并发 IO、系统上的高 CPU 使用率、硬盘或电缆故障。

dd if=/dev/zero of=/dev/md2 bs=1024k- 会减慢重建速度。如果您确实需要用零重写数组 - 请在数组构建后进行。

检查其他分区上是否有负载 - 使用atop或iostat -nx 1

检查您的平均负载atop或top

检查系统日志中是否存在 HDD 错误smartctl。

Answer

构建此类阵列的正常时间为 5.5-6 小时。有几件事可能会减慢阵列重建过程 - 同一磁盘上的并发 IO、系统上的高 CPU 使用率、硬盘或电缆故障。

dd if=/dev/zero of=/dev/md2 bs=1024k- 会减慢重建速度。如果您确实需要用零重写数组 - 请在数组构建后进行。

检查其他分区上是否有负载 - 使用atop或iostat -nx 1

检查您的平均负载atop或top

检查系统日志中是否存在 HDD 错误smartctl。

Question 2

在 raid 5 中您应该查看 raid 块大小。运行：cat /proc/mdstat来检查您的。

要更改它，请运行：

mdadm --grow /dev/md0 --chunk=16

这将重建您的阵列，需要很长时间才能完成。您可以阅读本文以了解更多相关信息： https://raid.wiki.kernel.org/index.php/RAID_setup#Chunk_sizes

然后您可以再次使用 dd 测试您的写入性能。

我编写了一个小脚本来测试读写：

#!/bin/bash

MDDEV="`cat /proc/mdstat | grep md | head -1 | awk '{print $1}'`"
if [ -z "$MDDEV" ]
then
    echo "I can\'t find any md" 
    exit 1
fi

DEVS="`cat /proc/mdstat | grep $MDDEV | tr " " "\n" | grep '^sd' | grep -v \(S\)$ | awk '{print substr($0,3,1)}' | tr -d "\n"`"

NUMDEVS=${#DEVS}

# write dd performance
echo 3 > /proc/sys/vm/drop_caches
dd if=/dev/zero of=/dev/$MDDEV bs=1M count=1024 conv=fdatasync,notrunc

for RASIZE in 4 8 16 32 64 128 256 512 1024 2048 4096 8192 16384 
do
    echo $RASIZE
    MDRASIZE=$[$RASIZE*$NUMDEVS]
    blockdev --setra $MDRASIZE /dev/$MDDEV
    blockdev --setra $RASIZE /dev/sd[$DEVS]
    blockdev --setra $RASIZE /dev/sd[$DEVS]1

    echo 3 > /proc/sys/vm/drop_caches
    hdparm -t /dev/$MDDEV | grep "Timing"
    #echo 3 > /proc/sys/vm/drop_caches
    #dd if=/dev/$MDDEV of=/dev/null bs=1M count=1024 | grep "bytes"
done

对于读取性能，此脚本将为您提供最佳的预读值。然后将 blocdev 命令放入您的 /etc/rc.local 文件中以使其持久

Answer