具有 4 个磁盘的 RAID 5 无法在 1 个磁盘出现故障的情况下运行？

Question 1

这是 RAID5 的一个根本问题——重建时的坏块是一个杀手。

Oct  2 15:08:51 it kernel: [1686185.573233] md/raid:md0: device xvdc operational as raid disk 0
Oct  2 15:08:51 it kernel: [1686185.580020] md/raid:md0: device xvde operational as raid disk 2
Oct  2 15:08:51 it kernel: [1686185.588307] md/raid:md0: device xvdd operational as raid disk 1
Oct  2 15:08:51 it kernel: [1686185.595745] md/raid:md0: allocated 4312kB
Oct  2 15:08:51 it kernel: [1686185.600729] md/raid:md0: raid level 5 active with 3 out of 4 devices, algorithm 2
Oct  2 15:08:51 it kernel: [1686185.608928] md0: detected capacity change from 0 to 2705221484544
⋮

阵列已经组装、降级。它已与 xvdc、xvde 和 xvdd 组装在一起。显然，有一个热备件：

Oct  2 15:08:51 it kernel: [1686185.615772] md: recovery of RAID array md0
Oct  2 15:08:51 it kernel: [1686185.621150] md: minimum _guaranteed_  speed: 1000 KB/sec/disk.
Oct  2 15:08:51 it kernel: [1686185.627626] md: using maximum available idle IO bandwidth (but not more than 200000 KB/sec) for recovery.
Oct  2 15:08:51 it kernel: [1686185.634024]  md0: unknown partition table
Oct  2 15:08:51 it kernel: [1686185.645882] md: using 128k window, over a total of 880605952k.

“分区表”消息无关。其他消息告诉您 md 正在尝试进行恢复，可能是在热备用设备上（如果您尝试删除/重新添加它，则可能是之前发生故障的设备）。

⋮
Oct  2 15:24:19 it kernel: [1687112.817845] end_request: I/O error, dev xvde, sector 881423360
Oct  2 15:24:19 it kernel: [1687112.820517] raid5_end_read_request: 1 callbacks suppressed
Oct  2 15:24:19 it kernel: [1687112.821837] md/raid:md0: read error not correctable (sector 881423360 on xvde).
Oct  2 15:24:19 it kernel: [1687112.821837] md/raid:md0: Disk failure on xvde, disabling device.
Oct  2 15:24:19 it kernel: [1687112.821837] md/raid:md0: Operation continuing on 2 devices.

这里 md 尝试从 xvde（其余三个设备之一）读取扇区。那会失败[可能是坏扇区]，并且 md （因为阵列已降级）无法恢复。因此，它将磁盘从阵列中踢出，并且如果出现双磁盘故障，您的 RAID5 就会失效。

我不确定为什么它被标记为备用 - 这很奇怪（不过，我想我通常会查看/proc/mdstat，所以也许 mdadm 就是这样标记它的）。另外，我认为较新的内核对于剔除坏块要犹豫得多，但也许您正在运行较旧的内核？

对此你能做什么？

良好的备份。这始终是任何保持数据活力的策略的重要组成部分。

确保定期清理阵列中的坏块。您的操作系统可能已经包含一个用于此目的的 cron 作业。您可以通过回显或来完成repair此check操作/sys/block/md0/md/sync_action。 “修复”还将修复任何发现的奇偶校验错误（例如，奇偶校验位与磁盘上的数据不匹配）。

# echo repair > /sys/block/md0/md/sync_action
#

cat /proc/mdstat可以使用、或 sysfs 目录中的各种文件来查看进度。（您可以在以下位置找到一些最新的文档Linux Raid Wiki mdstat 文章。

注意：在较旧的内核上（不确定确切的版本），检查可能无法修复坏块。

最后一个选择是切换到 RAID6。这将需要另一个磁盘（您能运行四个甚至三个磁盘的 RAID6，您可能不想）。有了足够新的内核，坏块就会尽可能地被即时修复。 RAID6 可以承受两次磁盘故障，因此当一个磁盘发生故障时，它仍然可以承受坏块，因此它会映射出坏块并继续重建。

Answer

这是 RAID5 的一个根本问题——重建时的坏块是一个杀手。

Oct  2 15:08:51 it kernel: [1686185.573233] md/raid:md0: device xvdc operational as raid disk 0
Oct  2 15:08:51 it kernel: [1686185.580020] md/raid:md0: device xvde operational as raid disk 2
Oct  2 15:08:51 it kernel: [1686185.588307] md/raid:md0: device xvdd operational as raid disk 1
Oct  2 15:08:51 it kernel: [1686185.595745] md/raid:md0: allocated 4312kB
Oct  2 15:08:51 it kernel: [1686185.600729] md/raid:md0: raid level 5 active with 3 out of 4 devices, algorithm 2
Oct  2 15:08:51 it kernel: [1686185.608928] md0: detected capacity change from 0 to 2705221484544
⋮

阵列已经组装、降级。它已与 xvdc、xvde 和 xvdd 组装在一起。显然，有一个热备件：

Oct  2 15:08:51 it kernel: [1686185.615772] md: recovery of RAID array md0
Oct  2 15:08:51 it kernel: [1686185.621150] md: minimum _guaranteed_  speed: 1000 KB/sec/disk.
Oct  2 15:08:51 it kernel: [1686185.627626] md: using maximum available idle IO bandwidth (but not more than 200000 KB/sec) for recovery.
Oct  2 15:08:51 it kernel: [1686185.634024]  md0: unknown partition table
Oct  2 15:08:51 it kernel: [1686185.645882] md: using 128k window, over a total of 880605952k.

“分区表”消息无关。其他消息告诉您 md 正在尝试进行恢复，可能是在热备用设备上（如果您尝试删除/重新添加它，则可能是之前发生故障的设备）。

⋮
Oct  2 15:24:19 it kernel: [1687112.817845] end_request: I/O error, dev xvde, sector 881423360
Oct  2 15:24:19 it kernel: [1687112.820517] raid5_end_read_request: 1 callbacks suppressed
Oct  2 15:24:19 it kernel: [1687112.821837] md/raid:md0: read error not correctable (sector 881423360 on xvde).
Oct  2 15:24:19 it kernel: [1687112.821837] md/raid:md0: Disk failure on xvde, disabling device.
Oct  2 15:24:19 it kernel: [1687112.821837] md/raid:md0: Operation continuing on 2 devices.

这里 md 尝试从 xvde（其余三个设备之一）读取扇区。那会失败[可能是坏扇区]，并且 md （因为阵列已降级）无法恢复。因此，它将磁盘从阵列中踢出，并且如果出现双磁盘故障，您的 RAID5 就会失效。

我不确定为什么它被标记为备用 - 这很奇怪（不过，我想我通常会查看/proc/mdstat，所以也许 mdadm 就是这样标记它的）。另外，我认为较新的内核对于剔除坏块要犹豫得多，但也许您正在运行较旧的内核？

对此你能做什么？

良好的备份。这始终是任何保持数据活力的策略的重要组成部分。

确保定期清理阵列中的坏块。您的操作系统可能已经包含一个用于此目的的 cron 作业。您可以通过回显或来完成repair此check操作/sys/block/md0/md/sync_action。 “修复”还将修复任何发现的奇偶校验错误（例如，奇偶校验位与磁盘上的数据不匹配）。

# echo repair > /sys/block/md0/md/sync_action
#

cat /proc/mdstat可以使用、或 sysfs 目录中的各种文件来查看进度。（您可以在以下位置找到一些最新的文档Linux Raid Wiki mdstat 文章。

注意：在较旧的内核上（不确定确切的版本），检查可能无法修复坏块。

最后一个选择是切换到 RAID6。这将需要另一个磁盘（您能运行四个甚至三个磁盘的 RAID6，您可能不想）。有了足够新的内核，坏块就会尽可能地被即时修复。 RAID6 可以承受两次磁盘故障，因此当一个磁盘发生故障时，它仍然可以承受坏块，因此它会映射出坏块并继续重建。

Question 2

我想象您正在像这样创建 RAID5 阵列：

$ mdadm --create /dev/md0 --level=5 --raid-devices=4 \
       /dev/sda1 /dev/sdb1 /dev/sdc1 /dev/sdd1

这不完全是你想要的。相反，您需要像这样添加磁盘：

$ mdadm --create /dev/md0 --level=5 --raid-devices=4 \
       /dev/sda1 /dev/sdb1 /dev/sdc1
$ mdadm --add /dev/md0 /dev/sdd1

或者您可以使用mdadm的选项来添加备件，如下所示：

$ mdadm --create /dev/md0 --level=5 --raid-devices=3 --spare-devices=1 \
       /dev/sda1 /dev/sdb1 /dev/sdc1 /dev/sdd1

列表中的最后一个驱动器将是备用驱动器。

摘自mdadm 手册页

-n, --raid-devices=
      Specify the number of active devices in the array.  This, plus the 
      number of spare devices (see below) must  equal the  number  of  
      component-devices (including "missing" devices) that are listed on 
      the command line for --create. Setting a value of 1 is probably a 
      mistake and so requires that --force be specified first.  A  value 
      of  1  will then be allowed for linear, multipath, RAID0 and RAID1.  
      It is never allowed for RAID4, RAID5 or RAID6. This  number  can only 
      be changed using --grow for RAID1, RAID4, RAID5 and RAID6 arrays, and
      only on kernels which provide the necessary support.

-x, --spare-devices=
      Specify the number of spare (eXtra) devices in the initial array.  
      Spares can also be  added  and  removed  later. The  number  of component
      devices listed on the command line must equal the number of RAID devices 
      plus the number of spare devices.

Answer

我想象您正在像这样创建 RAID5 阵列：

$ mdadm --create /dev/md0 --level=5 --raid-devices=4 \
       /dev/sda1 /dev/sdb1 /dev/sdc1 /dev/sdd1

这不完全是你想要的。相反，您需要像这样添加磁盘：

$ mdadm --create /dev/md0 --level=5 --raid-devices=4 \
       /dev/sda1 /dev/sdb1 /dev/sdc1
$ mdadm --add /dev/md0 /dev/sdd1

或者您可以使用mdadm的选项来添加备件，如下所示：

$ mdadm --create /dev/md0 --level=5 --raid-devices=3 --spare-devices=1 \
       /dev/sda1 /dev/sdb1 /dev/sdc1 /dev/sdd1

列表中的最后一个驱动器将是备用驱动器。

摘自mdadm 手册页

-n, --raid-devices=
      Specify the number of active devices in the array.  This, plus the 
      number of spare devices (see below) must  equal the  number  of  
      component-devices (including "missing" devices) that are listed on 
      the command line for --create. Setting a value of 1 is probably a 
      mistake and so requires that --force be specified first.  A  value 
      of  1  will then be allowed for linear, multipath, RAID0 and RAID1.  
      It is never allowed for RAID4, RAID5 or RAID6. This  number  can only 
      be changed using --grow for RAID1, RAID4, RAID5 and RAID6 arrays, and
      only on kernels which provide the necessary support.

-x, --spare-devices=
      Specify the number of spare (eXtra) devices in the initial array.  
      Spares can also be  added  and  removed  later. The  number  of component
      devices listed on the command line must equal the number of RAID devices 
      plus the number of spare devices.

具有 4 个磁盘的 RAID 5 无法在 1 个磁盘出现故障的情况下运行？

答案1

对此你能做什么？

答案2

相关内容