mdadm RAID6,在重塑过程中恢复 2 个磁盘故障

mdadm RAID6,在重塑过程中恢复 2 个磁盘故障

我正在将我的阵列从 10 个磁盘重塑为 11 个磁盘,并将其置于降级状态(我想要添加的驱动器上已经有数据,但是无处可放)。运行时有 2 个驱动器断开连接(电源问题)。

还有可能恢复这个阵列吗?

对它们进行电源循环后,我无法再次将它们添加到阵列中:

mdadm: /dev/md0 has failed so using --add cannot work and might destroy
mdadm: data on /dev/sdX1.  You should stop the array and re-assemble it.

自重启以来,我尝试过:

--assemble,由于“故障”磁盘而失败

--assemble --force,失败:

md: sdl1 does not have a valid v1.2 superblock, not importing!
md: sdk1 does not have a valid v1.2 superblock, not importing!
md/raid:md0: not enough operational devices (3/11 failed)
md/raid:md0: failed to run raid set.`

我一直在读RAID 恢复文章,但迄今为止尚未成功。

mdadm --create --chunk=64 --size=1953512448 --assume-clean --level=6 --raid-devices=11 /dev/md0 /dev/sd{f,h,e,g,m,i,k,l,n,d}1 missing,失败:

mdadm: /dev/sdf1 is smaller than given size. 1953512256K < 1953512448K + metadata

适用于所有驱动器。我对 --size 的参数是 mdadm --examine /dev/sdf1 中的“已用设备大小/2”。我已将 mdadm 降级到每个版本,直到 v3.1.2(当默认元数据更改为 1.2 时,我知道我从未手动指定过它)。

删除--size后,我可以创建数组,但不能挂载:

XFS(md0):挂载 V4 文件系统
XFS(md0):日志不一致(未找到前一个标题)
XFS(md0):找不到日志头
XFS(md0):日志挂载/恢复失败:错误 -5
XFS(md0):日志挂载失败

信息

我的mdadm --detail重塑之前:

/dev/md0:
        版本:1.2
  创建时间:2012 年 1 月 27 日星期五 19:20:36
     突袭级别:raid6
     数组大小:15628099584(14904.12 GiB 16003.17 GB)
  已使用设备大小:1953512448 (1863.01 GiB 2000.40 GB)
   突袭设备:10
  设备总数:10
    持久性:超级块是持久的

  意图位图:内部

    更新时间:2015年6月17日星期三14:16:09
          状态:干净
 活跃设备:10
工作装置:10
 故障设备:0
  备用设备:0

         布局:左对称
     区块大小:64K

           名称:ubuntu:0
           UUID:70485ad1:0f5f2362:e8f5489a:577ac908
         活动:6037532

    编号 主要 次要 RaidDevice 状态
       0 8 81 0 活动同步 /dev/sdf1
       9 8 177 1 活动同步 /dev/sdl1
      12 8 65 2 活动同步 /dev/sde1
       3 8 97 3 活动同步 /dev/sdg1
       4 8 145 4 活动同步 /dev/sdj1
       6 8 193 5 活动同步 /dev/sdm1
       7 8 113 6 主动同步 /dev/sdh1
       8 8 129 7 活动同步 /dev/sdi1
      10 8 161 8 活动同步 /dev/sdk1
      11 8 49 9 活动同步 /dev/sdd1

发生故障并mdadm --examine重新启动后,所有磁盘再次可见:

由于在重塑开始之前添加了热插拔磁盘,设备路径已发生改变

/dev/sdd1:
          魔法:a92b4efc
        版本:1.2
    特征图:0x5
     数组 UUID:70485ad1:0f5f2362:e8f5489a:577ac908
           名称:ubuntu:0
  创建时间:2012 年 1 月 27 日星期五 19:20:36
     突袭级别:raid6
   突袭设备:11

 可用设备大小:3907024896 (1863.01 GiB 2000.40 GB)
     数组大小:17581612032(16767.13 GiB 18003.57 GB)
    数据偏移:2048 个扇区
   超级偏移:8 个扇区
          状态:干净
    设备 UUID:329fc32d:e9cf2ff4:3aa6c9a0:500aa445

内部位图:超级块中的 2 个扇区
  重塑位置:3196923264 (3048.82 GiB 3273.65 GB)
  增量设备:1 (10->11)

    更新时间:2015年6月17日星期三19:46:34
       校验和:904d0c9c-正确
         活动:6039833

         布局:左对称
     区块大小:64K

   设备角色 : 活动设备 9
   数组状态:A.AAA...AA。('A' == 活动,'.' == 缺失)


/dev/sde1:
          魔法:a92b4efc
        版本:1.2
    特征图:0x5
     数组 UUID:70485ad1:0f5f2362:e8f5489a:577ac908
           名称:ubuntu:0
  创建时间:2012 年 1 月 27 日星期五 19:20:36
     突袭级别:raid6
   突袭设备:11

 可用设备大小:3907024896 (1863.01 GiB 2000.40 GB)
     数组大小:17581612032(16767.13 GiB 18003.57 GB)
    数据偏移:2048 个扇区
   超级偏移:8 个扇区
          状态:干净
    设备 UUID:e59303ea:e613013e:ef8af657:1fc6ccab

内部位图:超级块中的 2 个扇区
  重塑位置:3196923264 (3048.82 GiB 3273.65 GB)
  增量设备:1 (10->11)

    更新时间:2015年6月17日星期三19:46:34
       校验和:b3b3f659-正确
         活动:6039833

         布局:左对称
     区块大小:64K

   设备角色 : 活动设备 2
   数组状态:A.AAA...AA。('A' == 活动,'.' == 缺失)


/dev/sdf1:
          魔法:a92b4efc
        版本:1.2
    特征图:0x5
     数组 UUID:70485ad1:0f5f2362:e8f5489a:577ac908
           名称:ubuntu:0
  创建时间:2012 年 1 月 27 日星期五 19:20:36
     突袭级别:raid6
   突袭设备:11

 可用设备大小:3907024896 (1863.01 GiB 2000.40 GB)
     数组大小:17581612032(16767.13 GiB 18003.57 GB)
    数据偏移:2048 个扇区
   超级偏移:8 个扇区
          状态:干净
    设备 UUID:6aa0f9d8:e7b0cc66:d2f2a60​​0:ef305279

内部位图:超级块中的 2 个扇区
  重塑位置:3148373376 (3002.52 GiB 3223.93 GB)
  增量设备:1 (10->11)

    更新时间:2015年6月17日星期三19:46:34
       校验和:3beac20c-正确
         活动:6039833

         布局:左对称
     区块大小:64K

   设备角色 :活动设备 0
   数组状态:AAAAAAAAAA。('A' == 活动,'.' == 缺失)


/dev/sdg1:
          魔法:a92b4efc
        版本:1.2
    特征图:0x5
     数组 UUID:70485ad1:0f5f2362:e8f5489a:577ac908
           名称:ubuntu:0
  创建时间:2012 年 1 月 27 日星期五 19:20:36
     突袭级别:raid6
   突袭设备:11

 可用设备大小:3907024896 (1863.01 GiB 2000.40 GB)
     数组大小:17581612032(16767.13 GiB 18003.57 GB)
    数据偏移:2048 个扇区
   超级偏移:8 个扇区
          状态:干净
    设备 UUID:4b1d87a9:16027400:df71810f:3ce53c50

内部位图:超级块中的 2 个扇区
  重塑位置:3196923264 (3048.82 GiB 3273.65 GB)
  增量设备:1 (10->11)

    更新时间:2015年6月17日星期三19:46:34
       校验和:91a563ea-正确
         活动:6039833

         布局:左对称
     区块大小:64K

   设备角色 : 活动设备 3
   数组状态:A.AAA...AA。('A' == 活动,'.' == 缺失)


/dev/sdh1:
          魔法:a92b4efc
        版本:1.2
    特征图:0x5
     数组 UUID:70485ad1:0f5f2362:e8f5489a:577ac908
           名称:ubuntu:0
  创建时间:2012 年 1 月 27 日星期五 19:20:36
     突袭级别:raid6
   突袭设备:11

 可用设备大小:5860268032 (2794.39 GiB 3000.46 GB)
     数组大小:17581612032(16767.13 GiB 18003.57 GB)
  已使用设备大小:3907024896 (1863.01 GiB 2000.40 GB)
    数据偏移:262144 个扇区
   超级偏移:8 个扇区
          状态:干净
    设备 UUID:27c8fefa:8b2b74a2:9a456d34:d1a60c20

内部位图:超级块中的 2 个扇区
  重塑位置:3196923264 (3048.82 GiB 3273.65 GB)
  增量设备:1 (10->11)

    更新时间:2015年6月17日星期三19:29:09
       校验和:ee4ae103-正确
         活动:6039833

         布局:左对称
     区块大小:64K

   设备角色 : 活动设备 1
   数组状态:AAAAAA..AA。('A' == 活动,'.' == 缺失)


/dev/sdi1:
          魔法:a92b4efc
        版本:1.2
    特征图:0x5
     数组 UUID:70485ad1:0f5f2362:e8f5489a:577ac908
           名称:ubuntu:0
  创建时间:2012 年 1 月 27 日星期五 19:20:36
     突袭级别:raid6
   突袭设备:11

 可用设备大小:3907024896 (1863.01 GiB 2000.40 GB)
     数组大小:17581612032(16767.13 GiB 18003.57 GB)
    数据偏移:2048 个扇区
   超级偏移:8 个扇区
          状态:干净
    设备 UUID:bebc3764:9e582fe8:01de9766:2d8c452b

内部位图:超级块中的 2 个扇区
  重塑位置:3196923264 (3048.82 GiB 3273.65 GB)
  增量设备:1 (10->11)

    更新时间:2015年6月17日星期三19:29:09
       校验和:6632686d-正确
         活动:6039833

         布局:左对称
     区块大小:64K

   设备角色 : 活动设备 5
   数组状态:AAAAAA..AA。('A' == 活动,'.' == 缺失)


/dev/sdk1:
          魔法:a92b4efc
        版本:1.2
    特征图:0x5
     数组 UUID:70485ad1:0f5f2362:e8f5489a:577ac908
           名称:ubuntu:0
  创建时间:2012 年 1 月 27 日星期五 19:20:36
     突袭级别:raid6
   突袭设备:11

 可用设备大小:5860268032 (2794.39 GiB 3000.46 GB)
     数组大小:17581612032(16767.13 GiB 18003.57 GB)
  已使用设备大小:3907024896 (1863.01 GiB 2000.40 GB)
    数据偏移:262144 个扇区
   超级偏移:8 个扇区
          状态:干净
    设备 UUID:986d9f31:3a74b90d:7800779e:31607539

内部位图:超级块中的 2 个扇区
  重塑位置:3148373376 (3002.52 GiB 3223.93 GB)
  增量设备:1 (10->11)

    更新时间:2015年6月17日星期三19:24:09
       校验和:de0a23b-正确
         活动:6039833

         布局:左对称
     区块大小:64K

   设备角色 : 活动设备 6
   数组状态:AAAAAAAAAA。('A' == 活动,'.' == 缺失)


/dev/sdl1:
          魔法:a92b4efc
        版本:1.2
    特征图:0x5
     数组 UUID:70485ad1:0f5f2362:e8f5489a:577ac908
           名称:ubuntu:0
  创建时间:2012 年 1 月 27 日星期五 19:20:36
     突袭级别:raid6
   突袭设备:11

 可用设备大小:5860268032 (2794.39 GiB 3000.46 GB)
     数组大小:17581612032(16767.13 GiB 18003.57 GB)
  已使用设备大小:3907024896 (1863.01 GiB 2000.40 GB)
    数据偏移:262144 个扇区
   超级偏移:8 个扇区
          状态:干净
    设备 UUID:a5f4ac69:f6bbac94:60c1b790:db2c223e

内部位图:超级块中的 2 个扇区
  重塑位置:3196923264 (3048.82 GiB 3273.65 GB)
  增量设备:1 (10->11)

    更新时间:2015年6月17日星期三19:28:58
       校验和:c9909fb9-正确
         活动:6039833

         布局:左对称
     区块大小:64K

   设备角色 : 活动设备 7
   数组状态:AAAAAA.AAA。('A' == 活动,'.' == 缺失)


/dev/sdm1:
          魔法:a92b4efc
        版本:1.2
    特征图:0x5
     数组 UUID:70485ad1:0f5f2362:e8f5489a:577ac908
           名称:ubuntu:0
  创建时间:2012 年 1 月 27 日星期五 19:20:36
     突袭级别:raid6
   突袭设备:11

 可用设备大小:3907024896 (1863.01 GiB 2000.40 GB)
     数组大小:17581612032(16767.13 GiB 18003.57 GB)
    数据偏移:2048 个扇区
   超级偏移:8 个扇区
          状态:干净
    设备 UUID:938d9190:582eecf8:b9157fce:38705df2

内部位图:超级块中的 2 个扇区
  重塑位置:3196923264 (3048.82 GiB 3273.65 GB)
  增量设备:1 (10->11)

    更新时间:2015年6月17日星期三19:46:34
       校验和:d2462ecd-正确
         活动:6039833

         布局:左对称
     区块大小:64K

   设备角色 : 活动设备 4
   数组状态:A.AAA...AA。('A' == 活动,'.' == 缺失)


/dev/sdn1:
          魔法:a92b4efc
        版本:1.2
    特征图:0x5
     数组 UUID:70485ad1:0f5f2362:e8f5489a:577ac908
           名称:ubuntu:0
  创建时间:2012 年 1 月 27 日星期五 19:20:36
     突袭级别:raid6
   突袭设备:11

 可用设备大小:3907024896 (1863.01 GiB 2000.40 GB)
     数组大小:17581612032(16767.13 GiB 18003.57 GB)
    数据偏移:2048 个扇区
   超级偏移:8 个扇区
          状态:干净
    设备 UUID:289f68f6:f43d8a40:2203e21c:e6cff371

内部位图:超级块中的 2 个扇区
  重塑位置:3196923264 (3048.82 GiB 3273.65 GB)
  增量设备:1 (10->11)

    更新时间:2015年6月17日星期三19:46:34
       校验和:4db49d1a-正确
         活动:6039833

         布局:左对称
     区块大小:64K

   设备角色 : 活动设备 8
   数组状态:A.AAA...AA。('A' == 活动,'.' == 缺失)

答案1

好消息是所有十个驱动器的事件计数均匹配,均为 6039833。

我认为成功的关键是解决您看到的原因......

md: sdl1 does not have a valid v1.2 superblock, not importing!
md: sdk1 does not have a valid v1.2 superblock, not importing!

这是一个有趣的案例,当然需要进行一些研究才能找到解决方案。如果您需要帮助,请通过我的个人资料中的网络链接联系我。

答案2

我认为你没有讲完整个故事,我怀疑电源故障发生在 raid 重新同步期间,如果是这样,那么 --auto-assemble 将不起作用。是时候从备份中恢复或寻求专业帮助了。

相关内容