挑战失败的raid5恢复

挑战失败的raid5恢复

我有一个个人的raid 5阵列,形状很粗糙。发生故障的阵列有八个 2 TB 驱动器,这些驱动器是随着时间的推移在我的 n-2 台式机中构建的。

该阵列来自一台内部计算机,即我的 n-2 台式机。随着存储需求的增长,我在其中放入了八个 2TB 驱动器。它的处理器尺寸较小,内存也很少。在发现团队处于降级状态后,我多次尝试将其恢复。当时是深夜,我的时间和现金都很紧缺。

我现在在另一台机器上有 8 个驱动器。但是,阵列不会激活。我尝试过组装它。

在尝试之前我应该​​尝试什么:--assemble --force--create --assume-clean

以下是有关该阵列的详细信息:

$ cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10] 
md6 : inactive sde[0](S)
      1953514496 blocks

md1 : inactive sdf[0](S) sdl[5](S) sdg[1](S) sdh[2](S) sdi[4](S)
      9766917560 blocks super 1.2

unused devices: <none>

$ sudo mdadm --examine /dev/sd[e-l] |  egrep 'Event|/dev/sd'
/dev/sde:
         Events : 2266749
/dev/sdf:
         Events : 171
/dev/sdg:
         Events : 171
/dev/sdh:
         Events : 171
/dev/sdi:
         Events : 27
/dev/sdj:
         Events : 27
/dev/sdk:
         Events : 31
/dev/sdl:
         Events : 31

$ sudo mdadm --examine /dev/sd[e-l] |  egrep 'Array'
     Array Size : 13674601472 (13041.12 GiB 14002.79 GB)
     Array UUID : 5e410da5:ef0f83c4:aa4b35d6:28916966
     Array Size : 11720297472 (11177.35 GiB 12001.58 GB)
   Array State : AAA.... ('A' == active, '.' == missing)
     Array UUID : 5e410da5:ef0f83c4:aa4b35d6:28916966
     Array Size : 11720297472 (11177.35 GiB 12001.58 GB)
   Array State : AAA.... ('A' == active, '.' == missing)
     Array UUID : 5e410da5:ef0f83c4:aa4b35d6:28916966
     Array Size : 11720297472 (11177.35 GiB 12001.58 GB)
   Array State : AAA.... ('A' == active, '.' == missing)
     Array UUID : 5e410da5:ef0f83c4:aa4b35d6:28916966
     Array Size : 11720297472 (11177.35 GiB 12001.58 GB)
   Array State : AAAAAAA ('A' == active, '.' == missing)
     Array UUID : 5e410da5:ef0f83c4:aa4b35d6:28916966
     Array Size : 11720297472 (11177.35 GiB 12001.58 GB)
   Array State : AAAAAAA ('A' == active, '.' == missing)
     Array UUID : 5e410da5:ef0f83c4:aa4b35d6:28916966
     Array Size : 11720297472 (11177.35 GiB 12001.58 GB)
   Array State : AAAA.A. ('A' == active, '.' == missing)
     Array UUID : 5e410da5:ef0f83c4:aa4b35d6:28916966
     Array Size : 11720297472 (11177.35 GiB 12001.58 GB)
   Array State : AAAA.A. ('A' == active, '.' == missing)

$ dmesg
...
[   33.532447] scsi7 : rr62x
[   33.532641] scsi 7:0:0:0: Direct-Access     ATA      WDC WD20EARX-00P 51.0 PQ: 0 ANSI: 5
[   33.532699] scsi 7:0:1:0: Direct-Access     ATA      WDC WD20EARX-00P 51.0 PQ: 0 ANSI: 5
[   33.532751] scsi 7:0:2:0: Direct-Access     ATA      WDC WD20EARX-00P 51.0 PQ: 0 ANSI: 5
[   33.532823] scsi 7:0:3:0: Direct-Access     ATA      WDC WD20EARX-00P 51.0 PQ: 0 ANSI: 5
[   33.532871] scsi 7:0:4:0: Direct-Access     ATA      WDC WD20EARX-00P 51.0 PQ: 0 ANSI: 5
[   33.532919] scsi 7:0:5:0: Direct-Access     ATA      WDC WD20EARX-00P 51.0 PQ: 0 ANSI: 5
[   33.532978] scsi 7:0:6:0: Direct-Access     ATA      WDC WD20EARX-00P 51.0 PQ: 0 ANSI: 5
[   33.533051] scsi 7:0:7:0: Direct-Access     ATA      WDC WD20EARX-00P 51.0 PQ: 0 ANSI: 5
...
[   33.535178]  sdg: unknown partition table
...
[   33.535928]  sdh: unknown partition table
[   33.536042]  sdf: unknown partition table
...
[   33.536481]  sdj: unknown partition table
[   33.536568]  sdk: unknown partition table
[   33.536624] sd 7:0:5:0: [sdj] Attached SCSI disk
[   33.536663]  sdl: unknown partition table
[   33.536775] sd 7:0:7:0: [sdl] Attached SCSI disk
[   33.536834] sd 7:0:6:0: [sdk] Attached SCSI disk
[   33.537042]  sdi: unknown partition table
[   33.537190] sd 7:0:4:0: [sdi] Attached SCSI disk
[   33.573418]  sde: sde1 sde2 < sde5 >
[   33.573753] sd 7:0:0:0: [sde] Attached SCSI disk
[   33.609751] md: bind<sdi>
[   33.612501] md: bind<sdh>
[   33.615419] md: bind<sdg>
...
[   34.032720] md: bind<sde>
...
[   39.140891] md: bind<sdl>
...
[   64.651514] systemd-udevd[484]: '/sbin/mdadm --incremental /dev/sdk' [2730] terminated by signal 9 (Killed)
[   64.651589] systemd-udevd[487]: '/sbin/mdadm --incremental /dev/sdj' [2466] terminated by signal 9 (Killed)
...
[   65.185503] systemd-udevd[488]: '/sbin/mdadm --incremental /dev/sdf' [2470] terminated by signal 9 (Killed)
...

$ sudo mdadm --examine /dev/sd[e-l]
/dev/sde:
        Version : 0.90.00
           UUID : d7b20e6c:1b319034:e5fb2d97:a1144fba
  Creation Time : Sun Apr 29 22:14:28 2012
     Raid Level : raid5
  Used Dev Size : 1953514496 (1863.02 GiB 2000.40 GB)
     Array Size : 13674601472 (13041.12 GiB 14002.79 GB)
   Raid Devices : 8
  Total Devices : 8
Preferred Minor : 1

    Update Time : Fri Dec 27 15:32:54 2013
          State : clean
 Active Devices : 8
Working Devices : 8
 Failed Devices : 0
  Spare Devices : 0
       Checksum : 3a37d47e - correct
         Events : 2266749

         Layout : left-symmetric
     Chunk Size : 512K

      Number   Major   Minor   RaidDevice State
this     0       8        0        0      active sync   /dev/sda

   0     0       8        0        0      active sync   /dev/sda
   1     1       8       16        1      active sync   /dev/sdb
   2     2       8       32        2      active sync   /dev/sdc
   3     3       8       48        3      active sync   /dev/sdd
   4     4       8       64        4      active sync   /dev/sde
   5     5       8       80        5      active sync   /dev/sdf
   6     6       8       96        6      active sync   /dev/sdg
   7     7       8      112        7      active sync   /dev/sdh
/dev/sdf:
        Version : 1.2
    Feature Map : 0x0
     Array UUID : 5e410da5:ef0f83c4:aa4b35d6:28916966
           Name : mjf-sysa:1
  Creation Time : Fri Dec 27 15:53:16 2013
     Raid Level : raid5
   Raid Devices : 7

 Avail Dev Size : 3906767024 (1862.89 GiB 2000.26 GB)
     Array Size : 11720297472 (11177.35 GiB 12001.58 GB)
  Used Dev Size : 3906765824 (1862.89 GiB 2000.26 GB)
    Data Offset : 262144 sectors
   Super Offset : 8 sectors
          State : clean
    Device UUID : 9d365d82:23f568c5:46534949:3b2dff9f

    Update Time : Sat Mar 29 08:00:25 2014
       Checksum : 86b60aea - correct
         Events : 171

         Layout : left-symmetric
     Chunk Size : 512K

   Device Role : Active device 0
   Array State : AAA.... ('A' == active, '.' == missing)
/dev/sdg:
        Version : 1.2
    Feature Map : 0x0
     Array UUID : 5e410da5:ef0f83c4:aa4b35d6:28916966
           Name : mjf-sysa:1
  Creation Time : Fri Dec 27 15:53:16 2013
     Raid Level : raid5
   Raid Devices : 7

 Avail Dev Size : 3906767024 (1862.89 GiB 2000.26 GB)
     Array Size : 11720297472 (11177.35 GiB 12001.58 GB)
  Used Dev Size : 3906765824 (1862.89 GiB 2000.26 GB)
    Data Offset : 262144 sectors
   Super Offset : 8 sectors
          State : clean
    Device UUID : a21fde1e:07530215:0f854883:bc6484d6

    Update Time : Sat Mar 29 08:00:25 2014
       Checksum : e354bb1d - correct
         Events : 171

         Layout : left-symmetric
     Chunk Size : 512K

   Device Role : Active device 1
   Array State : AAA.... ('A' == active, '.' == missing)
/dev/sdh:
        Version : 1.2
    Feature Map : 0x0
     Array UUID : 5e410da5:ef0f83c4:aa4b35d6:28916966
           Name : mjf-sysa:1
  Creation Time : Fri Dec 27 15:53:16 2013
     Raid Level : raid5
   Raid Devices : 7

 Avail Dev Size : 3906767024 (1862.89 GiB 2000.26 GB)
     Array Size : 11720297472 (11177.35 GiB 12001.58 GB)
  Used Dev Size : 3906765824 (1862.89 GiB 2000.26 GB)
    Data Offset : 262144 sectors
   Super Offset : 8 sectors
          State : clean
    Device UUID : f0446a88:6a5d5026:37375e86:1bb5c6cf

    Update Time : Sat Mar 29 08:00:25 2014
       Checksum : 5a86ed57 - correct
         Events : 171

         Layout : left-symmetric
     Chunk Size : 512K

   Device Role : Active device 2
   Array State : AAA.... ('A' == active, '.' == missing)
/dev/sdi:
        Version : 1.2
    Feature Map : 0x0
     Array UUID : 5e410da5:ef0f83c4:aa4b35d6:28916966
           Name : mjf-sysa:1
  Creation Time : Fri Dec 27 15:53:16 2013
     Raid Level : raid5
   Raid Devices : 7

 Avail Dev Size : 3906767024 (1862.89 GiB 2000.26 GB)
     Array Size : 11720297472 (11177.35 GiB 12001.58 GB)
  Used Dev Size : 3906765824 (1862.89 GiB 2000.26 GB)
    Data Offset : 262144 sectors
   Super Offset : 8 sectors
          State : active
    Device UUID : ec21c8aa:75a114e6:5cdb77ea:543c438b

    Update Time : Sun Jan 19 21:53:52 2014
       Checksum : 5bef1322 - correct
         Events : 27

         Layout : left-symmetric
     Chunk Size : 512K

   Device Role : Active device 4
   Array State : AAAAAAA ('A' == active, '.' == missing)
/dev/sdj:
        Version : 1.2
    Feature Map : 0x0
     Array UUID : 5e410da5:ef0f83c4:aa4b35d6:28916966
           Name : mjf-sysa:1
  Creation Time : Fri Dec 27 15:53:16 2013
     Raid Level : raid5
   Raid Devices : 7

 Avail Dev Size : 3906767024 (1862.89 GiB 2000.26 GB)
     Array Size : 11720297472 (11177.35 GiB 12001.58 GB)
  Used Dev Size : 3906765824 (1862.89 GiB 2000.26 GB)
    Data Offset : 262144 sectors
   Super Offset : 8 sectors
          State : active
    Device UUID : db1f64fd:5c0b94e8:6f717f78:c2348f0b

    Update Time : Sun Jan 19 21:53:52 2014
       Checksum : bf5e097a - correct
         Events : 27

         Layout : left-symmetric
     Chunk Size : 512K

   Device Role : Active device 6
   Array State : AAAAAAA ('A' == active, '.' == missing)
/dev/sdk:
        Version : 1.2
    Feature Map : 0x0
     Array UUID : 5e410da5:ef0f83c4:aa4b35d6:28916966
           Name : mjf-sysa:1
  Creation Time : Fri Dec 27 15:53:16 2013
     Raid Level : raid5
   Raid Devices : 7

 Avail Dev Size : 3906767024 (1862.89 GiB 2000.26 GB)
     Array Size : 11720297472 (11177.35 GiB 12001.58 GB)
  Used Dev Size : 3906765824 (1862.89 GiB 2000.26 GB)
    Data Offset : 262144 sectors
   Super Offset : 8 sectors
          State : clean
    Device UUID : 5bf385b8:5747c231:196e1bd5:286bb1ef

    Update Time : Sun Jan 19 21:58:51 2014
       Checksum : 46e4d24 - correct
         Events : 31

         Layout : left-symmetric
     Chunk Size : 512K

   Device Role : Active device 3
   Array State : AAAA.A. ('A' == active, '.' == missing)
/dev/sdl:
        Version : 1.2
    Feature Map : 0x0
     Array UUID : 5e410da5:ef0f83c4:aa4b35d6:28916966
           Name : mjf-sysa:1
  Creation Time : Fri Dec 27 15:53:16 2013
     Raid Level : raid5
   Raid Devices : 7

 Avail Dev Size : 3906767024 (1862.89 GiB 2000.26 GB)
     Array Size : 11720297472 (11177.35 GiB 12001.58 GB)
  Used Dev Size : 3906765824 (1862.89 GiB 2000.26 GB)
    Data Offset : 262144 sectors
   Super Offset : 8 sectors
          State : clean
    Device UUID : a6a63833:7302c477:58127a50:b4204201

    Update Time : Sun Jan 19 21:58:51 2014
       Checksum : 52121556 - correct
         Events : 31

         Layout : left-symmetric
     Chunk Size : 512K

   Device Role : Active device 5
   Array State : AAAA.A. ('A' == active, '.' == missing)

答案1

--create在 RAID 恢复中,除非您真的非常清楚自己在做什么,否则您永远不应该。但是,您的输出看起来像是您已经完成了--create.

您的 RAID/dev/sde是创建的 RAID5 Sun Apr 29 22:14:28 2012,由 8 个磁盘组成,如您在问题中所述。此 RAID 最后更新于Fri Dec 27 15:32:54 2013

但是,您的其他磁盘声称是 RAID5,已创建Fri Dec 27 15:53:16 2013,由 7 个磁盘组成。所以您已经在那个星期五创建了一个新的 RAID;如果您这样做是为了恢复,那么您可能做错了,因为它没有使用/dev/sde8 磁盘 RAID 元数据显示的相同设置(错误的元数据版本、偏移量、布局等)。

所以这对我来说听起来好像您早--create在 2013 年就已经做过了。从那时起您将其用作 7 磁盘 RAID5。

现在的问题是,你的数据在哪里?它实际上是在 7 磁盘 RAID 上并在一段时间后丢失吗?或者是在您创建的另一个 RAID 上的 8 磁盘 RAID 上?从事件计数来看,它更有可能发生在 8 个磁盘上。

如果数据位于 8 个磁盘上(即在 2013 年 12 月丢失),则可能无法恢复。发生错误后恢复非常困难--create,尤其是在允许同步新的/错误的 RAID 的情况下。但同时也发生了各种各样的事情......而且这甚至没有考虑到您的某些磁盘可能有故障。

您的情况似乎很混乱,因此无法建议采取什么步骤......

无论您做什么,都不要再写入这些磁盘。这意味着,不要组装、不要同步、不要 fsck、不要安装。

如果必须,请使用此方法:https://raid.wiki.kernel.org/index.php/Recovering_a_failed_software_RAID#Making_the_harddisks_read-only_using_an_overlay_file

但首先我会购买另一组 8 个磁盘(或 4TB 磁盘数量的一半)以及ddrescue所有磁盘,因为上述方法假设您的磁盘都没有故障。

答案2

你说“在发现突袭处于降级状态后,我多次尝试将其恢复”。

你到底做了什么?如果发现性能下降的阵列,则需要更换发生故障的磁盘。如果您没有这样做并且您又遇到了驱动器故障,那么您的 RAID 就消失了! RAID5 只能容忍一个故障驱动器。

您说您的 RAID5 中有八个 2TB 驱动器。你的 /proc/mdstat 仅包含六个。剩下的两个磁盘在哪里?您至少需要 7 个才能启动 RAID5

另外,您还有两个 RAID 设备 md1 和 md6。 sde不应该也属于md1吗?然而,即使在 md1 中使用 sde,您也缺少一个驱动器来启动具有 8 个驱动器的 RAID5...

下次请记住:“RAID 替代没有备份”

相关内容