我有一个个人的raid 5阵列,形状很粗糙。发生故障的阵列有八个 2 TB 驱动器,这些驱动器是随着时间的推移在我的 n-2 台式机中构建的。
该阵列来自一台内部计算机,即我的 n-2 台式机。随着存储需求的增长,我在其中放入了八个 2TB 驱动器。它的处理器尺寸较小,内存也很少。在发现团队处于降级状态后,我多次尝试将其恢复。当时是深夜,我的时间和现金都很紧缺。
我现在在另一台机器上有 8 个驱动器。但是,阵列不会激活。我尝试过组装它。
在尝试之前我应该尝试什么:--assemble --force
或--create --assume-clean
?
以下是有关该阵列的详细信息:
$ cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10]
md6 : inactive sde[0](S)
1953514496 blocks
md1 : inactive sdf[0](S) sdl[5](S) sdg[1](S) sdh[2](S) sdi[4](S)
9766917560 blocks super 1.2
unused devices: <none>
$ sudo mdadm --examine /dev/sd[e-l] | egrep 'Event|/dev/sd'
/dev/sde:
Events : 2266749
/dev/sdf:
Events : 171
/dev/sdg:
Events : 171
/dev/sdh:
Events : 171
/dev/sdi:
Events : 27
/dev/sdj:
Events : 27
/dev/sdk:
Events : 31
/dev/sdl:
Events : 31
$ sudo mdadm --examine /dev/sd[e-l] | egrep 'Array'
Array Size : 13674601472 (13041.12 GiB 14002.79 GB)
Array UUID : 5e410da5:ef0f83c4:aa4b35d6:28916966
Array Size : 11720297472 (11177.35 GiB 12001.58 GB)
Array State : AAA.... ('A' == active, '.' == missing)
Array UUID : 5e410da5:ef0f83c4:aa4b35d6:28916966
Array Size : 11720297472 (11177.35 GiB 12001.58 GB)
Array State : AAA.... ('A' == active, '.' == missing)
Array UUID : 5e410da5:ef0f83c4:aa4b35d6:28916966
Array Size : 11720297472 (11177.35 GiB 12001.58 GB)
Array State : AAA.... ('A' == active, '.' == missing)
Array UUID : 5e410da5:ef0f83c4:aa4b35d6:28916966
Array Size : 11720297472 (11177.35 GiB 12001.58 GB)
Array State : AAAAAAA ('A' == active, '.' == missing)
Array UUID : 5e410da5:ef0f83c4:aa4b35d6:28916966
Array Size : 11720297472 (11177.35 GiB 12001.58 GB)
Array State : AAAAAAA ('A' == active, '.' == missing)
Array UUID : 5e410da5:ef0f83c4:aa4b35d6:28916966
Array Size : 11720297472 (11177.35 GiB 12001.58 GB)
Array State : AAAA.A. ('A' == active, '.' == missing)
Array UUID : 5e410da5:ef0f83c4:aa4b35d6:28916966
Array Size : 11720297472 (11177.35 GiB 12001.58 GB)
Array State : AAAA.A. ('A' == active, '.' == missing)
$ dmesg
...
[ 33.532447] scsi7 : rr62x
[ 33.532641] scsi 7:0:0:0: Direct-Access ATA WDC WD20EARX-00P 51.0 PQ: 0 ANSI: 5
[ 33.532699] scsi 7:0:1:0: Direct-Access ATA WDC WD20EARX-00P 51.0 PQ: 0 ANSI: 5
[ 33.532751] scsi 7:0:2:0: Direct-Access ATA WDC WD20EARX-00P 51.0 PQ: 0 ANSI: 5
[ 33.532823] scsi 7:0:3:0: Direct-Access ATA WDC WD20EARX-00P 51.0 PQ: 0 ANSI: 5
[ 33.532871] scsi 7:0:4:0: Direct-Access ATA WDC WD20EARX-00P 51.0 PQ: 0 ANSI: 5
[ 33.532919] scsi 7:0:5:0: Direct-Access ATA WDC WD20EARX-00P 51.0 PQ: 0 ANSI: 5
[ 33.532978] scsi 7:0:6:0: Direct-Access ATA WDC WD20EARX-00P 51.0 PQ: 0 ANSI: 5
[ 33.533051] scsi 7:0:7:0: Direct-Access ATA WDC WD20EARX-00P 51.0 PQ: 0 ANSI: 5
...
[ 33.535178] sdg: unknown partition table
...
[ 33.535928] sdh: unknown partition table
[ 33.536042] sdf: unknown partition table
...
[ 33.536481] sdj: unknown partition table
[ 33.536568] sdk: unknown partition table
[ 33.536624] sd 7:0:5:0: [sdj] Attached SCSI disk
[ 33.536663] sdl: unknown partition table
[ 33.536775] sd 7:0:7:0: [sdl] Attached SCSI disk
[ 33.536834] sd 7:0:6:0: [sdk] Attached SCSI disk
[ 33.537042] sdi: unknown partition table
[ 33.537190] sd 7:0:4:0: [sdi] Attached SCSI disk
[ 33.573418] sde: sde1 sde2 < sde5 >
[ 33.573753] sd 7:0:0:0: [sde] Attached SCSI disk
[ 33.609751] md: bind<sdi>
[ 33.612501] md: bind<sdh>
[ 33.615419] md: bind<sdg>
...
[ 34.032720] md: bind<sde>
...
[ 39.140891] md: bind<sdl>
...
[ 64.651514] systemd-udevd[484]: '/sbin/mdadm --incremental /dev/sdk' [2730] terminated by signal 9 (Killed)
[ 64.651589] systemd-udevd[487]: '/sbin/mdadm --incremental /dev/sdj' [2466] terminated by signal 9 (Killed)
...
[ 65.185503] systemd-udevd[488]: '/sbin/mdadm --incremental /dev/sdf' [2470] terminated by signal 9 (Killed)
...
$ sudo mdadm --examine /dev/sd[e-l]
/dev/sde:
Version : 0.90.00
UUID : d7b20e6c:1b319034:e5fb2d97:a1144fba
Creation Time : Sun Apr 29 22:14:28 2012
Raid Level : raid5
Used Dev Size : 1953514496 (1863.02 GiB 2000.40 GB)
Array Size : 13674601472 (13041.12 GiB 14002.79 GB)
Raid Devices : 8
Total Devices : 8
Preferred Minor : 1
Update Time : Fri Dec 27 15:32:54 2013
State : clean
Active Devices : 8
Working Devices : 8
Failed Devices : 0
Spare Devices : 0
Checksum : 3a37d47e - correct
Events : 2266749
Layout : left-symmetric
Chunk Size : 512K
Number Major Minor RaidDevice State
this 0 8 0 0 active sync /dev/sda
0 0 8 0 0 active sync /dev/sda
1 1 8 16 1 active sync /dev/sdb
2 2 8 32 2 active sync /dev/sdc
3 3 8 48 3 active sync /dev/sdd
4 4 8 64 4 active sync /dev/sde
5 5 8 80 5 active sync /dev/sdf
6 6 8 96 6 active sync /dev/sdg
7 7 8 112 7 active sync /dev/sdh
/dev/sdf:
Version : 1.2
Feature Map : 0x0
Array UUID : 5e410da5:ef0f83c4:aa4b35d6:28916966
Name : mjf-sysa:1
Creation Time : Fri Dec 27 15:53:16 2013
Raid Level : raid5
Raid Devices : 7
Avail Dev Size : 3906767024 (1862.89 GiB 2000.26 GB)
Array Size : 11720297472 (11177.35 GiB 12001.58 GB)
Used Dev Size : 3906765824 (1862.89 GiB 2000.26 GB)
Data Offset : 262144 sectors
Super Offset : 8 sectors
State : clean
Device UUID : 9d365d82:23f568c5:46534949:3b2dff9f
Update Time : Sat Mar 29 08:00:25 2014
Checksum : 86b60aea - correct
Events : 171
Layout : left-symmetric
Chunk Size : 512K
Device Role : Active device 0
Array State : AAA.... ('A' == active, '.' == missing)
/dev/sdg:
Version : 1.2
Feature Map : 0x0
Array UUID : 5e410da5:ef0f83c4:aa4b35d6:28916966
Name : mjf-sysa:1
Creation Time : Fri Dec 27 15:53:16 2013
Raid Level : raid5
Raid Devices : 7
Avail Dev Size : 3906767024 (1862.89 GiB 2000.26 GB)
Array Size : 11720297472 (11177.35 GiB 12001.58 GB)
Used Dev Size : 3906765824 (1862.89 GiB 2000.26 GB)
Data Offset : 262144 sectors
Super Offset : 8 sectors
State : clean
Device UUID : a21fde1e:07530215:0f854883:bc6484d6
Update Time : Sat Mar 29 08:00:25 2014
Checksum : e354bb1d - correct
Events : 171
Layout : left-symmetric
Chunk Size : 512K
Device Role : Active device 1
Array State : AAA.... ('A' == active, '.' == missing)
/dev/sdh:
Version : 1.2
Feature Map : 0x0
Array UUID : 5e410da5:ef0f83c4:aa4b35d6:28916966
Name : mjf-sysa:1
Creation Time : Fri Dec 27 15:53:16 2013
Raid Level : raid5
Raid Devices : 7
Avail Dev Size : 3906767024 (1862.89 GiB 2000.26 GB)
Array Size : 11720297472 (11177.35 GiB 12001.58 GB)
Used Dev Size : 3906765824 (1862.89 GiB 2000.26 GB)
Data Offset : 262144 sectors
Super Offset : 8 sectors
State : clean
Device UUID : f0446a88:6a5d5026:37375e86:1bb5c6cf
Update Time : Sat Mar 29 08:00:25 2014
Checksum : 5a86ed57 - correct
Events : 171
Layout : left-symmetric
Chunk Size : 512K
Device Role : Active device 2
Array State : AAA.... ('A' == active, '.' == missing)
/dev/sdi:
Version : 1.2
Feature Map : 0x0
Array UUID : 5e410da5:ef0f83c4:aa4b35d6:28916966
Name : mjf-sysa:1
Creation Time : Fri Dec 27 15:53:16 2013
Raid Level : raid5
Raid Devices : 7
Avail Dev Size : 3906767024 (1862.89 GiB 2000.26 GB)
Array Size : 11720297472 (11177.35 GiB 12001.58 GB)
Used Dev Size : 3906765824 (1862.89 GiB 2000.26 GB)
Data Offset : 262144 sectors
Super Offset : 8 sectors
State : active
Device UUID : ec21c8aa:75a114e6:5cdb77ea:543c438b
Update Time : Sun Jan 19 21:53:52 2014
Checksum : 5bef1322 - correct
Events : 27
Layout : left-symmetric
Chunk Size : 512K
Device Role : Active device 4
Array State : AAAAAAA ('A' == active, '.' == missing)
/dev/sdj:
Version : 1.2
Feature Map : 0x0
Array UUID : 5e410da5:ef0f83c4:aa4b35d6:28916966
Name : mjf-sysa:1
Creation Time : Fri Dec 27 15:53:16 2013
Raid Level : raid5
Raid Devices : 7
Avail Dev Size : 3906767024 (1862.89 GiB 2000.26 GB)
Array Size : 11720297472 (11177.35 GiB 12001.58 GB)
Used Dev Size : 3906765824 (1862.89 GiB 2000.26 GB)
Data Offset : 262144 sectors
Super Offset : 8 sectors
State : active
Device UUID : db1f64fd:5c0b94e8:6f717f78:c2348f0b
Update Time : Sun Jan 19 21:53:52 2014
Checksum : bf5e097a - correct
Events : 27
Layout : left-symmetric
Chunk Size : 512K
Device Role : Active device 6
Array State : AAAAAAA ('A' == active, '.' == missing)
/dev/sdk:
Version : 1.2
Feature Map : 0x0
Array UUID : 5e410da5:ef0f83c4:aa4b35d6:28916966
Name : mjf-sysa:1
Creation Time : Fri Dec 27 15:53:16 2013
Raid Level : raid5
Raid Devices : 7
Avail Dev Size : 3906767024 (1862.89 GiB 2000.26 GB)
Array Size : 11720297472 (11177.35 GiB 12001.58 GB)
Used Dev Size : 3906765824 (1862.89 GiB 2000.26 GB)
Data Offset : 262144 sectors
Super Offset : 8 sectors
State : clean
Device UUID : 5bf385b8:5747c231:196e1bd5:286bb1ef
Update Time : Sun Jan 19 21:58:51 2014
Checksum : 46e4d24 - correct
Events : 31
Layout : left-symmetric
Chunk Size : 512K
Device Role : Active device 3
Array State : AAAA.A. ('A' == active, '.' == missing)
/dev/sdl:
Version : 1.2
Feature Map : 0x0
Array UUID : 5e410da5:ef0f83c4:aa4b35d6:28916966
Name : mjf-sysa:1
Creation Time : Fri Dec 27 15:53:16 2013
Raid Level : raid5
Raid Devices : 7
Avail Dev Size : 3906767024 (1862.89 GiB 2000.26 GB)
Array Size : 11720297472 (11177.35 GiB 12001.58 GB)
Used Dev Size : 3906765824 (1862.89 GiB 2000.26 GB)
Data Offset : 262144 sectors
Super Offset : 8 sectors
State : clean
Device UUID : a6a63833:7302c477:58127a50:b4204201
Update Time : Sun Jan 19 21:58:51 2014
Checksum : 52121556 - correct
Events : 31
Layout : left-symmetric
Chunk Size : 512K
Device Role : Active device 5
Array State : AAAA.A. ('A' == active, '.' == missing)
答案1
--create
在 RAID 恢复中,除非您真的非常清楚自己在做什么,否则您永远不应该。但是,您的输出看起来像是您已经完成了--create
.
您的 RAID/dev/sde
是创建的 RAID5 Sun Apr 29 22:14:28 2012
,由 8 个磁盘组成,如您在问题中所述。此 RAID 最后更新于Fri Dec 27 15:32:54 2013
。
但是,您的其他磁盘声称是 RAID5,已创建Fri Dec 27 15:53:16 2013
,由 7 个磁盘组成。所以您已经在那个星期五创建了一个新的 RAID;如果您这样做是为了恢复,那么您可能做错了,因为它没有使用/dev/sde
8 磁盘 RAID 元数据显示的相同设置(错误的元数据版本、偏移量、布局等)。
所以这对我来说听起来好像您早--create
在 2013 年就已经做过了。从那时起您将其用作 7 磁盘 RAID5。
现在的问题是,你的数据在哪里?它实际上是在 7 磁盘 RAID 上并在一段时间后丢失吗?或者是在您创建的另一个 RAID 上的 8 磁盘 RAID 上?从事件计数来看,它更有可能发生在 8 个磁盘上。
如果数据位于 8 个磁盘上(即在 2013 年 12 月丢失),则可能无法恢复。发生错误后恢复非常困难--create
,尤其是在允许同步新的/错误的 RAID 的情况下。但同时也发生了各种各样的事情......而且这甚至没有考虑到您的某些磁盘可能有故障。
您的情况似乎很混乱,因此无法建议采取什么步骤......
无论您做什么,都不要再写入这些磁盘。这意味着,不要组装、不要同步、不要 fsck、不要安装。
但首先我会购买另一组 8 个磁盘(或 4TB 磁盘数量的一半)以及ddrescue
所有磁盘,因为上述方法假设您的磁盘都没有故障。
答案2
你说“在发现突袭处于降级状态后,我多次尝试将其恢复”。
你到底做了什么?如果发现性能下降的阵列,则需要更换发生故障的磁盘。如果您没有这样做并且您又遇到了驱动器故障,那么您的 RAID 就消失了! RAID5 只能容忍一个故障驱动器。
您说您的 RAID5 中有八个 2TB 驱动器。你的 /proc/mdstat 仅包含六个。剩下的两个磁盘在哪里?您至少需要 7 个才能启动 RAID5
另外,您还有两个 RAID 设备 md1 和 md6。 sde不应该也属于md1吗?然而,即使在 md1 中使用 sde,您也缺少一个驱动器来启动具有 8 个驱动器的 RAID5...
下次请记住:“RAID 替代没有备份”