重启后，mdadm RAID 底层的 LVM 消失

Question 1

我想介绍 Martin L. 解决方案的另一种变体。它的不同之处在于它引入的停机时间要少得多，因为可以在系统运行时透明地将数据迁移到新阵列。迁移期间您只会遇到磁盘性能下降的情况。

按建议做在他的回答中直到他建议创建新 VG 的地方。

不要创建新的 VG。在新建的阵列上创建新的 PV，并使用这些 PV 扩展现有的 VG vgextend fg00 /dev/md-NEW：。

然后，使用将逻辑卷从旧 pv 移动到新 pv pvmove /dev/md-OLD。即使在文件系统已安装并正在访问时也可以完成此操作。这将需要很长时间，但最终会完成。我会在内运行此操作screen，并详细运行：screen pvmove -vi5 /dev/md-OLD，以确保如果 SSH 会话关闭并且每 5 秒显示一次进度，它不会中断。

可能存在新 PV 中没有足够的 PE 来执行此操作的情况。这是因为您现在使用分区而不是整个驱动器，可用空间和阵列大小略小。如果是这样，您必须减少一个 LV。例如，卸载 FS，减少（使用resize2fs）并减少 LV 大小。这将花费更长的时间，但仍然比逐个文件复制繁忙的文件系统更快。

当旧 PV 为空（pvmove 完成）时，将其从 VG 中移除，移除 PV 标签并移除旧阵列。清除那些现在未使用的驱动器，对其进行分区并添加到正在运行的阵列中。阵列重新同步也将在后台完成，在完成之前，您只会体验到磁盘性能的下降。

现在，不要忘记修复启动、即mdadam --examine --scan >> /etc/mdadm/mdadm.conf等等update-initramfs。

Answer

我想介绍 Martin L. 解决方案的另一种变体。它的不同之处在于它引入的停机时间要少得多，因为可以在系统运行时透明地将数据迁移到新阵列。迁移期间您只会遇到磁盘性能下降的情况。

按建议做在他的回答中直到他建议创建新 VG 的地方。

不要创建新的 VG。在新建的阵列上创建新的 PV，并使用这些 PV 扩展现有的 VG vgextend fg00 /dev/md-NEW：。

然后，使用将逻辑卷从旧 pv 移动到新 pv pvmove /dev/md-OLD。即使在文件系统已安装并正在访问时也可以完成此操作。这将需要很长时间，但最终会完成。我会在内运行此操作screen，并详细运行：screen pvmove -vi5 /dev/md-OLD，以确保如果 SSH 会话关闭并且每 5 秒显示一次进度，它不会中断。

可能存在新 PV 中没有足够的 PE 来执行此操作的情况。这是因为您现在使用分区而不是整个驱动器，可用空间和阵列大小略小。如果是这样，您必须减少一个 LV。例如，卸载 FS，减少（使用resize2fs）并减少 LV 大小。这将花费更长的时间，但仍然比逐个文件复制繁忙的文件系统更快。

当旧 PV 为空（pvmove 完成）时，将其从 VG 中移除，移除 PV 标签并移除旧阵列。清除那些现在未使用的驱动器，对其进行分区并添加到正在运行的阵列中。阵列重新同步也将在后台完成，在完成之前，您只会体验到磁盘性能的下降。

现在，不要忘记修复启动、即mdadam --examine --scan >> /etc/mdadm/mdadm.conf等等update-initramfs。

Question 2

@nh2 给出了一个简单的但是可能有危险解决方案使用分区或直接使用整个磁盘创建 mdadm 阵列有什么区别

顺便说一句，如果这种情况发生在你身上，你的数据并没有丢失。您很可能只需要sgdisk --zap该设备，然后使用例如重新创建 RAID mdadm --create /dev/md0 --level=1 --raid-devices=2 /dev/sdc /dev/sdd（mdadm 会告诉您它已经检测到过去的数据，并询问您是否要继续重新使用该数据）。我尝试了多次并且成功了，但我还是建议您在执行此操作之前进行备份。

经过长时间的研究，我终于找到了解决方案。

这是我所做的

首先是一些状态信息

PROMPT> df -h
Dateisystem           Größe Benutzt Verf. Verw% Eingehängt auf
/dev/mapper/fg00-Data  5,4T    1,5T  3,8T   28% /data

然后卸载分区

PROMPT> umount /data

PROMPT> cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10] 
md1 : active raid1 sdg[1] sdf[0]
      1953382464 blocks super 1.2 [2/2] [UU]
      bitmap: 0/15 pages [0KB], 65536KB chunk

md0 : active raid1 sde[1] sda[0]
      3906886464 blocks super 1.2 [2/2] [UU]
      bitmap: 0/30 pages [0KB], 65536KB chunk

unused devices: <none>

现在我降级这两个阵列

PROMPT > mdadm --manage /dev/md0 --fail /dev/sde
mdadm: set /dev/sde faulty in /dev/md0

PROMPT > mdadm --manage /dev/md1 --fail /dev/sdg
mdadm: set /dev/sdg faulty in /dev/md1

PROMPT > cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10] 
md1 : active raid1 sdg[1](F) sdf[0]
      1953382464 blocks super 1.2 [2/1] [U_]
      bitmap: 0/15 pages [0KB], 65536KB chunk

md0 : active raid1 sde[1](F) sda[0]
      3906886464 blocks super 1.2 [2/1] [U_]
      bitmap: 0/30 pages [0KB], 65536KB chunk

unused devices: <none>

从阵列中移除磁盘

PROMPT > mdadm --manage /dev/md0 --remove /dev/sde 
mdadm: hot removed /dev/sde from /dev/md0
PROMPT > mdadm --manage /dev/md1 --remove /dev/sdg
mdadm: hot removed /dev/sdg from /dev/md1

PROMPT > cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10] 
md1 : active raid1 sdf[0]
      1953382464 blocks super 1.2 [2/1] [U_]
      bitmap: 0/15 pages [0KB], 65536KB chunk

md0 : active raid1 sda[0]
      3906886464 blocks super 1.2 [2/1] [U_]
      bitmap: 0/30 pages [0KB], 65536KB chunk

unused devices: <none>

现在/dev/sde可以/dev/sdg自由地（重新）分区。

因此我创建了新的分区，/dev/sde并/dev/sdg按照建议将其大小比可用空间小几 MB。
创建了新的 2 磁盘 RAID1 阵列，其中一个磁盘为活动磁盘，另一个磁盘为“丢失”
使用这些新阵列作为物理卷建立一个新的 LVM 卷组
在其上创建了一个逻辑卷（大小与旧逻辑卷相同，但创建分区时丢失了几个 MB）
将所有数据从旧 LV 复制到新 LV
销毁旧 RAID，并将磁盘分区添加到新 RAID

这是新的状态

PROMPT > lsblk -o NAME,SIZE,FSTYPE,TYPE,MOUNTPOINT
NAME              SIZE FSTYPE            TYPE  MOUNTPOINT
sda               3,7T                   disk  
└─sda1            3,7T linux_raid_member part  
  └─md2           3,7T LVM2_member       raid1 
    └─fg01-Data   5,5T ext4              lvm   /data
sde               3,7T                   disk  
└─sde1            3,7T linux_raid_member part  
  └─md2           3,7T LVM2_member       raid1 
    └─fg01-Data   5,5T ext4              lvm   /data
sdf               1,8T                   disk  
└─sdf1            1,8T linux_raid_member part  
  └─md3           1,8T LVM2_member       raid1 
    └─fg01-Data   5,5T ext4              lvm   /data
sdg               1,8T                   disk  
└─sdg1            1,8T linux_raid_member part  
  └─md3           1,8T LVM2_member       raid1 
    └─fg01-Data   5,5T ext4              lvm   /data
sdh             119,2G                   disk  
└─sdh1          119,2G ext4              part  /home
sr0              1024M                   rom   
nvme0n1           477G                   disk  
├─nvme0n1p1       300M vfat              part  /boot/efi
├─nvme0n1p2     442,1G ext4              part  /
└─nvme0n1p3      34,6G swap              part  [SWAP]

PROMPT > cat /proc/mdstat 
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10] 
md3 : active raid1 sdf1[1] sdg1[0]
      1953381376 blocks super 1.2 [2/1] [U_]
      [==>..................]  recovery = 10.0% (196493504/1953381376) finish=224.9min speed=130146K/sec
      bitmap: 0/15 pages [0KB], 65536KB chunk

md2 : active raid1 sda1[1] sde1[0]
      3906884608 blocks super 1.2 [2/1] [U_]
      [=>...................]  recovery =  6.7% (263818176/3906884608) finish=429.0min speed=141512K/sec
      bitmap: 2/30 pages [8KB], 65536KB chunk

unused devices: <none>

Answer

@nh2 给出了一个简单的但是可能有危险解决方案使用分区或直接使用整个磁盘创建 mdadm 阵列有什么区别

顺便说一句，如果这种情况发生在你身上，你的数据并没有丢失。您很可能只需要sgdisk --zap该设备，然后使用例如重新创建 RAID mdadm --create /dev/md0 --level=1 --raid-devices=2 /dev/sdc /dev/sdd（mdadm 会告诉您它已经检测到过去的数据，并询问您是否要继续重新使用该数据）。我尝试了多次并且成功了，但我还是建议您在执行此操作之前进行备份。

经过长时间的研究，我终于找到了解决方案。

这是我所做的

首先是一些状态信息

PROMPT> df -h
Dateisystem           Größe Benutzt Verf. Verw% Eingehängt auf
/dev/mapper/fg00-Data  5,4T    1,5T  3,8T   28% /data

然后卸载分区

PROMPT> umount /data

PROMPT> cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10] 
md1 : active raid1 sdg[1] sdf[0]
      1953382464 blocks super 1.2 [2/2] [UU]
      bitmap: 0/15 pages [0KB], 65536KB chunk

md0 : active raid1 sde[1] sda[0]
      3906886464 blocks super 1.2 [2/2] [UU]
      bitmap: 0/30 pages [0KB], 65536KB chunk

unused devices: <none>

现在我降级这两个阵列

PROMPT > mdadm --manage /dev/md0 --fail /dev/sde
mdadm: set /dev/sde faulty in /dev/md0

PROMPT > mdadm --manage /dev/md1 --fail /dev/sdg
mdadm: set /dev/sdg faulty in /dev/md1

PROMPT > cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10] 
md1 : active raid1 sdg[1](F) sdf[0]
      1953382464 blocks super 1.2 [2/1] [U_]
      bitmap: 0/15 pages [0KB], 65536KB chunk

md0 : active raid1 sde[1](F) sda[0]
      3906886464 blocks super 1.2 [2/1] [U_]
      bitmap: 0/30 pages [0KB], 65536KB chunk

unused devices: <none>

从阵列中移除磁盘

PROMPT > mdadm --manage /dev/md0 --remove /dev/sde 
mdadm: hot removed /dev/sde from /dev/md0
PROMPT > mdadm --manage /dev/md1 --remove /dev/sdg
mdadm: hot removed /dev/sdg from /dev/md1

PROMPT > cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10] 
md1 : active raid1 sdf[0]
      1953382464 blocks super 1.2 [2/1] [U_]
      bitmap: 0/15 pages [0KB], 65536KB chunk

md0 : active raid1 sda[0]
      3906886464 blocks super 1.2 [2/1] [U_]
      bitmap: 0/30 pages [0KB], 65536KB chunk

unused devices: <none>

现在/dev/sde可以/dev/sdg自由地（重新）分区。

因此我创建了新的分区，/dev/sde并/dev/sdg按照建议将其大小比可用空间小几 MB。
创建了新的 2 磁盘 RAID1 阵列，其中一个磁盘为活动磁盘，另一个磁盘为“丢失”
使用这些新阵列作为物理卷建立一个新的 LVM 卷组
在其上创建了一个逻辑卷（大小与旧逻辑卷相同，但创建分区时丢失了几个 MB）
将所有数据从旧 LV 复制到新 LV
销毁旧 RAID，并将磁盘分区添加到新 RAID

这是新的状态

PROMPT > lsblk -o NAME,SIZE,FSTYPE,TYPE,MOUNTPOINT
NAME              SIZE FSTYPE            TYPE  MOUNTPOINT
sda               3,7T                   disk  
└─sda1            3,7T linux_raid_member part  
  └─md2           3,7T LVM2_member       raid1 
    └─fg01-Data   5,5T ext4              lvm   /data
sde               3,7T                   disk  
└─sde1            3,7T linux_raid_member part  
  └─md2           3,7T LVM2_member       raid1 
    └─fg01-Data   5,5T ext4              lvm   /data
sdf               1,8T                   disk  
└─sdf1            1,8T linux_raid_member part  
  └─md3           1,8T LVM2_member       raid1 
    └─fg01-Data   5,5T ext4              lvm   /data
sdg               1,8T                   disk  
└─sdg1            1,8T linux_raid_member part  
  └─md3           1,8T LVM2_member       raid1 
    └─fg01-Data   5,5T ext4              lvm   /data
sdh             119,2G                   disk  
└─sdh1          119,2G ext4              part  /home
sr0              1024M                   rom   
nvme0n1           477G                   disk  
├─nvme0n1p1       300M vfat              part  /boot/efi
├─nvme0n1p2     442,1G ext4              part  /
└─nvme0n1p3      34,6G swap              part  [SWAP]

PROMPT > cat /proc/mdstat 
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10] 
md3 : active raid1 sdf1[1] sdg1[0]
      1953381376 blocks super 1.2 [2/1] [U_]
      [==>..................]  recovery = 10.0% (196493504/1953381376) finish=224.9min speed=130146K/sec
      bitmap: 0/15 pages [0KB], 65536KB chunk

md2 : active raid1 sda1[1] sde1[0]
      3906884608 blocks super 1.2 [2/1] [U_]
      [=>...................]  recovery =  6.7% (263818176/3906884608) finish=429.0min speed=141512K/sec
      bitmap: 2/30 pages [8KB], 65536KB chunk

unused devices: <none>

重启后，mdadm RAID 底层的 LVM 消失

这是新的设置

问题

但是：如何让系统在重启时重新组装阵列？

在阵列和 LVM 没有启动和运行的情况下我可以访问数据吗？

附加信息

这是一个有人能理解的暗示吗？

另一条信息

答案1

答案2

这是我所做的

相关内容