重新组装 mdadm-raid5

Question 1

好的，看来我们现在可以进入突袭了。至少第一个检查的文件看起来不错。这就是我们所做的：

这突袭恢复文章kernel.org wiki 上针对我们的问题提出了两种可能的解决方案：

使用--assemble --force(derobert 也提到了)
文章说：

[...] 如果事件计数相差小于 50，则驱动器上的信息可能仍然没问题。 [...] 如果事件计数非常匹配但不完全匹配，请使用“mdadm --assemble --force /dev/mdX ”强制 mdadm 组装数组 [...]。如果驱动器的事件计数严重偏离 [...]，则该驱动器 [...] 不应包含在程序集中。

在我们的例子中，驱动器sde的事件差异为 9。所以很有可能--force会起作用。然而，执行该--add命令后，事件计数降至 0，并且驱动器被标记为备用。

所以我们最好停止使用--force.
重新创建数组
该解决方案被明确标记为危险的，因为如果做错了什么，您可能会丢失数据。然而，这似乎是我们唯一的选择。

这个想法是使用旧 raid 的相同配置在现有 raid 设备上创建一个新的 raid（即覆盖设备的超级块），并明确告诉 mdadm 该 raid 已经存在并且应该假定为干净。

由于事件计数差异仅为 9，唯一的问题是我们丢失了超级块，因此sde编写新的超级块很有可能使我们能够访问我们的数据...并且它起作用了:-)

我们的解决方案

注意：此解决方案专门针对我们的问题，可能不适用于您的设置。您应该记下这些笔记以了解如何完成工作。但您需要研究最适合您的情况。

备份
我们已经失去了一个超级块。因此，这次我们sd[acdefghij]在处理 raid 之前使用 dd保存了每个 raid 设备 ( ) 的第一个和最后一个 GB 。我们对每个 raid 设备都这样做了：

# save the first gigabyte of sda
dd if=/dev/sda of=bak_sda_start bs=4096 count=262144

# determine the size of the device
fdisk -l /dev/sda
# In this case the size was 4000787030016 byte.

# To get the last gigabyte we need to skip everything except the last gigabyte.
# So we need to skip: 4000787030016 byte - 1073741824 byte = 3999713288000 byte
# Since we read blocks auf 4096 byte we need to skip 3999713288000/4096=976492502 blocks.
dd if=/dev/sda of=bak_sda_end bs=4096 skip=976492502

收集信息
重新创建 raid 时，使用与旧 raid 相同的配置非常重要。如果您想使用不同的 mdadm 版本在另一台计算机上重新创建阵列，这一点尤其重要。在这种情况下，mdadm 的默认值可能会有所不同，并且可能会创建不适合现有 raid 的超级块（请参阅 wiki 文章）。

在我们的例子中，我们使用同一台机器（因此使用相同的 mdadm 版本）来重新创建数组。然而，该数组首先是由第三方工具创建的。因此，我们不想在这里依赖默认值，并且必须收集有关现有突袭的一些信息。

从输出中，mdadm --examine /dev/sd[acdefghij]我们获得有关 raid 的以下信息（注意：sdb 是包含操作系统的 SSD，不是 raid 的一部分）：

     Raid Level : raid5
   Raid Devices : 9
  Used Dev Size : 7814034432 (3726.02 GiB 4000.79 GB)
    Data Offset : 2048 sectors
   Super Offset : 8 sectors
         Layout : left-symmetric
     Chunk Size : 512K
   Device Role : Active device 0

Used Dev Size以 512 字节块计价。您可以检查一下：
7814034432*512/1000000000 ~= 4000.79
但是 mdadm 需要以 Kibibytes 为单位的大小：7814034432*512/1024 = 3907017216

重要的是Device Role.在新的 raid 中，每个设备必须具有与以前相同的角色。在我们的例子中：

device  role
------  ----
sda     0
sdc     1
sdd     2
sde     3
sdf     4
sdg     5
sdh     6
sdi     spare
sdj     8

注意：重新启动后驱动器号（以及顺序）可能会更改！

我们还需要下一步的布局和块大小。

重新创建突袭
我们现在可以使用最后一步的信息来重新创建数组：

mdadm --create --assume-clean --level=5 --raid-devices=9 --size=3907017216 \
    --chunk=512 --layout=left-symmetric /dev/md127 /dev/sda /dev/sdc /dev/sdd \
    /dev/sde /dev/sdf /dev/sdg /dev/sdh missing /dev/sdj

按正确的顺序传递设备非常重要！
此外，我们没有添加，sdi因为它的事件计数太低。所以我们将第 7 个 Raid 槽位设置为missing。因此，raid5 包含 9 个设备中的 8 个，并将以降级模式组装。而且由于它缺少备用设备，因此不会自动开始重建。

然后我们用来--examine检查新的超级块是否适合我们的旧超级块。确实如此:-) 我们能够挂载文件系统并读取数据。下一步是备份数据，然后添加回来sdi并开始重建。

Answer

好的，看来我们现在可以进入突袭了。至少第一个检查的文件看起来不错。这就是我们所做的：

这突袭恢复文章kernel.org wiki 上针对我们的问题提出了两种可能的解决方案：

使用--assemble --force(derobert 也提到了)
文章说：

[...] 如果事件计数相差小于 50，则驱动器上的信息可能仍然没问题。 [...] 如果事件计数非常匹配但不完全匹配，请使用“mdadm --assemble --force /dev/mdX ”强制 mdadm 组装数组 [...]。如果驱动器的事件计数严重偏离 [...]，则该驱动器 [...] 不应包含在程序集中。

在我们的例子中，驱动器sde的事件差异为 9。所以很有可能--force会起作用。然而，执行该--add命令后，事件计数降至 0，并且驱动器被标记为备用。

所以我们最好停止使用--force.
重新创建数组
该解决方案被明确标记为危险的，因为如果做错了什么，您可能会丢失数据。然而，这似乎是我们唯一的选择。

这个想法是使用旧 raid 的相同配置在现有 raid 设备上创建一个新的 raid（即覆盖设备的超级块），并明确告诉 mdadm 该 raid 已经存在并且应该假定为干净。

由于事件计数差异仅为 9，唯一的问题是我们丢失了超级块，因此sde编写新的超级块很有可能使我们能够访问我们的数据...并且它起作用了:-)

我们的解决方案

注意：此解决方案专门针对我们的问题，可能不适用于您的设置。您应该记下这些笔记以了解如何完成工作。但您需要研究最适合您的情况。

备份
我们已经失去了一个超级块。因此，这次我们sd[acdefghij]在处理 raid 之前使用 dd保存了每个 raid 设备 ( ) 的第一个和最后一个 GB 。我们对每个 raid 设备都这样做了：

# save the first gigabyte of sda
dd if=/dev/sda of=bak_sda_start bs=4096 count=262144

# determine the size of the device
fdisk -l /dev/sda
# In this case the size was 4000787030016 byte.

# To get the last gigabyte we need to skip everything except the last gigabyte.
# So we need to skip: 4000787030016 byte - 1073741824 byte = 3999713288000 byte
# Since we read blocks auf 4096 byte we need to skip 3999713288000/4096=976492502 blocks.
dd if=/dev/sda of=bak_sda_end bs=4096 skip=976492502

收集信息
重新创建 raid 时，使用与旧 raid 相同的配置非常重要。如果您想使用不同的 mdadm 版本在另一台计算机上重新创建阵列，这一点尤其重要。在这种情况下，mdadm 的默认值可能会有所不同，并且可能会创建不适合现有 raid 的超级块（请参阅 wiki 文章）。

在我们的例子中，我们使用同一台机器（因此使用相同的 mdadm 版本）来重新创建数组。然而，该数组首先是由第三方工具创建的。因此，我们不想在这里依赖默认值，并且必须收集有关现有突袭的一些信息。

从输出中，mdadm --examine /dev/sd[acdefghij]我们获得有关 raid 的以下信息（注意：sdb 是包含操作系统的 SSD，不是 raid 的一部分）：

     Raid Level : raid5
   Raid Devices : 9
  Used Dev Size : 7814034432 (3726.02 GiB 4000.79 GB)
    Data Offset : 2048 sectors
   Super Offset : 8 sectors
         Layout : left-symmetric
     Chunk Size : 512K
   Device Role : Active device 0

Used Dev Size以 512 字节块计价。您可以检查一下：
7814034432*512/1000000000 ~= 4000.79
但是 mdadm 需要以 Kibibytes 为单位的大小：7814034432*512/1024 = 3907017216

重要的是Device Role.在新的 raid 中，每个设备必须具有与以前相同的角色。在我们的例子中：

device  role
------  ----
sda     0
sdc     1
sdd     2
sde     3
sdf     4
sdg     5
sdh     6
sdi     spare
sdj     8

注意：重新启动后驱动器号（以及顺序）可能会更改！

我们还需要下一步的布局和块大小。

重新创建突袭
我们现在可以使用最后一步的信息来重新创建数组：

mdadm --create --assume-clean --level=5 --raid-devices=9 --size=3907017216 \
    --chunk=512 --layout=left-symmetric /dev/md127 /dev/sda /dev/sdc /dev/sdd \
    /dev/sde /dev/sdf /dev/sdg /dev/sdh missing /dev/sdj

按正确的顺序传递设备非常重要！
此外，我们没有添加，sdi因为它的事件计数太低。所以我们将第 7 个 Raid 槽位设置为missing。因此，raid5 包含 9 个设备中的 8 个，并将以降级模式组装。而且由于它缺少备用设备，因此不会自动开始重建。

然后我们用来--examine检查新的超级块是否适合我们的旧超级块。确实如此:-) 我们能够挂载文件系统并读取数据。下一步是备份数据，然后添加回来sdi并开始重建。

Question 2

mdadm --force应该解决这个问题。请注意，您可能会遭受轻微的数据损坏，因为它会假装同步。像这样使用它：

mdadm --stop /dev/md127（您需要先停止当前正在运行的程序）
mdadm -v --assemble --run --force /dev/md127 /dev/sd[a-hl-z]。关键是离开/dev/sdi这里，因为我们知道该磁盘是最新的。注意：如果并非所有磁盘都属于阵列，则在此处实际列出磁盘而不是使用 shell 通配符会更安全。
应该有一堆消息，其中一条告诉它包含过期的磁盘/dev/sde。检查/proc/mdstat并确保您有一个正在运行但降级的 RAID5。
找出磁盘掉落的原因。根据原因，您现在可能需要立即复制数据（例如，磁盘已濒临死亡），或者可以继续重新添加/dev/sdi并重建数据。

mdadm 可以配置为监视阵列并在发生不良情况（例如丢失磁盘）时发送警报。您需要正确配置它。

Answer

mdadm --force应该解决这个问题。请注意，您可能会遭受轻微的数据损坏，因为它会假装同步。像这样使用它：

mdadm --stop /dev/md127（您需要先停止当前正在运行的程序）
mdadm -v --assemble --run --force /dev/md127 /dev/sd[a-hl-z]。关键是离开/dev/sdi这里，因为我们知道该磁盘是最新的。注意：如果并非所有磁盘都属于阵列，则在此处实际列出磁盘而不是使用 shell 通配符会更安全。
应该有一堆消息，其中一条告诉它包含过期的磁盘/dev/sde。检查/proc/mdstat并确保您有一个正在运行但降级的 RAID5。
找出磁盘掉落的原因。根据原因，您现在可能需要立即复制数据（例如，磁盘已濒临死亡），或者可以继续重新添加/dev/sdi并重建数据。

mdadm 可以配置为监视阵列并在发生不良情况（例如丢失磁盘）时发送警报。您需要正确配置它。

Question 3

由于您将驱动器转为备用并丢失了其元数据，因此您唯一的选择就是重新创建 RAID。这是非常危险的，一个错误就会擦除你的数据。

重新创建 RAID 时，需要考虑几件事。您必须使用它--assume-clean，这样它就不会同步。您应该通过将一个驱动器指定为来保留它（最好是处于最差状态的驱动器）missing。最后但并非最不重要的一点是，您必须正确设置所有变量：驱动器顺序、元数据版本、RAID 级别、块大小、布局、数据偏移量等...

您不能在这里依赖默认值，因为默认值往往会随着mdadm.如果您的救援环境没有使用mdadm与最初创建 RAID 的环境相同的版本，并且您没有使用完全相同的参数等。如果您依赖默认值，您就会遇到麻烦。

您至少应该对每个驱动器的第一个和最后一个千兆字节左右进行备份，这样您至少可以撤消mdadm实验。理想情况下，您可以在完整副本上执行所有这些操作，或者在写时复制模式下使用 dm-snapshots 或 nbd-server 来获得事物的只读视图。看到这个叠加操作方法。

如果我--examine正确解释您发布的输出，前提是您的驱动器盘符没有更改，这可能是重新创建的正确命令，但我不能保证任何事情：

mdadm --create /dev/md42 --assume-clean --metadata=1.2 --data-offset=1M \
      --level=5 --chunk=512 --layout=ls --raid-devices=9 \
      /dev/sda /dev/sdc /dev/sdd /dev/sde /dev/sdf \
      /dev/sdg /dev/sdh missing /dev/sdj

也可以看看https://raid.wiki.kernel.org/index.php/RAID_Recovery但请谨慎听取那里的建议。娱乐是一件可怕的事情，很容易犯错误。

创建 RAID 后，您应该以只读模式查看它：

mdadm --readonly /dev/md42
file -s /dev/md42
fsck -n /dev/md42
mount -o ro /dev/md42 /mnt/md42

如果到目前为止有效，您应该找到一个大文件（块大小*驱动器）并查看是否一切正常。如果错误的两个驱动器交换了位置，则完全有可能可以很好地安装文件系统，但文件会损坏。

您还必须更新您的mdadm.conf等，因为这将是一个具有新 uuid 等的新 raid。

Answer

由于您将驱动器转为备用并丢失了其元数据，因此您唯一的选择就是重新创建 RAID。这是非常危险的，一个错误就会擦除你的数据。

重新创建 RAID 时，需要考虑几件事。您必须使用它--assume-clean，这样它就不会同步。您应该通过将一个驱动器指定为来保留它（最好是处于最差状态的驱动器）missing。最后但并非最不重要的一点是，您必须正确设置所有变量：驱动器顺序、元数据版本、RAID 级别、块大小、布局、数据偏移量等...

您不能在这里依赖默认值，因为默认值往往会随着mdadm.如果您的救援环境没有使用mdadm与最初创建 RAID 的环境相同的版本，并且您没有使用完全相同的参数等。如果您依赖默认值，您就会遇到麻烦。

您至少应该对每个驱动器的第一个和最后一个千兆字节左右进行备份，这样您至少可以撤消mdadm实验。理想情况下，您可以在完整副本上执行所有这些操作，或者在写时复制模式下使用 dm-snapshots 或 nbd-server 来获得事物的只读视图。看到这个叠加操作方法。

如果我--examine正确解释您发布的输出，前提是您的驱动器盘符没有更改，这可能是重新创建的正确命令，但我不能保证任何事情：

mdadm --create /dev/md42 --assume-clean --metadata=1.2 --data-offset=1M \
      --level=5 --chunk=512 --layout=ls --raid-devices=9 \
      /dev/sda /dev/sdc /dev/sdd /dev/sde /dev/sdf \
      /dev/sdg /dev/sdh missing /dev/sdj

也可以看看https://raid.wiki.kernel.org/index.php/RAID_Recovery但请谨慎听取那里的建议。娱乐是一件可怕的事情，很容易犯错误。

创建 RAID 后，您应该以只读模式查看它：

mdadm --readonly /dev/md42
file -s /dev/md42
fsck -n /dev/md42
mount -o ro /dev/md42 /mnt/md42

如果到目前为止有效，您应该找到一个大文件（块大小*驱动器）并查看是否一切正常。如果错误的两个驱动器交换了位置，则完全有可能可以很好地安装文件系统，但文件会损坏。

您还必须更新您的mdadm.conf等，因为这将是一个具有新 uuid 等的新 raid。

Question 4

我在 RAID5 设置（5 个驱动器，每个 1TB）上尝试过此操作，其中 2 个驱动器被从阵列中剔除。我冒着风险，使用以下命令添加了两个已启动的驱动器： mdadm --create --assume-clean --level=5 --raid-devices=5 --chunk=512 --layout=left-symmetric /dev/md127 /dev/sdc /dev/sdd /dev/sde /dev/sdf /dev/sdb 其中 sdd 和 sdf 是已启动的驱动器（也感谢一些备用的干预）。

Answer

我在 RAID5 设置（5 个驱动器，每个 1TB）上尝试过此操作，其中 2 个驱动器被从阵列中剔除。我冒着风险，使用以下命令添加了两个已启动的驱动器： mdadm --create --assume-clean --level=5 --raid-devices=5 --chunk=512 --layout=left-symmetric /dev/md127 /dev/sdc /dev/sdd /dev/sde /dev/sdf /dev/sdb 其中 sdd 和 sdf 是已启动的驱动器（也感谢一些备用的干预）。

重新组装 mdadm-raid5

答案1

我们的解决方案

答案2

答案3

答案4

相关内容