制作完全相同的 ext2 文件系统

Question 1

恕我直言，这一切似乎都变得过于复杂。什么时候柏油单独看来是显而易见的解决方案。 tar 可以创建几乎任何文件系统，包括 cdfs（--options cd9660:*）。它还允许您将输出文件的时间戳记为最近的-m || --modification-time、、、、...中的任何一个--gid id || --gname name。 --acls || --no-acls--same-owner || --no-same-owner

或者你可以创建你的文件系统。chown -Rh someone:somegroup .在您的文件树中执行 a ，chmod根据您的喜好并使用tar, 或同步将文件树放入您准备好的文件系统中。然后一切都会保持一致——相同的日期、相同的所有者/组和权限。

嗯，这就是我处理类似事情的方式。 :)

华泰

Answer

恕我直言，这一切似乎都变得过于复杂。什么时候柏油单独看来是显而易见的解决方案。 tar 可以创建几乎任何文件系统，包括 cdfs（--options cd9660:*）。它还允许您将输出文件的时间戳记为最近的-m || --modification-time、、、、...中的任何一个--gid id || --gname name。 --acls || --no-acls--same-owner || --no-same-owner

或者你可以创建你的文件系统。chown -Rh someone:somegroup .在您的文件树中执行 a ，chmod根据您的喜好并使用tar, 或同步将文件树放入您准备好的文件系统中。然后一切都会保持一致——相同的日期、相同的所有者/组和权限。

嗯，这就是我处理类似事情的方式。 :)

华泰

Question 2

您原来问题的答案是一个名为genext2fs。如果您提供 -f 开关，那么在给定相同的输入的情况下，它将创建逐位相同的输出。这可以通过它自己的测试套件来证明，该测试套件将创建的图像与正确输出的预先计算的 md5sum 进行比较，或者通过此测试（在源目录内执行）来证明：

$ ./genext2fs -f -B 1024 -b 40 -d m4 rootfs.img
$ md5sum rootfs.img
322053a8962acc599eaabb2dfde28783  rootfs.img
$ rm rootfs.img
$ ./genext2fs -f -B 1024 -b 40 -d m4 rootfs.img
$ md5sum rootfs.img
322053a8962acc599eaabb2dfde28783  rootfs.img

您可以挂载生成的映像并检查其内容是否确实与打包目录相同：

$ sudo mount rootfs.img /mnt
$ ls -lha /mnt
total 27K
drwxr-xr-x  3 root  root  1.0K Jan  1  1970 .
drwxr-xr-x 25 root  root  4.0K Mar 22 14:56 ..
-rw-r--r--  1 josch josch 1.5K Mar 22 23:05 ac_func_scanf_can_malloc.m4
-rw-r--r--  1 josch josch 2.4K Mar 22 14:24 ac_func_snprintf.m4
drwx------  2 root  root   16K Jan  1  1970 lost+found
$ rmdir /mnt/lost+found
$ diff -rq m4 /mnt
$ echo $?
0

玩得开心！

Answer

您原来问题的答案是一个名为genext2fs。如果您提供 -f 开关，那么在给定相同的输入的情况下，它将创建逐位相同的输出。这可以通过它自己的测试套件来证明，该测试套件将创建的图像与正确输出的预先计算的 md5sum 进行比较，或者通过此测试（在源目录内执行）来证明：

$ ./genext2fs -f -B 1024 -b 40 -d m4 rootfs.img
$ md5sum rootfs.img
322053a8962acc599eaabb2dfde28783  rootfs.img
$ rm rootfs.img
$ ./genext2fs -f -B 1024 -b 40 -d m4 rootfs.img
$ md5sum rootfs.img
322053a8962acc599eaabb2dfde28783  rootfs.img

您可以挂载生成的映像并检查其内容是否确实与打包目录相同：

$ sudo mount rootfs.img /mnt
$ ls -lha /mnt
total 27K
drwxr-xr-x  3 root  root  1.0K Jan  1  1970 .
drwxr-xr-x 25 root  root  4.0K Mar 22 14:56 ..
-rw-r--r--  1 josch josch 1.5K Mar 22 23:05 ac_func_scanf_can_malloc.m4
-rw-r--r--  1 josch josch 2.4K Mar 22 14:24 ac_func_snprintf.m4
drwx------  2 root  root   16K Jan  1  1970 lost+found
$ rmdir /mnt/lost+found
$ diff -rq m4 /mnt
$ echo $?
0

玩得开心！

Question 3

笔记：这不是完整的答案；只是部分，或者至少是一个提示

我需要能够运行创建图像的脚本，并使输出每次都逐位相同。

您必须实现的第一个问题是分区表disk signatures中的msdos（分区表中的偏移量 440）膜生物反应器,4字节长）。如果您的 MBR 不同，则您仅在第一个扇区就未能实现目标。每次mklabel在里面执行时parted，都会生成一个新的disk signature.您可以克服这个问题，用相同的随机签名覆盖这四个字节，如下所示：

printf RAMDOM_SIGNATURE | xxd -p -r | dd bs=1 count=4 seek=440 of=YOUR_DOT_BIN conv=notrunc 2> /dev/null

RANDOM_SIGNATURE可能是这样的'73396992'

我对你的脚本做了一些修改，修复了以下问题：

dd if=/dev/zero bs=1024 count=46112 of="$1"
parted "$1" <<EOF
unit
s
mklabel
msdos
mkpart
p
ext2
63s
45119s
set
1
boot
on
q
EOF

printf "$2" | xxd -p -r | dd bs=1 count=4 seek=440 of="$1" conv=notrunc 2> /dev/null

losetup -o $(expr 63 \* 512) /dev/loop0 "$1"

mke2fs -b 1024 -t ext2 /dev/loop0 22528

#clear some parameters
tune2fs -i 0 /dev/loop0 # interval between check
tune2fs -L LABEL /dev/loop0
tune2fs -U 00000000-0000-0000-0000-000000000000 /dev/loop0 #uuid
tune2fs -c 0 /dev/loop0 #mount count

#mount /dev/loop0 mnt
## make a dummy file
#echo HELLO > mnt/a.txt
#umount mnt

losetup -d /dev/loop0

现在，您可以像这样调用脚本

./script_name BIN_FILE_NAME RANDOM_SIGNATURE

现在，如果你这样做：

./test.sh cf00.bin '73396992'
./test.sh cf01.bin '73396992'
./test.sh cf02.bin '73396992'
./test.sh cf03.bin '73396992'

然后是这个：

dd if=cf00.bin count=63 2>/dev/null | sha1sum
dd if=cf01.bin count=63 2>/dev/null | sha1sum
dd if=cf02.bin count=63 2>/dev/null | sha1sum
dd if=cf03.bin count=63 2>/dev/null | sha1sum

您将看到所有这些文件在第一个分区中的文件系统之前都是相同的（尝试与原始脚本相同，并且总和将彼此不同）。

您可能会注意到，在我的脚本版本中，我注释掉了写入文件的行a.txt。我这样做是因为当你无法使文件系统相同时，即使文件系统上没有文件，尝试修复这个问题也是没有意义的。情况就是这样：即使没有文件，文件系统也不同，所以，首先，我们需要修复这个问题。

如果您dumpe2fs针对每个映像上的文件系统分区运行，将其转储到文件，然后diff针对任何一对转储使用，您将看到如下内容：

25c25
< Filesystem created:       Sat Jun 15 07:37:32 2019
---
> Filesystem created:       Sat Jun 15 07:37:40 2019
27c27
< Last write time:          Sat Jun 15 07:37:33 2019
---
> Last write time:          Sat Jun 15 07:37:40 2019
30c30
< Last checked:             Sat Jun 15 07:37:32 2019
---
> Last checked:             Sat Jun 15 07:37:40 2019
37c37
< Directory Hash Seed:      603130ae-82de-4530-9772-f68ae3d6df5f
---
> Directory Hash Seed:      1d9c5af8-a48e-4221-9e70-8fa2ccc6936f

所以，至少，在一个非常高的水平（在此之后，您需要更深入地了解最低级别，即：实际的逐字节比较）文件系统的不同之处在于上面显示的细节。首先解决这个问题。

即使您更改机器中的日期，您也无法成功篡改时间戳并使它们相等，因为在程序执行中存在您可以控制的时间间隙。在这种情况下，您需要冻结至少从创建文件系统的程序的角度来看是你的时钟。你可以深入研究这一点，但我认为这不是正确的方法，因为你说他们需要在他们的机器上执行你的脚本：你不想弄乱他们的时钟。所以，恕我直言，要走的路可能是篡改文件系统上的正确字节，就像我对disk signature.周围搜索一下。

另外，别忘了Superblock backups……追踪他们。如果它们在每个文件系统上包含不同的数据，它们将传播它们驻留的字节范围的差异。

最后，请记住，当您复制文件时，您无法直接控制文件系统内文件字节的“分布”...如果您无法克隆，则需要找到一种方法来控制它也。

Answer

笔记：这不是完整的答案；只是部分，或者至少是一个提示

我需要能够运行创建图像的脚本，并使输出每次都逐位相同。

您必须实现的第一个问题是分区表disk signatures中的msdos（分区表中的偏移量 440）膜生物反应器,4字节长）。如果您的 MBR 不同，则您仅在第一个扇区就未能实现目标。每次mklabel在里面执行时parted，都会生成一个新的disk signature.您可以克服这个问题，用相同的随机签名覆盖这四个字节，如下所示：

printf RAMDOM_SIGNATURE | xxd -p -r | dd bs=1 count=4 seek=440 of=YOUR_DOT_BIN conv=notrunc 2> /dev/null

RANDOM_SIGNATURE可能是这样的'73396992'

我对你的脚本做了一些修改，修复了以下问题：

dd if=/dev/zero bs=1024 count=46112 of="$1"
parted "$1" <<EOF
unit
s
mklabel
msdos
mkpart
p
ext2
63s
45119s
set
1
boot
on
q
EOF

printf "$2" | xxd -p -r | dd bs=1 count=4 seek=440 of="$1" conv=notrunc 2> /dev/null

losetup -o $(expr 63 \* 512) /dev/loop0 "$1"

mke2fs -b 1024 -t ext2 /dev/loop0 22528

#clear some parameters
tune2fs -i 0 /dev/loop0 # interval between check
tune2fs -L LABEL /dev/loop0
tune2fs -U 00000000-0000-0000-0000-000000000000 /dev/loop0 #uuid
tune2fs -c 0 /dev/loop0 #mount count

#mount /dev/loop0 mnt
## make a dummy file
#echo HELLO > mnt/a.txt
#umount mnt

losetup -d /dev/loop0

现在，您可以像这样调用脚本

./script_name BIN_FILE_NAME RANDOM_SIGNATURE

现在，如果你这样做：

./test.sh cf00.bin '73396992'
./test.sh cf01.bin '73396992'
./test.sh cf02.bin '73396992'
./test.sh cf03.bin '73396992'

然后是这个：

dd if=cf00.bin count=63 2>/dev/null | sha1sum
dd if=cf01.bin count=63 2>/dev/null | sha1sum
dd if=cf02.bin count=63 2>/dev/null | sha1sum
dd if=cf03.bin count=63 2>/dev/null | sha1sum

您将看到所有这些文件在第一个分区中的文件系统之前都是相同的（尝试与原始脚本相同，并且总和将彼此不同）。

您可能会注意到，在我的脚本版本中，我注释掉了写入文件的行a.txt。我这样做是因为当你无法使文件系统相同时，即使文件系统上没有文件，尝试修复这个问题也是没有意义的。情况就是这样：即使没有文件，文件系统也不同，所以，首先，我们需要修复这个问题。

如果您dumpe2fs针对每个映像上的文件系统分区运行，将其转储到文件，然后diff针对任何一对转储使用，您将看到如下内容：

25c25
< Filesystem created:       Sat Jun 15 07:37:32 2019
---
> Filesystem created:       Sat Jun 15 07:37:40 2019
27c27
< Last write time:          Sat Jun 15 07:37:33 2019
---
> Last write time:          Sat Jun 15 07:37:40 2019
30c30
< Last checked:             Sat Jun 15 07:37:32 2019
---
> Last checked:             Sat Jun 15 07:37:40 2019
37c37
< Directory Hash Seed:      603130ae-82de-4530-9772-f68ae3d6df5f
---
> Directory Hash Seed:      1d9c5af8-a48e-4221-9e70-8fa2ccc6936f

所以，至少，在一个非常高的水平（在此之后，您需要更深入地了解最低级别，即：实际的逐字节比较）文件系统的不同之处在于上面显示的细节。首先解决这个问题。

即使您更改机器中的日期，您也无法成功篡改时间戳并使它们相等，因为在程序执行中存在您可以控制的时间间隙。在这种情况下，您需要冻结至少从创建文件系统的程序的角度来看是你的时钟。你可以深入研究这一点，但我认为这不是正确的方法，因为你说他们需要在他们的机器上执行你的脚本：你不想弄乱他们的时钟。所以，恕我直言，要走的路可能是篡改文件系统上的正确字节，就像我对disk signature.周围搜索一下。

另外，别忘了Superblock backups……追踪他们。如果它们在每个文件系统上包含不同的数据，它们将传播它们驻留的字节范围的差异。

最后，请记住，当您复制文件时，您无法直接控制文件系统内文件字节的“分布”...如果您无法克隆，则需要找到一种方法来控制它也。

Question 4

你也可以尝试e2image:

e2image 程序会将设备上的关键 ext2、ext3 或 ext4 文件系统元数据保存到文件中。

尽管默认情况下e2image仅保存元数据，但它也可以通过使用-a选项来保存数据。（请参阅链接的“包括数据”部分）

可以指定 -a 选项以包含所有数据。这将提供一个适合用于克隆整个 FS 或用于备份目的的映像。请注意，此选项仅适用于原始或 QCOW2 格式。

QCOW2 格式比原始格式更适合备份。 QCOW2 映像是一个普通文件，其大小接近要备份的分区的已用空间。原始图像是一个具有所有含义的稀疏文件 - 不专门处理稀疏文件的工具不仅会处理已用空间，还会处理可用空间。

因此，用法示例是：

备份sda1分区，包括文件和元数据到文件boot-part.qcow2：

sudo mount -o remount,ro /dev/sda1
sudo e2image -a -Q /dev/sda1 boot-part.qcow2

请注意，需要重新挂载为只读，以确保在备份过程中不会有人写入该分区。毕竟，sudo mount -o remount,rw /dev/sda1如果需要，您可以以读写方式重新安装。

/dev/sda1从 QCOW2 映像文件恢复分区boot-part.qcow2：

sudo umount /dev/sda1
sudo e2image -r boot-part.qcow2 /dev/sda1

请注意，这umount是必须的，因为您无法重写已安装分区的超级块。如果/dev/sda1当时没有挂载，可以跳过这一步。 :)

还值得注意的是，在恢复场景中，大小/dev/sda1应等于或大于映像文件内的分区，否则您将收到错误：e2image: Invalid argument while trying to convert qcow2 image (boot-part.qcow2) into raw image (/dev/sda1)。

Answer