这是一个古老的事实,在双主模式下,不可能在具有 DRBD 的 Linux 上使用像 ext4 这样的非集群感知文件系统。
例如,正如 Linbit 在其手册“Dual Primary - think three”中所述:
DRBD 将更改从节点 A 复制到节点 B,反之亦然。 它改变了物理存储设备的内容。然而,由于 DRBD 驻留在 在下面上述 Ext4 文件系统,是指物理磁盘上的文件系统 节点 A 没有注意到来自节点 B 的变化(反之亦然)。 这个过程称为并发写入。从现在开始,实际内容 存储设备与文件系统认为应有的不同。 文件系统已损坏。”
我的问题是——为什么会这样?
因为,如果文件系统的 METADATA 存储在同一 DRBD 设备上,任何上述更改也会在两个 DRBD 节点之间同步,因此两端的文件系统(由数据 + 元数据组成,不是吗?)完全同步。确实,节点 1 写入的内容已被节点 2 覆盖,但如果我在节点 1 上发出“dir”命令,我会看到除了节点 1 刚刚复制的文件之外还有另一个文件。在简单的共享文件夹(例如 Windows CIFS 共享)上也会发生同样的情况。这不会导致文件系统损坏。
那么问题出在哪里?为什么每个人都说文件系统会损坏?这是否意味着 ext4 文件系统不会将元数据存储在实际设备本身上,而是将其存储在其他地方,例如根文件系统中?根据我在 ext4 FS 内部所读到的内容,情况并非如此。(我不得不说,我还没有深入研究过 ext4 的细节)。
但它应该或多或少是这样的:
Node1 将新文件写入块 34098(并且也更新目录条目): 节点 1 - 目录条目:/data/myfile1.txt 34098 -----> 块 34098 包含:myfile1.txt 在“同时”,Node2 将以下内容写入块 34098。它永远不可能“同时”,因此我们假设这是在 DRBD 刚刚完成上述同步时。 节点2 - 目录条目:/data/other.txt 34098 -----> 块 34098 包含:other.txt DRBD 现在应该将块 34098 再次同步回节点 1,包括目录条目和块 34098。
除了将文件“other.txt”写入块 34098 之外,节点 2 上的文件系统还将更新包含指向块 34098 的目录条目(这只是另一个文件)的块。所以它应该始终保持同步,还是不同步?
答案1
内核在内存中保存了文件系统所处状态的映像,因此它不会检查磁盘是否发生了变化,因为不可能发生,因为只有本地内核才被允许更改文件系统,并且它知道自己在做什么,不需要检查。如果您在第二个节点上进行更改,磁盘上的结构将与内核预期的不同,并且几乎肯定会丢失数据。
而且,由于集群感知文件系统添加了大量同步和检查以避免出现各种问题,因此,让内核在每次操作之前读取文件系统以实现 ext4 集群功能并不那么容易。