![内存缓存与磁盘失去同步](https://linux22.com/image/1255446/%E5%86%85%E5%AD%98%E7%BC%93%E5%AD%98%E4%B8%8E%E7%A3%81%E7%9B%98%E5%A4%B1%E5%8E%BB%E5%90%8C%E6%AD%A5.png)
(Ubuntu Linux 服务器,64 位)我正在对刚刚下载的文件(~3.0 GB)的问题进行故障排除,但它未通过完整性测试,这时我发现了一些非常不寻常的事情。
首先这是下载后文件的MD5,与预期值不匹配:
~% md5sum media.iso
5d74facb904cc1765a468354908a8f34 media.iso
一段时间过去了,在此期间文件应该没有任何改变,但是当我再次检查文件时:
~% md5sum media.iso
a5b97c5016afb39bd67ccfc3fa6ca59e media.iso
这真是出乎意料。由于我有很多 RAM,我怀疑这是缓存的影响,并且出了问题。我决定用磁盘上的整个文件重试,令我惊讶的是:
~% sudo sysctl -w vm.drop_caches=3 # This linux command invalidates
vm.drop_caches = 3 # everything in the memory cache.
~% md5sum media.iso
2992aa6270f6e1de9154730ed3beedc1 media.iso
我重做了它,现在它似乎保持一致,尽管这仍然不是我期望的值。当然,内存缓存中的内容与磁盘上的内容不同。这是个大问题。
为了修复下载问题,我在源机器上创建了一个 torrent,并在目标机器上打开了它。约 3.0GB 的文件中有 5 个 1MB 的块未通过完整性检查。我使用 torrent 修复了这些文件块,文件完整性检查结果正常。
现在的问题是确定数据在哪里不同步。
- 我测试了内存memtest86+,除了位衰减测试之外。我原本以为会看到一些故障的内存模块,但什么也没有。一切都正常。
- 文件系统是 Ext4,基于 LVM2,基于 3 磁盘 RAID5 阵列。Ext4 被认为是稳定的,如果磁盘之间的数据不一致,mdadm 会发出警告。但日志中没有任何内容。SMART 错误日志很干净,磁盘是新的(“通电时间”少于 30 天)。
- 我正在寻找有关当前内核(2.6.35)中任何数据丢失错误的信息,但据我所见,似乎没有任何东西。
还有什么想法我还可以检查吗,或者缺陷/错误可能到底在哪里?
它是 Ubuntu 10.10 64 位、Core i7 930、6 GB 非 ECC RAM。
更新:我确认文件已正确写入磁盘,页面在从磁盘读取后(在内存中)被更改。我做了更多内存测试(我让它整夜进行位衰减测试),但仍然没有结果。所有内存模块似乎都正常。
更多测试:
~% md5sum media.iso
cc8bcf1ce67ff7704eadc2222650c087 media.iso
~% cp media.iso tmp1
~% md5sum tmp1
bde6c54b2d7b03404b43056b908036ed tmp1
~% md5sum media.iso
134f607cf4c633ef11d2576d1c635d08 media.iso # ← THIS IS THE CORRECT VALUE
~% cmp -l media.iso tmp1
98697009 101 121
~% udiff <(xxd -s ... media.iso) <(xxd -s ... tmp1 )
--- /proc/self/fd/11 2010-11-03 14:52:55.649433000 -0200
+++ /proc/self/fd/13 2010-11-03 14:52:55.649433000 -0200
@@ -13,7 +13,7 @@
5e1fef1: 280f 5a87 37d2 e6d6 647d bebe f04e 64d8 (.Z.7...d}...Nd.
5e1ff01: 19a5 2ff4 178b 1e37 afb0 e914 e03f bd62 ../....7.....?.b
5e1ff11: 2b8d 4245 985f a9f8 a993 1f51 6d31 30e7 +.BE._.....Qm10.
-5e1ff21: 8274 0d35 ab8f 86b7 130f e1d7 20c6 3541 .t.5........ .5A
+5e1ff21: 8274 0d35 ab8f 86b7 130f e1d7 20c6 3551 .t.5........ .5Q
5e1ff31: 387b f226 6348 fabc 1eae 67ef adda c3b6 8{.&cH....g.....
5e1ff41: a931 bf29 690f 25f9 8922 6dcc 009f 60a5 .1.)i.%.."m...`.
5e1ff51: 559a 9d03 92cb fb5c a75f a26e 0954 0af4 U......\._.n.T..
~% md5sum media.iso
54d67cc4dcad49b6d1bf6619074b471c media.iso
~% direcat media.iso|md5sum
134f607cf4c633ef11d2576d1c635d08 -
~% direcat media.iso | cmp -l media.iso -
98697009 121 101
231297649 146 147
519630641 177 157
2291859249 377 357
2442055473 127 107
2907131697 171 151
(是使用 读取的direcat
版本,即绕过页面缓存)cat
O_DIRECT
有一个明显的规律:它总是发生在 16 字节对齐中的第 2 个字节上。在该字节中,位 4 (LSB) 几乎总是翻转为 1,但有一次位 2 翻转为 0。
答案1
如果文件的 md5sum 发生变化,则有几种可能的解释,按可能性排序:
- 该文件已写入。
- 您的 RAM 有缺陷(或另一个主板组件,但 RAM 是迄今为止最容易出现故障的)。
- 您的存储存在缺陷。(不太可能,因为存储缺陷通常会导致文件无法读取,而不是数据损坏。)
- 内核错误,可能存在于文件系统代码中。(ext4 不太可能出现这种情况。)
请注意,“磁盘和缓存不一致”是一种症状,而不是原因。它甚至不是您观察到的症状:您观察到的是时间 T 的内存与时间 T' 的内存之间的差异。
如果您确定文件未被修改,则最有可能的解释是 RAM 有缺陷。遗憾的是,内存测试并不总能检测到坏的 RAM。如果您可以获得文件的两个不同副本,请比较它们 ( cmp -l file1 file2
);如果差异是对齐的(例如,差异始终位于 16 字节序列的第 42 位)或由位移块组成(指针变量发生损坏的迹象),则所有迹象都表明 RAM 有缺陷。