我开始看到 LVM 在某些逻辑卷上报告错误(Xen 尝试在这些 LV 上创建虚拟机时也会报告错误)。但我已在磁盘上运行测试,未发现任何硬件问题。
我们在这里运行 XEN/Linux (Debian Lenny) 盒,运行由 LVM2 管理的单个 SATA 磁盘。它已经运行了一年多,唯一的重大变化是最近对内核进行了 apt-get 升级。
# uname -a
Linux hostname 2.6.26-2-xen-amd64 #1 SMP Thu Sep 16 16:32:15 UTC 2010 x86_64 GNU/Linux
错误如下:
# vgck
/dev/dm-20: read failed after 0 of 4096 at 0: Input/output error
/var/log/xen/qemu-dm-*.log
然后,当我尝试启动使用该 LV 作为其 C 驱动器的 VM(它是 Windows 虚拟机)时,VM 拒绝启动,我在日志文件末尾看到以下内容:
...
Register xen platform.
Done register platform.
raw_read(6:/dev/vgroup/newvm-cdrive, 0, 0x7fff02bca520, 512) [20971520] read failed -1 : 5 = Input/output error
I/O request not ready: 0, ptr: 0, port: 0, data: 0, count: 0, size: 0
raw_read(6:/dev/vgroup/newvm-cdrive, 0, 0x12dfff0, 512) [20971520] read failed -1 : 5 = Input/output error
这首先发生在 2 个虚拟机上,它们的磁盘基于第三个原始虚拟机的快照。我删除了 2 个 LV 并重新创建了它们(再次通过快照相同的原始虚拟机的 LV),从那以后它们一直很好。
但是,今天我尝试创建一个新的虚拟机。我拍摄了相同的原始虚拟机的 LV(lvcreate -L500M --snapshot --name newvm-cdrive /dev/vgroup/original-cdrive
)的快照,然后创建了新的虚拟机。它最初可以工作,但在关闭虚拟机一次后,它拒绝再次启动,并出现上述错误。
我的第一个猜测显然是驱动器存在物理问题,但 smartmon 没有报告任何内容:
# smartctl -t long /dev/sda
# [later]
# smartctl -l selftest /dev/sda
smartctl version 5.38 [x86_64-unknown-linux-gnu] Copyright (C) 2002-8 Bruce Allen
Home page is http://smartmontools.sourceforge.net/
=== START OF READ SMART DATA SECTION ===
SMART Self-test log structure revision number 1
Num Test_Description Status Remaining LifeTime(hours) LBA_of_first_error
# 1 Extended offline Completed without error 00% 1 -
# 2 Short offline Completed without error 00% 0 -
此外,没有收到任何错误badblocks
。
我尝试过跑步vgck
并且pvck
:
# vgck vgroup -v
Using volume group(s) on command line
Finding volume group "vgroup"
/dev/dm-20: read failed after 0 of 4096 at 0: Input/output error
# pvck /dev/sda2
Found label on /dev/sda2, sector 1, type=LVM2 001
Found text metadata area: offset=4096, size=192512
在互联网上找到了一些关于此错误信息(“读取 4096 个中的 0 个之后失败...”)的参考,但似乎没有一个适用于我的情况。
有任何想法吗?
更新:根据要求,以下是 lvdisplay 和 ls -l 的输出。COW 空间用尽是可能的。我该如何判断?
# lvdisplay /dev/vgroup/newvm-cdrive
/dev/dm-20: read failed after 0 of 4096 at 0: Input/output error
--- Logical volume ---
LV Name /dev/vgroup/newvm-cdrive
VG Name vgroup
LV UUID jiarxt-q2NO-SyIf-5FrW-I9iq-mNEQ-iwS4EH
LV Write Access read/write
LV snapshot status INACTIVE destination for /dev/vgroup/original-cdrive
LV Status available
# open 0
LV Size 10.00 GB
Current LE 2560
COW-table size 200.00 MB
COW-table LE 50
Snapshot chunk size 4.00 KB
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 254:20
# ls -l /dev/dm-20
brw-rw---- 1 root disk 254, 20 2010-10-11 15:02 /dev/dm-20
这是 fdisk -l。
# fdisk -l /dev/sda
Disk /dev/sda: 160.0 GB, 160000000000 bytes
255 heads, 63 sectors/track, 19452 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Disk identifier: 0x00000080
Device Boot Start End Blocks Id System
/dev/sda1 * 1 31 248976 83 Linux
/dev/sda2 32 19452 155999182+ 8e Linux LVM
答案1
好的,我认为答案是逻辑卷的 COW 空间已满。
使用命令“lvs”(我刚刚发现),我看到......
# lvs
/dev/dm-20: read failed after 0 of 4096 at 0: Input/output error
LV VG Attr LSize Origin Snap% Move Log Copy% Convert
[...other LVs...]
newvm-cdrive mrburns Swi-I- 2.00G original-cdrive 100.00
[...other LVs...]
“Attr” 列开头的大写字母“S”表示“无效快照”。 (小写字母“s”表示(有效)快照。)如您所见,Snap% 为 100,即它已使用了所有 COW 空间。
令人恼火的是,lvdisplay
没有提供这些信息,它不会告诉你你的快照逻辑卷无效。(它只说快照状态为“INACTIVE”,我认为意思是“当前未使用”。)而且这个lvs
命令没有得到广泛的宣传。而且错误消息(“输入/输出错误”)也没什么用——事实上不日志消息或错误消息提示“快照已满”。 (LVM2 的更高版本在空间开始填满时会将消息写入 /var/log/messages,但 Debian Lenny 中的版本不会这样做。嘘。)
更糟糕的是,互联网上没有关于此问题的讨论(或者至少我找不到)!
我确实想知道为什么不能通过向 LV 添加更多空间(使用)来修复 COW 快照lvextend
,但实际上,不仅在写入快照目标时需要 COW 空间,而且还当您写入快照源时。因此,一旦 COW 区域已填满,对源 LV 的任何写入必然会使快照 LV 无效,并且不易恢复。
答案2
(这不是一个直接的答案,但我希望对那些正在与导致输入/输出错误的 100% 完整快照作斗争的人有用)
这发生在我身上:我的快照已 100% 满,但其中的文件系统认为它有大量空间,导致input/output
每次运行lvs
或任何其他 LVM2 命令时都会出现错误。
就我而言,唯一的选择是使用 删除快照lvremove
,但我无法删除,因为我懒得使用 卸载了快照umount -l
。这使得追踪哪些进程正在使用最近才挂载的文件系统变得非常困难。
我发现通过获取逻辑卷的主设备号+次设备号可以成功,例如252:10
:
root@hostname:~# lvdisplay
--- Logical volume ---
LV Path /dev/vg00/
LV Name snapshot_of_my_origin
VG Name vg00
LV UUID CWZxOa-depw-k5P4-SqDo-bdFb-h3Np-ukQkmM
LV Write Access read/write
LV Creation host, time cz3328jlkj, 2016-07-12 13:47:31 +0100
LV snapshot status active destination for my_origin
LV Status available
# open 1
LV Size 150.00 GiB
Current LE 38400
COW-table size 50.00 GiB
COW-table LE 12800
Allocated to snapshot 0.03%
Snapshot chunk size 4.00 KiB
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:10
如果您lsof
以 root 身份运行,不带参数,您将获得系统上打开文件的完整列表。过滤您的主要 + 次要块设备号,以逗号,而不是像上面那样的冒号,您可能会发现使用它的过程:
root@hostname:~# lsof | sed -ne '1p; / 252,10 /p'
COMMAND PID TID USER FD TYPE DEVICE SIZE/OFF NODE NAME
bash 2055 upr473 cwd DIR 252,10 4096 2 /
请注意,由于NAME
is/
已被延迟卸载,因此lsof
无法解析其原始路径名。
2055
在这个例子中,终止该进程,lvremove
然后重试。