LVM 报告 I/O 错误,但磁盘未报告任何问题。啊

LVM 报告 I/O 错误,但磁盘未报告任何问题。啊

我开始看到 LVM 在某些逻辑卷上报告错误(Xen 尝试在这些 LV 上创建虚拟机时也会报告错误)。但我已在磁盘上运行测试,未发现任何硬件问题。

我们在这里运行 XEN/Linux (Debian Lenny) 盒,运行由 LVM2 管理的单个 SATA 磁盘。它已经运行了一年多,唯一的重大变化是最近对内核进行了 apt-get 升级。

# uname -a
Linux hostname 2.6.26-2-xen-amd64 #1 SMP Thu Sep 16 16:32:15 UTC 2010 x86_64 GNU/Linux

错误如下:

# vgck
/dev/dm-20: read failed after 0 of 4096 at 0: Input/output error

/var/log/xen/qemu-dm-*.log然后,当我尝试启动使用该 LV 作为其 C 驱动器的 VM(它是 Windows 虚拟机)时,VM 拒绝启动,我在日志文件末尾看到以下内容:

...
Register xen platform.
Done register platform.
raw_read(6:/dev/vgroup/newvm-cdrive, 0, 0x7fff02bca520, 512) [20971520] read failed -1 : 5 = Input/output error
I/O request not ready: 0, ptr: 0, port: 0, data: 0, count: 0, size: 0
raw_read(6:/dev/vgroup/newvm-cdrive, 0, 0x12dfff0, 512) [20971520] read failed -1 : 5 = Input/output error

这首先发生在 2 个虚拟机上,它们的磁盘基于第三个原始虚拟机的快照。我删除了 2 个 LV 并重新创建了它们(再次通过快照相同的原始虚拟机的 LV),从那以后它们一直很好。

但是,今天我尝试创建一个新的虚拟机。我拍摄了相同的原始虚拟机的 LV(lvcreate -L500M --snapshot --name newvm-cdrive /dev/vgroup/original-cdrive)的快照,然后创建了新的虚拟机。它最初可以工作,但在关闭虚拟机一次后,它拒绝再次启动,并出现上述错误。

我的第一个猜测显然是驱动器存在物理问题,但 smartmon 没有报告任何内容:

# smartctl -t long /dev/sda
# [later]
# smartctl -l selftest /dev/sda
smartctl version 5.38 [x86_64-unknown-linux-gnu] Copyright (C) 2002-8 Bruce Allen
Home page is http://smartmontools.sourceforge.net/

=== START OF READ SMART DATA SECTION ===
SMART Self-test log structure revision number 1
Num  Test_Description    Status                  Remaining  LifeTime(hours)  LBA_of_first_error
# 1  Extended offline    Completed without error       00%         1         -
# 2  Short offline       Completed without error       00%         0         -

此外,没有收到任何错误badblocks

我尝试过跑步vgck并且pvck

# vgck vgroup -v
    Using volume group(s) on command line
    Finding volume group "vgroup"
  /dev/dm-20: read failed after 0 of 4096 at 0: Input/output error

# pvck /dev/sda2
  Found label on /dev/sda2, sector 1, type=LVM2 001
  Found text metadata area: offset=4096, size=192512

在互联网上找到了一些关于此错误信息(“读取 4096 个中的 0 个之后失败...”)的参考,但似乎没有一个适用于我的情况。

有任何想法吗?

更新:根据要求,以下是 lvdisplay 和 ls -l 的输出。COW 空间用尽是可能的。我该如何判断?

# lvdisplay /dev/vgroup/newvm-cdrive
  /dev/dm-20: read failed after 0 of 4096 at 0: Input/output error
  --- Logical volume ---
  LV Name                /dev/vgroup/newvm-cdrive
  VG Name                vgroup
  LV UUID                jiarxt-q2NO-SyIf-5FrW-I9iq-mNEQ-iwS4EH
  LV Write Access        read/write
  LV snapshot status     INACTIVE destination for /dev/vgroup/original-cdrive
  LV Status              available
  # open                 0
  LV Size                10.00 GB
  Current LE             2560
  COW-table size         200.00 MB
  COW-table LE           50
  Snapshot chunk size    4.00 KB
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     256
  Block device           254:20

# ls -l /dev/dm-20
brw-rw---- 1 root disk 254, 20 2010-10-11 15:02 /dev/dm-20

这是 fdisk -l。

# fdisk -l /dev/sda

Disk /dev/sda: 160.0 GB, 160000000000 bytes
255 heads, 63 sectors/track, 19452 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Disk identifier: 0x00000080

   Device Boot      Start         End      Blocks   Id  System
/dev/sda1   *           1          31      248976   83  Linux
/dev/sda2              32       19452   155999182+  8e  Linux LVM

答案1

好的,我认为答案是逻辑卷的 COW 空间已满。

使用命令“lvs”(我刚刚发现),我看到......

# lvs
/dev/dm-20: read failed after 0 of 4096 at 0: Input/output error
LV             VG      Attr   LSize   Origin          Snap%  Move Log Copy%  Convert
[...other LVs...]
newvm-cdrive   mrburns Swi-I-   2.00G original-cdrive 100.00
[...other LVs...]

“Attr” 列开头的大写字母“S”表示“无效快照”。 (小写字母“s”表示(有效)快照。)如您所见,Snap% 为 100,即它已使用了所有 COW 空间。

令人恼火的是,lvdisplay 没有提供这些信息,它不会告诉你你的快照逻辑卷无​​效。(它只说快照状态为“INACTIVE”,我认为意思是“当前未使用”。)而且这个lvs命令没有得到广泛的宣传。而且错误消息(“输入/输出错误”)也没什么用——事实上日志消息或错误消息提示“快照已满”。 (LVM2 的更高版本在空间开始填满时会将消息写入 /var/log/messages,但 Debian Lenny 中的版本不会这样做。嘘。)

更糟糕的是,互联网上没有关于此问题的讨论(或者至少我找不到)!

我确实想知道为什么不能通过向 LV 添加更多空间(使用)来修复 COW 快照lvextend,但实际上,不仅在写入快照目标时需要 COW 空间,而且当您写入快照源时。因此,一旦 COW 区域已填满,对源 LV 的任何写入必然会使快照 LV 无效,并且不易恢复。

答案2

(这不是一个直接的答案,但我希望对那些正在与导致输入/输出错误的 100% 完整快照作斗争的人有用)

这发生在我身上:我的快照已 100% 满,但其中的文件系统认为它有大量空间,导致input/output每次运行lvs或任何其他 LVM2 命令时都会出现错误。

就我而言,唯一的选择是使用 删除快照lvremove,但我无法删除,因为我懒得使用 卸载了快照umount -l。这使得追踪哪些进程正在使用最近才挂载的文件系统变得非常困难。

我发现通过获取逻辑卷的主设备号+次设备号可以成功,例如252:10

root@hostname:~# lvdisplay

  --- Logical volume ---
  LV Path                /dev/vg00/
  LV Name                snapshot_of_my_origin
  VG Name                vg00
  LV UUID                CWZxOa-depw-k5P4-SqDo-bdFb-h3Np-ukQkmM
  LV Write Access        read/write
  LV Creation host, time cz3328jlkj, 2016-07-12 13:47:31 +0100
  LV snapshot status     active destination for my_origin
  LV Status              available
  # open                 1
  LV Size                150.00 GiB
  Current LE             38400
  COW-table size         50.00 GiB
  COW-table LE           12800
  Allocated to snapshot  0.03%
  Snapshot chunk size    4.00 KiB
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     256
  Block device           252:10

如果您lsof以 root 身份运行,不带参数,您将获得系统上打开文件的完整列表。过滤您的主要 + 次要块设备号,以逗号,而不是像上面那样的冒号,您可能会发现使用它的过程:

root@hostname:~# lsof | sed -ne '1p; / 252,10 /p'
COMMAND     PID   TID       USER   FD      TYPE             DEVICE  SIZE/OFF       NODE NAME
bash       2055           upr473  cwd       DIR             252,10      4096          2 /

请注意,由于NAMEis/已被延迟卸载,因此lsof无法解析其原始路径名。

2055在这个例子中,终止该进程,lvremove然后重试。

相关内容