我有一个带有 Web 服务器的 kvm 虚拟机。昨天,没有对服务器或主机进行任何修改,这个虚拟机就停止响应了。据我所知,它在启动时冻结,同时永久使用 100% 的一个核心 CPU。虚拟机分配了 2 个 CPU,但它只消耗了一个,如主机上的 HTOP 所示。
关闭它的唯一方法是执行virsh destroy
。在启动时,据我所知,虚拟机在启动时卡住并出现以下问题:
[ 1.201865] List of all partitions:
[ 1.202927] No filesystem could mount root, tried:
[ 1.204415] Kernel panic - not syncing: VFS: Unable to mount root fs on unknown-block(0,0)
[ 1.206842] CPU: 2 PID: 1 Comm: swapper/0 Not tainted 3.10.0-514.2.2.el7.x86_64 #1
[ 1.209032] Hardware name: Red Hat KVM, BIOS 0.5.1 01/01/2011
[ 1.210684] ffffffff818b4340 00000000de564bbf ffff880139abfd60 ffffffff816861cc
[ 1.212973] ffff880139abfde0 ffffffff8167f5d3 ffffffff00000010 ffff880139abfdf0
[ 1.215219] ffff880139abfd90 00000000de564bbf 00000000de564bbf ffff880139abfe00
[ 1.217494] Call Trace:
[ 1.218221] [<ffffffff816861cc>] dump_stack+0x19/0x1b
[ 1.219712] [<ffffffff8167f5d3>] panic+0xe3/0x1f2
[ 1.221149] [<ffffffff81b0a602>] mount_block_root+0x2a1/0x2b0
[ 1.222849] [<ffffffff81b0a664>] mount_root+0x53/0x56
[ 1.224358] [<ffffffff81b0a7a3>] prepare_namespace+0x13c/0x174
[ 1.226092] [<ffffffff81b0a270>] kernel_init_freeable+0x1f5/0x21c
[ 1.227882] [<ffffffff81b099db>] ? initcall_blacklist+0xb0/0xb0
[ 1.229656] [<ffffffff81674630>] ? rest_init+0x80/0x80
[ 1.231220] [<ffffffff8167463e>] kernel_init+0xe/0xf0
[ 1.232716] [<ffffffff81696718>] ret_from_fork+0x58/0x90
[ 1.234304] [<ffffffff81674630>] ? rest_init+0x80/0x80
据我所知,安装根文件系统时出现问题。我不知道在这种情况下我能做什么,也不知道是什么导致了这个问题。如果您有任何与我的情况相关的信息,请告诉我。
我在 CentOS 7 上使用 lvm 存储:
Linux srv1.host.ro 3.10.0-514.6.2.el7.x86_64 #1 SMP Thu Feb 23 03:04:39 UTC 2017 x86_64 x86_64 x86_64 GNU/Linux
我还检查了存储虚拟机的主硬盘上的智能情况,它看起来不错:
ID# ATTRIBUTE_NAME FLAG VALUE WORST THRESH TYPE UPDATED WHEN_FAILED RAW_VALUE
1 Raw_Read_Error_Rate 0x002f 200 200 051 Pre-fail Always - 0
3 Spin_Up_Time 0x0027 175 174 021 Pre-fail Always - 2250
4 Start_Stop_Count 0x0032 100 100 000 Old_age Always - 66
5 Reallocated_Sector_Ct 0x0033 200 200 140 Pre-fail Always - 0
7 Seek_Error_Rate 0x002e 200 200 000 Old_age Always - 0
9 Power_On_Hours 0x0032 078 078 000 Old_age Always - 16090
10 Spin_Retry_Count 0x0032 100 253 000 Old_age Always - 0
11 Calibration_Retry_Count 0x0032 100 253 000 Old_age Always - 0
12 Power_Cycle_Count 0x0032 100 100 000 Old_age Always - 66
192 Power-Off_Retract_Count 0x0032 200 200 000 Old_age Always - 56
193 Load_Cycle_Count 0x0032 200 200 000 Old_age Always - 517
194 Temperature_Celsius 0x0022 108 097 000 Old_age Always - 35
196 Reallocated_Event_Count 0x0032 200 200 000 Old_age Always - 0
197 Current_Pending_Sector 0x0032 200 200 000 Old_age Always - 0
198 Offline_Uncorrectable 0x0030 200 200 000 Old_age Offline - 0
199 UDMA_CRC_Error_Count 0x0032 200 200 000 Old_age Always - 0
200 Multi_Zone_Error_Rate 0x0008 200 200 000 Old_age Offline - 0
最后的 libvirt 入口日志是:
qemu: terminating on signal 15 from pid 1138
2017-02-23 09:15:02.440+0000: shutting down
2017-02-23 09:15:21.080+0000: starting up libvirt version: 2.0.0, package: 10.el7_3.4 (CentOS BuildSystem <http://bugs.centos.org>, 2017-01-17-23:37:48, c1bm.rdu2.centos.org), qemu version: 1.5.3 (qemu-kvm-1.5.3-126.el7_3.3), hostname: srv1.host.ro
LC_ALL=C PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin QEMU_AUDIO_DRV=none /usr/libexec/qemu-kvm -name Nginx -S -machine pc-i440fx-rhel7.0.0,accel=kvm,usb=off -cpu Penryn -m 4096 -realtime mlock=off -smp 4,sockets=4,cores=1,threads=1 -uuid be91646a-f5d3-494d-8a51-e9e598bfdf52 -nographic -no-user-config -nodefaults -chardev socket,id=charmonitor,path=/var/lib/libvirt/qemu/domain-2-Nginx/monitor.sock,server,nowait -mon chardev=charmonitor,id=monitor,mode=control -rtc base=utc,driftfix=slew -global kvm-pit.lost_tick_policy=discard -no-hpet -no-shutdown -global PIIX4_PM.disable_s3=1 -global PIIX4_PM.disable_s4=1 -boot strict=on -device ich9-usb-ehci1,id=usb,bus=pci.0,addr=0x5.0x7 -device ich9-usb-uhci1,masterbus=usb.0,firstport=0,bus=pci.0,multifunction=on,addr=0x5 -device ich9-usb-uhci2,masterbus=usb.0,firstport=2,bus=pci.0,addr=0x5.0x1 -device ich9-usb-uhci3,masterbus=usb.0,firstport=4,bus=pci.0,addr=0x5.0x2 -drive file=/dev/Storage/Nginx,format=raw,if=none,id=drive-ide0-0-0,cache=none,aio=native -device ide-hd,bus=ide.0,unit=0,drive=drive-ide0-0-0,id=ide0-0-0,bootindex=1 -drive if=none,id=drive-ide0-0-1,readonly=on -device ide-cd,bus=ide.0,unit=1,drive=drive-ide0-0-1,id=ide0-0-1 -netdev tap,fd=26,id=hostnet0 -device rtl8139,netdev=hostnet0,id=net0,mac=52:54:00:2c:e1:cd,bus=pci.0,addr=0x3 -chardev pty,id=charserial0 -device isa-serial,chardev=charserial0,id=serial0 -device virtio-balloon-pci,id=balloon0,bus=pci.0,addr=0x4 -msg timestamp=on
char device redirected to /dev/pts/0 (label charserial0)
答案1
由于您的 VM 在从 initramfs 到存储在“/root”上的系统的根目录转换之前无法挂载根目录,这很可能是您的初始 ramdisk 无法找到根文件系统的问题 - 要么是因为它不存在,要么是 initramfs 没有挂载它所需的工具,或者是因为您有某种卷或启动配置错误。
根据提供的证据,我认为这可能是客户操作系统级别的问题,或者您丢失了以前连接到此 VM 的与根文件系统有关的磁盘。例如,如果您在具有多个虚拟磁盘成员的客户机上使用 LVM。
更新也可能影响您的启动时间参数或安装到 initramfs 的软件包。通常只有在升级内核时才会发生这种情况。除此之外,还会更改引导加载程序配置,或者有时更改 LVM 支持的计算机上的主机名或卷名。
此外,完全有可能是真正的文件系统故障导致了这种情况发生,无论是在主机还是客户机上。如果没有配置定期检查,您可以考虑检查底层磁盘、文件系统和客户机文件系统,作为一个简单的故障排除步骤。
答案2
List of all partitions:
后面应该跟着所有分区的列表(显然)。例如参见Linux 3.10 init/do_mounts.c:418, 部分mount_block_root()
:
printk("List of all partitions:\n");
printk_all_partitions();
printk("No filesystem could mount root, tried: ");
for (p = fs_names; *p; p += strlen(p)+1)
printk(" %s", p);
printk("\n");
#ifdef CONFIG_BLOCK
__bdevname(ROOT_DEV, b);
#endif
panic("VFS: Unable to mount root fs on %s", b);
(for (p = fs_names; ...) printk(...);
循环只是一种 C 语言中打印以零结尾的字符串列表的奇特方法。我可以解释它是如何工作的,但这需要几段文字,而且与您的问题无关。)
还请注意Unable to mount root fs on unknown-block(0,0)
内核崩溃消息。这unknown-block(0,0)
部分肯定是一个危险信号。
printk_all_partitions()
定义在Linux 3.10 块/genhd.c:738基本上只是打印出此时内核已知的所有磁盘分区的列表。
我们可以得出以下结论某些原因导致您的 KVM VM 丢失其磁盘。(这种事情也会导致系统出现各种不正确的行为,包括您所经历的冻结。)调查并修复该问题后,您的虚拟机应该会恢复运行(假设数据仍然正常)。
答案3
您需要了解虚拟磁盘映像存在某种损坏,而不是物理磁盘。我会尝试以下两件事:
qemu-img check
在图像上,以验证它没有图像级损坏- 使用附加的 liveCD ISO 启动 VM 并检查您的虚拟磁盘,至少,后者可能有助于恢复数据,以防您需要重建该机器。