我们在带有 KVM 的 openstack RHEL 7 nova 主机上运行 Ubuntu 14.04(带有 Linux 内核 3.13.0-29)VM,我们注意到有时几天后许多进程会挂起。长时间处于这种状态,甚至 SSH 到 VM 都会失败。我们升级到 Linux 3.19.0-33 内核映像,我们发现了同样的问题。我们有一个实例,我们能够通过 SSH 进入该实例,并注意到许多进程可能在磁盘 I/O 中挂起。top、vmstat 等故障排除命令挂起,但 dmesg 可以工作。我们收集的/proc/diskstats
信息如下:
root@Avi-Controller:/home/admin# cat /proc/diskstats
1 0 ram0 0 0 0 0 0 0 0 0 0 0 0
1 1 ram1 0 0 0 0 0 0 0 0 0 0 0
1 2 ram2 0 0 0 0 0 0 0 0 0 0 0
1 3 ram3 0 0 0 0 0 0 0 0 0 0 0
1 4 ram4 0 0 0 0 0 0 0 0 0 0 0
1 5 ram5 0 0 0 0 0 0 0 0 0 0 0
1 6 ram6 0 0 0 0 0 0 0 0 0 0 0
1 7 ram7 0 0 0 0 0 0 0 0 0 0 0
1 8 ram8 0 0 0 0 0 0 0 0 0 0 0
1 9 ram9 0 0 0 0 0 0 0 0 0 0 0
1 10 ram10 0 0 0 0 0 0 0 0 0 0 0
1 11 ram11 0 0 0 0 0 0 0 0 0 0 0
1 12 ram12 0 0 0 0 0 0 0 0 0 0 0
1 13 ram13 0 0 0 0 0 0 0 0 0 0 0
1 14 ram14 0 0 0 0 0 0 0 0 0 0 0
1 15 ram15 0 0 0 0 0 0 0 0 0 0 0
7 0 loop0 0 0 0 0 0 0 0 0 0 0 0
7 1 loop1 0 0 0 0 0 0 0 0 0 0 0
7 2 loop2 0 0 0 0 0 0 0 0 0 0 0
7 3 loop3 0 0 0 0 0 0 0 0 0 0 0
7 4 loop4 0 0 0 0 0 0 0 0 0 0 0
7 5 loop5 0 0 0 0 0 0 0 0 0 0 0
7 6 loop6 0 0 0 0 0 0 0 0 0 0 0
7 7 loop7 0 0 0 0 0 0 0 0 0 0 0
253 0 vda 22268 0 1467482 8840 3305379 153869 50854080 3201712 128 113003472 3146293200
253 1 vda1 906 0 7248 288 0 0 0 0 0 288 288
253 2 vda2 702 0 5616 148 0 0 0 0 0 148 148
253 3 vda3 20628 0 1454314 8396 2934939 153869 50854080 3134592 128 112937796 3146225736
253 16 vdb 2094 0 29738 556 0 0 0 0 0 548 556
看起来磁盘的运行中请求数为 128。这是在 SSD 磁盘上运行的。你们有人见过类似的问题吗?有内核或驱动程序问题可以告诉我们吗?
谢谢,阿南德。