☰

为什么内核和看门狗消耗了所有的 CPU？

tag-icon • tag-icon linux cpu-usage linux-kernel top
为什么内核和看门狗消耗了所有的 CPU？

我在一台强大的 Xeon 机器上运行了大量繁重的用户空间进程（根据 /proc/cpuinfo 有 32 个虚拟处理器）。CPU 负载通常约为 30，机器感觉响应迅速，但后来又分叉了一些用户空间进程，它们分配了大量内存并执行 CPU 密集型计算。那时负载增加到大约 60-150，机器处于瘫痪状态。

但当发生这种情况时，CPU 似乎不再（主要）被我的用户空间进程占用。请参见下面顶部的输出。

问题：

什么原因导致看门狗消耗如此多的 CPU？

是否可以猜测为什么 93.1％ 的 CPU 是由系统消耗的，而不是我的用户空间进程？

top - 13:58:49 up 44 days,  6:32, 11 users,  load average: 137.97, 64.80, 30.74
Tasks: 403 total,  48 running, 355 sleeping,   0 stopped,   0 zombie
Cpu(s):  6.4%us, 93.1%sy,  0.0%ni,  0.5%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:    258441M total,   257793M used,      647M free,     3243M buffers
Swap:    16383M total,        0M used,    16383M free,   239114M cached

  PID USER      PR  NI  VIRT  RES  SHR S   %CPU %MEM    TIME+  COMMAND
53921 me        20   0 1380m  88m  10m S    333  0.0   0:59.21 java
   40 root      RT   0     0    0    0 S     97  0.0  34:43.65 watchdog/8
   68 root      RT   0     0    0    0 S     93  0.0  27:57.92 watchdog/15
   52 root      RT   0     0    0    0 S     92  0.0  27:49.83 watchdog/11
   88 root      RT   0     0    0    0 S     82  0.0  37:38.22 watchdog/20
54041 me        20   0 1317m  82m  10m S     78  0.0   1:00.55 java
   24 root      RT   0     0    0    0 S     67  0.0  30:50.30 watchdog/4
 3460 root      20   0     0    0    0 S     55  0.0   4:44.01 afs_rxevent
  128 root      RT   0     0    0    0 S     53  0.0  38:39.29 watchdog/30
45245 root      20   0     0    0    0 R     53  0.0   1:25.40 kworker/2:0
  124 root      RT   0     0    0    0 S     50  0.0  36:14.85 watchdog/29
42623 root      20   0     0    0    0 R     49  0.0   3:24.94 kworker/1:0
55884 foo       20   0 34640  20m 7796 R     49  0.0   0:05.64 program1
53312 me        20   0 1388m 191m  10m S     48  0.1   1:25.89 java
44111 root      20   0     0    0    0 R     47  0.0   5:12.84 kworker/24:0
   86 root      20   0     0    0    0 R     43  0.0  26:00.48 kworker/20:0
55968 foo       20   0 34660  20m 7800 R     38  0.0   0:03.16 program1
55562 foo       20   0  193m  14m 5264 S     38  0.0   0:02.45 program2
   26 root      20   0     0    0    0 R     37  0.0  35:39.29 kworker/5:0
  344 root      20   0     0    0    0 R     33  0.0  32:38.50 kworker/29:1

> uname -a
Linux machine5 3.0.13-0.27-default #1 SMP Wed Feb 15 13:33:49 UTC 2012 (d73692b) x86_64 x86_64 x86_64 GNU/Linux

答案1

当您的应用程序发出系统调用 [例如 read(2)] 时，系统调用所花费的时间被视为 %sy，而不是用户空间。奇怪的是您根本没有使用交换空间；您禁用了它吗？您描述的行为与内核内存碎片一致，这会使内核越来越难以执行其大量使用的动态内存分配。

不要依赖 top(1) 输出；发生这种情况时，请在 /proc/meminfo 中查找真相。如果 Committed_AS 接近或超过 MemTotal，则表示您已超出系统中的可用内存，需要开始交换。如果 Committed_AS 超过 CommitLimit，则表示您已耗尽物理内存和交换空间。然而，在到达这一点之前，性能会像您描述的那样急剧下降。

相关内容