我有一台新工作站,平均负载异常高。机器规格如下:
- Xeon CPU
- 256 GB 内存
- 4 x 512 GB SSD 连接到 LSI2108 RAID 控制器(在 raid 5 中)
我已经从 Live CD 安装了 CentOS 6.5 64 位,配置了分区(使用 LVM)、网络、用户/组,并安装了一些软件,如开发工具和 MATLAB。启动几分钟后,工作站的平均负载值在 0.5 到 0.9 之间。但它什么也没做。因此,我不明白为什么平均负载这么高。
你能帮我诊断一下这个问题吗?
以下是一些信息:
uname -a
Linux delta.grid 2.6.32-431.el6.x86_64 #1 SMP Fri Nov 22 03:15:09 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux
顶部
top - 15:44:53 up 22 min, 1 user, load average: 0.84, 0.69, 0.39
Tasks: 729 total, 1 running, 728 sleeping, 0 stopped, 0 zombie
Cpu(s): 0.0%us, 0.0%sy, 0.0%ni,100.0%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st
Mem: 264422908k total, 1986152k used, 262436756k free, 25640k buffers
Swap: 134217720k total, 0k used, 134217720k free, 147784k cached
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
4094 root 20 0 15564 1764 944 R 0.3 0.0 0:01.44 top
1 root 20 0 19364 1536 1228 S 0.0 0.0 0:01.26 init
2 root 20 0 0 0 0 S 0.0 0.0 0:00.01 kthreadd
3 root RT 0 0 0 0 S 0.0 0.0 0:00.27 migration/0
4 root 20 0 0 0 0 S 0.0 0.0 0:00.00 ksoftirqd/0
5 root RT 0 0 0 0 S 0.0 0.0 0:00.00 migration/0
6 root RT 0 0 0 0 S 0.0 0.0 0:00.00 watchdog/0
7 root RT 0 0 0 0 S 0.0 0.0 0:00.14 migration/1
8 root RT 0 0 0 0 S 0.0 0.0 0:00.00 migration/1
9 root 20 0 0 0 0 S 0.0 0.0 0:00.00 ksoftirqd/1
10 root RT 0 0 0 0 S 0.0 0.0 0:00.00 watchdog/1
11 root RT 0 0 0 0 S 0.0 0.0 0:00.00 migration/2
12 root RT 0 0 0 0 S 0.0 0.0 0:00.00 migration/2
13 root 20 0 0 0 0 S 0.0 0.0 0:00.00 ksoftirqd/2
14 root RT 0 0 0 0 S 0.0 0.0 0:00.00 watchdog/2
15 root RT 0 0 0 0 S 0.0 0.0 0:00.03 migration/3
16 root RT 0 0 0 0 S 0.0 0.0 0:00.00 migration/3
17 root 20 0 0 0 0 S 0.0 0.0 0:00.00 ksoftirqd/3
18 root RT 0 0 0 0 S 0.0 0.0 0:00.00 watchdog/3
19 root RT 0 0 0 0 S 0.0 0.0 0:00.00 migration/4
20 root RT 0 0 0 0 S 0.0 0.0 0:00.00 migration/4
21 root 20 0 0 0 0 S 0.0 0.0 0:00.00 ksoftirqd/4
22 root RT 0 0 0 0 S 0.0 0.0 0:00.00 watchdog/4
23 root RT 0 0 0 0 S 0.0 0.0 0:00.00 migration/5
24 root RT 0 0 0 0 S 0.0 0.0 0:00.00 migration/5
25 root 20 0 0 0 0 S 0.0 0.0 0:00.00 ksoftirqd/5
26 root RT 0 0 0 0 S 0.0 0.0 0:00.00 watchdog/5
27 root RT 0 0 0 0 S 0.0 0.0 0:00.00 migration/6
28 root RT 0 0 0 0 S 0.0 0.0 0:00.00 migration/6
29 root 20 0 0 0 0 S 0.0 0.0 0:00.00 ksoftirqd/6
30 root RT 0 0 0 0 S 0.0 0.0 0:00.00 watchdog/6
31 root RT 0 0 0 0 S 0.0 0.0 0:00.00 migration/7
32 root RT 0 0 0 0 S 0.0 0.0 0:00.00 migration/7
免费-m
total used free shared buffers cached
Mem: 258225 1939 256286 0 25 144
-/+ buffers/cache: 1769 256455
Swap: 131071 0 131071
iotop
Total DISK READ: 0.00 B/s | Total DISK WRITE: 0.00 B/s
TID PRIO USER DISK READ DISK WRITE SWAPIN IO> COMMAND
1 be/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % init
2 be/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [kthreadd]
3 rt/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [migration/0]
4 be/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [ksoftirqd/0]
5 rt/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [migration/0]
6 rt/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [watchdog/0]
7 rt/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [migration/1]
8 rt/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [migration/1]
9 be/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [ksoftirqd/1]
10 rt/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [watchdog/1]
11 rt/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [migration/2]
12 rt/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [migration/2]
13 be/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [ksoftirqd/2]
14 rt/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [watchdog/2]
15 rt/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [migration/3]
16 rt/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [migration/3]
17 be/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [ksoftirqd/3]
18 rt/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [watchdog/3]
19 rt/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [migration/4]
20 rt/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [migration/4]
21 be/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [ksoftirqd/4]
22 rt/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [watchdog/4]
23 rt/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [migration/5]
24 rt/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [migration/5]
25 be/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [ksoftirqd/5]
26 rt/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [watchdog/5]
27 rt/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [migration/6]
28 rt/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [migration/6]
29 be/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [ksoftirqd/6]
30 rt/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [watchdog/6]
31 rt/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [migration/7]
32 rt/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [migration/7]
33 be/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [ksoftirqd/7]
34 rt/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [watchdog/7]
35 rt/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [migration/8]
36 rt/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [migration/8]
37 be/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [ksoftirqd/8]
38 rt/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [watchdog/8]
39 rt/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [migration/9]
40 rt/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [migration/9]
41 be/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [ksoftirqd/9]
42 rt/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [watchdog/9]
43 rt/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [migration/10]
44 rt/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [migration/10]
45 be/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [ksoftirqd/10]
46 rt/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [watchdog/10]
47 rt/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [migration/11]
48 rt/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [migration/11]
49 be/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [ksoftirqd/11]
50 rt/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [watchdog/11]
51 rt/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [migration/12]
52 rt/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [migration/12]
53 be/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [ksoftirqd/12]
vmstat 5 5
procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu-----
r b swpd free buff cache si so bi bo in cs us sy id wa st
0 0 0 262437312 25728 147808 0 0 3 0 4 5 0 0 100 0 0
0 0 0 262437296 25728 147808 0 0 0 0 58 101 0 0 100 0 0
1 0 0 262437312 25728 147808 0 0 0 0 64 117 0 0 100 0 0
2 0 0 262437312 25728 147808 0 0 0 0 48 95 0 0 100 0 0
1 0 0 262437200 25728 147808 0 0 0 0 58 117 0 0 100 0 0
我没有足够的空间来复制/粘贴“ps axf”的输出,但是: - 没有处于 D 状态的进程(磁盘睡眠 - 不可中断) - 除执行的监控工具(如 top 或 iotop)外,所有进程都处于 S 状态
在此先感谢您的帮助!
答案1
此错误记录在https://access.redhat.com/solutions/508303到目前为止,解决方案确实是禁用acpi_pad司机。
在我的系统(IBM Flex x240)上,禁用超线程后就会发生这种情况。
答案2
由于没有关于您的服务器的更多详细信息,我只想补充一些我在少数配备 Xeon 处理器的服务器上遇到的问题。有一个已知的 ACPI 错误,虽然“已修复”,但并未完全修复,会影响 CentOS 6 服务器和某些硬件。
您可以尝试将以下内容添加到内核启动命令中,看看是否有帮助(需要重新启动):
grubby --update-kernel=ALL --args="acpi_pad.disable=1"
如果这没有帮助,请务必将其删除:
grubby --update-kernel=ALL --remove-args="acpi_pad.disable"
我假设您还通过 dmesg 查看了无法初始化的任何设备。某些设备应该通过“hwdata”RPM 由 /etc/modprobe.d/blacklist.conf 列入黑名单。
您可能还想在“top”中启用线程视图。还有其他工具可以帮助调试正在等待的内核线程,但这是一个更大的话题。