linux OOM-kill 为什么?

linux OOM-kill 为什么?

各位管理员,大家好。我发帖的目的是希望能够揭开困扰我公司一台机器的 OOM 杀伤事件的真相。我无法确定它们是否是合法的 OOM。

它是带有内核 2.6.32-279.1.1.el6.x86_64 的 Centos 6.x。

内存 8 GB,CPU athlon2-x4。

大型进程是 mysql 和 vmware player 4,分别最大分配 2 GB 和 4 GB 的 RAM,外加一些开销。(Vmware 是被杀死的进程,因为它的规模较大。)

除了这两个之外还有其他守护进程在运行,但它们都非常小,并且负载很轻,所以我不明白剩下的 1/1.5 GB 的 RAM 会消失在哪里,还不包括巨大的交换……

此外,杀戮也发生了仅有的晚上运行备份 cronjobs 时。(这些是带有标准工具的简单 shell 脚本,用于转储一些数据库并压缩一些网站和邮箱目录。)

例如,这里正在执行 mysqldump —— 这是第一次在执行此特定任务时发生这种情况。以前经常发生几乎每次,当我对一个大目录树(约 100 万个小文件)运行 rsync 或 zip 时,还会出现“页面分配失败”的情况。但我用 zfs 将所有这些都移动到了另一台机器上:这次操作之后,杀手就离开了我一段时间……

我讨厌这个问题,经过几个月的折腾,反复阅读互联网上的每一个帖子,我仍然无法将这些信息与我的情况联系起来。有交换,为什么不交换而是杀死?而且谁占用了所有的内存?(一开始有几个合法的内存泄漏者,我找到了他们。)也不可能是碎片,因为失败的请求是零阶的。

我在实际的终止日志之前粘贴了一些数据:

vm.swappiness = 100
vm.vfs_cache_压力 = 5000
vm.min_free_kbytes = 262144

(我添加了这些来尝试修复它,它们可能有点极端但无论如何它运行顺利)

我也尝试过 overcommit_memory=2,但徒劳无功。这不是应该禁用杀手吗?

这是系统的正常内存状态。请注意,由于 mmap-ed vmem,vmware 的 RAM 算作缓存。顺便说一句,vmware 设置为允许回收/交换 vm 内存。但它从不这样做。

           已使用的、可用的、缓存的共享缓冲区总数
内存:7800792 7400032 400760 0 61100 4449196
-/+ 缓冲区/缓存:2889736 4911056
交换:8388600 761588 7627012

交换缓存:286648 kB
页表:40200 kB
提交限制:15409312 kB
已提交:8099460 kB
AnonHugePages:192512 kB

节点 0,区域 DMA 4 1 1 3 1 1 0 0 1 1 3
节点 0,区域 DMA32 378 1476 2541 1491 328 240 74 28 8 0 0
节点 0,区域正常 1555 124 956 1825 659 175 54 31 15 0 0

最后,OOM:

1 月 2 日 21:37:38:vmware-vmx 调用 oom-killer:gfp_mask=0xd0、order=0、oom_adj=0、oom_score_adj=0
1 月 2 日 21:37:38:vmware-vmx cpuset=/mems_allowed=0
1 月 2 日 21:37:38:Pid:19635,通信:vmware-vmx 未受污染 2.6.32-279.1.1.el6.x86_64 #1
1 月 2 日 21:37:38 :调用跟踪:
1 月 2 日 21:37:38:[] ?cpuset_print_task_mems_allowed+0x91/0xb0
1 月 2 日 21:37:38:[] ? dump_header+0x90/0x1b0
1 月 2 日 21:37:38 :[]? __delayacct_freepages_end+0x2e/0x30
1 月 2 日 21:37:38:[] ? security_real_capable_noaudit+0x3c/0x70
1 月 2 日 21:37:38:[] ? oom_kill_process+0x82/0x2a0
1 月 2 日 21:37:38:[] ?select_bad_process+0xe1/0x120
1 月 2 日 21:37:38:[] ? out_of_memory+0x220/0x3c0
1 月 2 日 21:37:38:[] ? __alloc_pages_nodemask+0x89e/0x940
1 月 2 日 21:37:38:[] ? alloc_pages_current+0xaa/0x110
1 月 2 日 21:37:38:[] ? __get_free_pages+0xe/0x50
1 月 2 日 21:37:38:[] ? __pollwait+0xb4/0xf0
1 月 2 日 21:37:38 : [] ? eventfd_poll+0x7d/0x80
1 月 2 日 21:37:38:[] ? do_sys_poll+0x29b/0x520
1 月 2 日 21:37:38:[] ? __pollwait+0x0/0xf0
1 月 2 日 21:37:38 : [] ? pollwake+0x0/0x60
1 月 2 日 21:37:38 : [] ? pollwake+0x0/0x60
1 月 2 日 21:37:38 : [] ? pollwake+0x0/0x60
1 月 2 日 21:37:38 : [] ? pollwake+0x0/0x60
1 月 2 日 21:37:38 : [] ? pollwake+0x0/0x60
1 月 2 日 21:37:38 : [] ? pollwake+0x0/0x60
1 月 2 日 21:37:38 : [] ? pollwake+0x0/0x60
1 月 2 日 21:37:38 : [] ? pollwake+0x0/0x60
1 月 2 日 21:37:38 : [] ? pollwake+0x0/0x60
1 月 2 日 21:37:38:[] ? read_tsc+0x9/0x20
1 月 2 日 21:37:38:[] ? ktime_get_ts+0xa9/0xe0
1 月 2 日 21:37:38:[] ? poll_select_set_timeout+0x8d/0xa0
1 月 2 日 21:37:38:[] ? sys_ppoll+0x4c/0x180
1 月 2 日 21:37:38:[] ?system_call_fastpath+0x16/0x1b
1 月 2 日 21:37:38 :内存信息:
1 月 2 日 21:37:38 :节点 0 每个 CPU 的 DMA:
1 月 2 日 21:37:38 :CPU 0:hi:0,btch:1 usd:0
1 月 2 日 21:37:38 :CPU 1:hi:0,btch:1 usd:0
1 月 2 日 21:37:38 :CPU 2:hi:0,btch:1 usd:0
1 月 2 日 21:37:38 :CPU 3:hi:0,btch:1 usd:0
1 月 2 日 21:37:38 :节点 0 DMA32 每个 CPU:
1 月 2 日 21:37:38 :CPU 0:hi:186,btch:31 美元:175
1 月 2 日 21:37:38 :CPU 1:hi:186,btch:31 美元:40
1 月 2 日 21:37:38 :CPU 2:hi:186,btch:31 美元:180
1 月 2 日 21:37:38 :CPU 3:hi:186,btch:31 美元:152
1 月 2 日 21:37:38 :节点 0 每个 CPU 正常:
1 月 2 日 21:37:38 :CPU 0:hi:186,btch:31 美元:170
1 月 2 日 21:37:38 :CPU 1:hi:186,btch:31 美元:67
1 月 2 日 21:37:38 :CPU 2:hi:186,btch:31 美元:108
1 月 2 日 21:37:38 :CPU 3:hi:186,btch:31 美元:63
1 月 2 日 21:37:38:active_anon:1467089 inactive_anon:263165isolated_anon:64
1 月 2 日 21:37:38:活动文件:12404 非活动文件:65792 隔离文件:96
1 月 2 日 21:37:38:不可驱逐:2 脏:66080 写回:1 不稳定:0
1 月 2 日 21:37:38:免费:73888 slab_reclaimable:8971 slab_unreclaimable:10661
1 月 2 日 21:37:38:映射:780904 shmem:1035969 页表:10566 跳出率:0
1 月 2 日 21:37:38:节点 0 DMA 可用:15688kB 最小:500kB 低:624kB 高:748kB active_anon:0kB inactive_anon:0kB active_file:0kB inactive_file:0kB unevictable:0kB 隔离(匿名):0kB 隔离(文件):0kB 存在:15284kB mlocked:0kB dirty:0kB writeback:0kB 映射:0kB shmem:0kB slab_reclaimable:0kB slab_unreclaimable:0kB kernel_stack:0kB pagetables:0kB 不稳定:0kB bounce:0kB writeback_tmp:0kB pages_scanned:0 all_unreclaimable?是
1 月 2 日 21:37:38 : lowmem_reserve[]: 0 3254 7799 7799
1 月 2 日 21:37:38:节点 0 DMA32 可用:127608kB 最小:109180kB 低:136472kB 高:163768kB active_anon:2209600kB inactive_anon:441980kB active_file:35784kB inactive_file:207948kB 不可驱逐:8kB 隔离(匿名):0kB 隔离(文件):256kB 存在:3333024kB mlocked:8kB 脏:211888kB 写回:0kB 映射:955900kB shmem:1376604kB slab_reclaimable:20276kB slab_unreclaimable:6460kB kernel_stack:488kB 页表:8856kB 不稳定:0kB反弹:0kB writeback_tmp:0kB pages_scanned:580800 all_unreclaimable?否
1 月 2 日 21:37:38 : lowmem_reserve[]: 0 0 4545 4545
1 月 2 日 21:37:38:节点 0 正常空闲:152256kB 最小:152456kB 低:190568kB 高:228684kB active_anon:3658756kB inactive_anon:610680kB active_file:13832kB inactive_file:55220kB 不可驱逐:0kB 隔离(匿名):256kB 隔离(文件):128kB 存在:4654080kB mlocked:0kB 脏:52432kB 写回:4kB 映射:2167716kB shmem:2767272kB slab_reclaimable:15608kB slab_unreclaimable:36184kB kernel_stack:3016kB 页表:33408kB 不稳定:0kB反弹:0kB writeback_tmp:0kB pages_scanned:410848 all_unreclaimable?否
1 月 2 日 21:37:38 : lowmem_reserve[]: 0 0 0 0
1 月 2 日 21:37:38:节点 0 DMA:4*4kB 1*8kB 1*16kB 3*32kB 1*64kB 1*128kB 0*256kB 0*512kB 1*1024kB 1*2048kB 3*4096kB = 15688kB
1 月 2 日 21:37:38:节点 0 DMA32:240*4kB 925*8kB 1553*16kB 748*32kB 253*64kB 152*128kB 56*256kB 28*512kB 6*1024kB 0*2048kB 0*4096kB = 127608kB
1 月 2 日 21:37:38:节点 0 正常:1155*4kB 1362*8kB 2962*16kB 860*32kB 330*64kB 113*128kB 23*256kB 18*512kB 9*1024kB 1*2048kB 0*4096kB = 152380kB
1 月 2 日 21:37:38 :总页面缓存页数 1162322
1 月 2 日 21:37:38 :交换缓存中有 48040 个页面
1 月 2 日 21:37:38:交换缓存统计信息:添加 3148787,删除 3100747,查找 1726176/2015458
1 月 2 日 21:37:38 :可用交换 = 7750696kB
1 月 2 日 21:37:38 :总交换量 = 8388600kB
1 月 2 日 21:37:38 : 2031600 页 RAM
1 月 2 日 21:37:38 :保留 81402 页
1 月 2 日 21:37:38 : 分享了 1987047 个页面
1 月 2 日 21:37:38 : 707527 个页面未共享
1 月 2 日 21:37:38:[pid] uid tgid total_vm rss cpu oom_adj oom_score_adj 名称
1 月 2 日 21:37:38 :[457] 0 457 2673 90 1 -17 -1000 udevd
1 月 2 日 21:37:38 :[1261] 0 1261 62271 293 0 0 0 rsyslogd
1 月 2 日 21:37:38 :[1275] 0 1275 1171 91 0 0 0 mdadm
1 月 2 日 21:37:38 : [1284] 81 1284 5382 159 1 0 0 dbus 守护进程
1 月 2 日 21:37:38 : [1295] 70 1295 6946 160 2 0 0 avahi-daemon
1 月 2 日 21:37:38 : [1296] 70 1296 6914 27 1 0 0 avahi-daemon
1 月 2 日 21:37:38 : [ 1344] 68 1344 6292 346 0 0 0 hald
1 月 2 日 21:37:38 : [ 1345] 0 1345 4524 152 0 0 0 半跑者
1 月 2 日 21:37:38 : [ 1391] 0 1391 5053 87 2 0 0 hald-addon-inpu
1 月 2 日 21:37:38 :[1406] 0 1406 6014 103 2 0 0 vmware-usbarbit
1 月 2 日 21:37:38 :[1420] 0 1420 16028 119 1 -17 -1000 sshd
1 月 2 日 21:37:38 :[1439] 38 1439 7539 146 0 0 0 ntpd
1 月 2 日 21:37:38 : [ 1483] 0 1483 29309 135 2 0 0 crond
1 月 2 日 21:37:38 : [1494] 0 1494 5362 47 2 0 0 atd
1 月 2 日 21:37:38 :[1511] 501 1511 25371 5751 1 0 0 Xvnc
1 月 2 日 21:37:38 : [1521] 501 1521 26513 66 0 0 0 sh
1 月 2 日 21:37:38 : [ 1532] 512 1532 21634 461 0 0 0 Xvnc
1 月 2 日 21:37:38 :[1541] 501 1541 5006 82 1 0 0 dbus-launch
1 月 2 日 21:37:38 : [1542] 501 1542 5382 141 2 0 0 dbus 守护进程
1 月 2 日 21:37:38 : [1546] 501 1546 5629 283 0 0 0 xfconfd
1 月 2 日 21:37:38 :[1551] 501 1551 28034 71 3 0 0 gpg-agent
1 月 2 日 21:37:38 :[1561] 501 1561 57668 351 1 0 0 xfce4-session
1 月 2 日 21:37:38 : [1565] 501 1565 49604 290 2 0 0 xfsettingsd
1 月 2 日 21:37:38 : [ 1567 ] 501 1567 55385 549 1 0 0 xfwm4
1 月 2 日 21:37:38 :[1569] 501 1569 59719 1148 2 0 0 xfce4-panel
1 月 2 日 21:37:38 : [1571] 501 1571 56642 311 1 0 0 Thunar
1 月 2 日 21:37:38 : [1573] 501 1573 81823 695 3 0 0 xfdesktop
1 月 2 日 21:37:38 :[1582] 501 1582 56799 339 1 0 0 xfce4-settings-
1 月 2 日 21:37:38 : [1584] 0 1584 520550 188 1 0 0 console-kit-dae
1 月 2 日 21:37:38 : [ 1650 ] 501 1650 55456 487 3 0 0 panel-6-systray
1 月 2 日 21:37:38 : [1654] 512 1654 26513 65 0 0 0 sh
1 月 2 日 21:37:38 :[1669] 512 1669 5006 68 2 0 0 dbus-launch
1 月 2 日 21:37:38 : [1670] 512 1670 5383 135 0 0 0 dbus 守护进程
1 月 2 日 21:37:38 : [1674] 512 1674 5629 264 3 0 0 xfconfd
1 月 2 日 21:37:38 :[1680] 512 1680 28034 70 3 0 0 gpg-agent
1 月 2 日 21:37:38 :[1683] 500 1683 27549 6909 2 0 0 Xvnc
1 月 2 日 21:37:38 : [1694] 512 1694 57667 346 2 0 0 xfce4-session
1 月 2 日 21:37:38 : [1699] 512 1699 55386 461 1 0 0 xfwm4
1 月 2 日 21:37:38 : [ 1701 ] 512 1701 66152 1404 2 0 0 xfce4-panel
1 月 2 日 21:37:38 : [1703] 512 1703 56617 235 0 0 0 Thunar
1 月 2 日 21:37:38 : [1705] 512 1705 85537 529 1 0 0 xfdesktop
1 月 2 日 21:37:38 : [1707] 512 1707 49604 285 1 0 0 xfsettingsd
1 月 2 日 21:37:38 :[1715] 512 1715 56799 312 0 0 0 xfce4-settings-
1 月 2 日 21:37:38 : [1717] 512 1717 55456 438 3 0 0 panel-4-systray
1 月 2 日 21:37:38 : [1721] 500 1721 26513 66 0 0 0 sh
1 月 2 日 21:37:38 :[1740] 500 1740 5006 68 1 0 0 dbus-launch
1 月 2 日 21:37:38 : [1741] 500 1741 5383 167 2 0 0 dbus 守护进程
1 月 2 日 21:37:38 : [1745] 500 1745 5629 275 1 0 0 xfconfd
1 月 2 日 21:37:38 : [1757] 500 1757 28070 139 3 0 0 gpg-agent
1 月 2 日 21:37:38 : [1758] 0 1758 1542 83 3 0 0 pptpd
1 月 2 日 21:37:38 :[1774] 500 1774 57667 356 0 0 0 xfce4-session
1 月 2 日 21:37:38 : [1779] 500 1779 55674 785 2 0 0 xfwm4
1 月 2 日 21:37:38 : [1781] 500 1781 65790 1363 1 0 0 xfce4-panel
1 月 2 日 21:37:38 : [1783] 500 1783 82194 451 0 0 0 Thunar
1 月 2 日 21:37:38 : [1785] 500 1785 85642 813 2 0 0 xfdesktop
1 月 2 日 21:37:38 : [1790] 500 1790 49604 283 2 0 0 xfsettingsd
1 月 2 日 21:37:38 : [1800] 500 1800 38863 313 3 0 0 xterm
1 月 2 日 21:37:38 :[1807] 500 1807 56798 353 3 0 0 xfce4-settings-
1 月 2 日 21:37:38 : [1808] 500 1808 55456 470 1 0 0 panel-6-systray
1 月 2 日 21:37:38 : [1811] 500 1811 27074 69 2 0 0 bash
1 月 2 日 21:37:38 : [1823] 0 1823 4704 145 0 0 0 smartd
1 月 2 日 21:37:38 : [1831] 0 1831 1014 48 2 0 0 mingetty
1 月 2 日 21:37:38 : [1833] 0 1833 1014 48 0 0 0 mingetty
1 月 2 日 21:37:38 : [1835] 0 1835 1014 48 1 0 0 mingetty
1 月 2 日 21:37:38 : [1837] 0 1837 1014 48 2 0 0 mingetty
1 月 2 日 21:37:38 : [1839] 0 1839 1014 49 3 0 0 mingetty
1 月 2 日 21:37:38 : [1843] 0 1843 1014 48 0 0 0 mingetty
1 月 2 日 21:37:38 : [2025] 0 2025 25340 59 2 0 0 vmnet-bridge
1 月 2 日 21:37:38:[2033] 0 2033 25333 15 1 0 0 vmnet-netifup
1 月 2 日 21:37:38:[2058] 0 2058 27069 101 0 0 0 vmnet-natd
1 月 2 日 21:37:38:[2060] 0 2060 25333 15 1 0 0 vmnet-netifup
1 月 2 日 21:37:38 : [2097] 0 2097 30105 82 2 0 0 vmware-authdlau
1 月 2 日 21:37:38 : [2981] 500 2981 36335 76 0 0 0 su
1 月 2 日 21:37:38 : [2984] 0 2984 27074 233 1 0 0 bash
1 月 2 日 21:37:38 : [6347] 500 6347 39207 406 2 0 0 xterm
1 月 2 日 21:37:38 : [ 6349 ] 500 6349 27074 70 0 0 0 bash
1 月 2 日 21:37:38 : [6407] 500 6407 36335 77 0 0 0 su
1 月 2 日 21:37:38 : [ 6410] 0 6410 27074 251 0 0 0 bash
1 月 2 日 21:37:38:[6481] 0 6481 57857 154 0 0 0 mysql
1 月 2 日 21:37:38 : [6911] 0 6911 19820 120 1 0 0 主服务器
1 月 2 日 21:37:38:[6914] 89 6914 19889 122 0 0 0 qmgr
1 月 2 日 21:37:38:[6918] 89 6918 19839 141 0 0 0 tlsmgr
1 月 2 日 21:37:38 : [17572] 0 17572 103460 2142 3 0 0 Thunar
1 月 2 日 21:37:38 : [21227] 500 21227 38801 594 0 0 0 xterm
1 月 2 日 21:37:38 :[21229] 500 21229 27074 73 0 0 0 bash
1月2日 21:37:38 : [29713] 500 29713 36870 214 3 0 0 lftp
1 月 2 日 21:37:38 : [32170] 500 32170 38815 184 0 0 0 xterm
1 月 2 日 21:37:38 : [32172] 500 32172 27074 77 1 0 0 bash
1 月 2 日 21:37:38 : [32189] 500 32189 36335 86 1 0 0 su
1 月 2 日 21:37:38 : [32197] 0 32197 27074 93 1 0 0 bash
1 月 2 日 21:37:38 : [16025] 0 16025 2070 89 3 0 0 pptpctrl
1 月 2 日 21:37:38 :[16026] 0 16026 5544 108 1 0 0 pppd
1 月 2 日 21:37:38:[31174] 0 31174 27073 175 1 0 0 mysqld_safe
1 月 2 日 21:37:38:[31909] 27 31909 1143356 587238 1 0 0 mysqld
1 月 2 日 21:37:38:[32037] 0 32037 26546 169 0 0 0 mysqld_safe
1 月 2 日 21:37:38:[32437] 495 32437 136524 7673 1 0 0 mysqld
1 月 2 日 21:37:38:[32449] 0 32449 26546 169 2 0 0 mysqld_safe
1 月 2 日 21:37:38:[368] 493 368 211813 3831 0 0 0 mysqld
1 月 2 日 21:37:38 : [884] 500 884 27074 310 1 0 0 bash
1 月 2 日 21:37:38:[1065] 501 1065 122130 2881 3 0 0 vmplayer
1 月 2 日 21:37:38 : [2031] 500 2031 38570 281 0 0 0 xterm
1 月 2 日 21:37:38 : [2034] 500 2034 27074 180 0 0 0 bash
1 月 2 日 21:37:38 : [ 2051] 500 2051 36335 140 0 0 0 su
1 月 2 日 21:37:38 : [2055] 0 2055 27074 181 2 0 0 bash
1 月 2 日 21:37:38:[16591] 501 16591 77851 712 3 0 0 vmware-unity-he
1 月 2 日 21:37:38 : [16803] 0 16803 26883 237 1 0 0 观看
1 月 2 日 21:37:38:[19635] 501 19635 1693624 793343 1 0 0 vmware-vmx
1 月 2 日 21:37:38 : [2186] 0 2186 38139 158 0 0 0 proftpd
1 月 2 日 21:37:38 : [5289] 500 5289 38992 979 3 0 0 xterm
1 月 2 日 21:37:38 : [ 5291 ] 500 5291 27074 188 2 0 0 bash
1 月 2 日 21:37:38 : [5344] 500 5344 36335 148 1 0 0 星期日
1 月 2 日 21:37:38 : [ 5361] 0 5361 27074 350 0 0 0 bash
1 月 2 日 21:37:38:[18529] 500 18529 26514 227 0 0 0 mysql-workbench
1 月 2 日 21:37:38 : [18534] 500 18534 26514 226 1 0 0 catchsegv
1 月 2 日 21:37:38 : [18536] 500 18536 26514 77 2 0 0 catchsegv
1 月 2 日 21:37:38:[18537] 500 18537 227088 7571 2 0 0 mysql-workbench
1 月 2 日 21:37:38 : [ 409] 0 409 131527 1556 1 0 0 geany
1 月 2 日 21:37:38 : [ 410] 0 410 2054 92 2 0 0 gnome-pty-helpe
1 月 2 日 21:37:38 : [411] 0 411 27074 238 1 0 0 bash
1 月 2 日 21:37:38 :[5750] 0 5750 2672 92 0 -17 -1000 udevd
1 月 2 日 21:37:38:[5753] 0 5753 2672 87 0 -17 -1000 udevd
1 月 2 日 21:37:38 : [5788] 0 5788 10640 594 3 0 0 openvpn
1 月 2 日 21:37:38 : [5792] 0 5792 10640 598 3 0 0 openvpn
1月2日 21:37:38 : [5800] 99 5800 11135 587 3 0 0 openvpn
1 月 2 日 21:37:38 : [21552] 0 21552 110137 2111 1 0 0 httpd
1 月 2 日 21:37:38 : [21555] 48 21555 139593 7684 3 0 0 httpd
1 月 2 日 21:37:38 : [21558] 48 21558 140002 8513 3 0 0 httpd
1 月 2 日 21:37:38 : [23283] 497 23283 9846 193 1 0 0 dkim 过滤器
1 月 2 日 21:37:38 : [23284] 497 23284 33979 524 1 0 0 dkim 过滤器
1 月 2 日 21:37:38 : [ 6819] 0 6819 2070 152 3 0 0 pptpctrl
1 月 2 日 21:37:38 : [ 6820 ] 0 6820 5544 237 1 0 0 pppd
1 月 2 日 21:37:39 : [17208] 48 17208 112903 4566 0 0 0 httpd
1 月 2 日 21:37:39 : [17209] 48 17209 138359 5895 0 0 0 httpd
1 月 2 日 21:37:39 : [17210] 48 17210 138693 7341 3 0 0 httpd
1 月 2 日 21:37:39 :[1255] 0 1255 24571 713 0 0 0 sshd
1 月 2 日 21:37:39 : [1278] 0 1278 13874 396 1 0 0 sftp 服务器
1 月 2 日 21:37:39 : [14064] 48 14064 138202 6622 3 0 0 httpd
1 月 2 日 21:37:39 : [14065] 48 14065 139625 7776 1 0 0 httpd
1 月 2 日 21:37:39 : [16899] 48 16899 138543 7523 3 0 0 httpd
1 月 2 日 21:37:39 : [32639] 89 32639 19924 722 0 0 0 取件
1 月 2 日 21:37:39 : [ 4973] 48 4973 136179 4973 3 0 0 httpd
1 月 2 日 21:37:39 : [ 4976] 48 4976 138478 7371 0 0 0 httpd
1 月 2 日 21:37:39 : [ 4977] 48 4977 136173 4777 3 0 0 httpd
1 月 2 日 21:37:39 : [ 5662] 0 5662 35030 336 0 0 0 crond
1 月 2 日 21:37:39 : [5663] 0 5663 2297 282 2 0 0 sh
1 月 2 日 21:37:39 : [ 5664] 0 5664 2298 302 0 0 0 bash
1 月 2 日 21:37:39 : [5665] 0 5665 15910 437 0 0 0 mutt
1 月 2 日 21:37:39 : [ 5947 ] 0 5947 2298 337 1 0 0 bash
1 月 2 日 21:37:39 : [6416] 48 6416 110170 2070 3 0 0 httpd
1 月 2 日 21:37:39 : [6625] 48 6625 110170 1895 0 0 0 httpd
1 月 2 日 21:37:39 : [ 6642 ] 0 6642 32679 1632 2 0 0 mysqldump
1 月 2 日 21:37:39 :内存不足:终止进程 19635 (vmware-vmx) 得分 199 或牺牲子进程
1 月 2 日 21:37:39:已终止进程 19635,UID 501,(vmware-vmx)total-vm:6774496kB,anon-rss:74020kB,file-rss:3099352kB


答案1

嗯,我认为你的 min_free_kbytes 确实很高。我有一台 16GB 的机器,我的最小值为 67584kB。

请注意,由于 mmap-ed vmem,vmware 的 RAM 算作缓存

这并不总是正确的。只有当 mmapped() 文件在 MAP_SHARED 中打开时,这才是正确的。否则,脏页将交换回来。这似乎就是您的情况。如果您将输出底部给出的该进程的报告使用量相加并将其转换为页面 (4k)。它等于该进程的任务转储中报告的 RSS。

rss:74020kB, file-rss:3099352kB
74020 + 3099352 = 3173372
3173372 / 4 = 793343

等于..

[19635]   501 19635  1693624   793343   1       0        0 vmware-vmx

至于为什么要进行 OOM-kill。嗯,这有点棘手。

当您到达时,min内核希望恢复内存,直至达到high水印字节数。因此,内核会进行检查;如果从文件缓存中可回收的内存量不足以让您回到high该区域的水印,则它不会费心释放文件缓存,而是直接从匿名内存中回收。

我们绝不从中回收active。所以 -

if (file_inactive > zone_high - free_mem) then
   reclaim (zone_high - free_mem) file inactive pages
else
   reclaim from anonymous pool

就你的情况而言,确实如此55220 is not greater than 228684-152456 (76428)

这是 OOM-Kill 而不是交换的原因在于,当您突破min水位线时,内核会进入一种direct_reclaim模式。在此模式下,无法执行 IO 来释放内存,因为这可能会导致死锁。

您的主机当时本来应该进行交换,但您的主机的分配速度比其交换速度快。

解决此问题的最佳方法是将min水印降低到更低的水平 - 或者更好的是获取更多内存和/或减少在机器上运行的程序数量。

相关内容