☰

在进程被 OOM Killer / cgroups 杀死之前接收信号

tag-icon • tag-icon kill limit cgroups out-of-memory
在进程被 OOM Killer / cgroups 杀死之前接收信号

在我们的集群中，我们限制进程资源，例如内存（memory.limit_in_bytes）。

我认为，最终，这也是通过 Linux 内核中的 OOM 杀手来处理的（通过阅读源代码）。

有什么办法可以在我的进程被杀死之前获得信号吗？ （就像-notify选项一样上海黄金交易所qsub，它将SIGUSR1在进程被终止之前发送。）

我读到/dev/mem_notify 这里但我没有——现在还有其他东西吗？我也读过这这似乎有些相关。

我希望至少能够转储一个小的堆栈跟踪，也许还有一些其他有用的调试信息 - 但也许我什至可以通过释放一些内存来恢复。

我目前使用的一种解决方法是这个小脚本它经常检查我是否接近（95％）限制，如果是，它会向进程发送一个SIGUSR1.在 Bash 中，我在后台 ( ) 启动此脚本，cgroup-mem-limit-watcher.py &以便它监视同一 cgroup 中的其他进程，并在父 Bash 进程终止时自动退出。

答案1

当 cgroup 的内存使用量超过阈值时，可以注册通知。原则上，将阈值设置在低于实际限制的合适点可以让您发送信号或采取其他操作。

看：

https://www.kernel.org/doc/Documentation/cgroup-v1/memory.txt

答案2

OOM Killer 确实会发送 SIGKILL，否则让有问题的程序选择继续下去会适得其反。

这意味着进程绝对没有办法知道它何时将被它杀死。

管理此类问题通常意味着对程序或其配置进行更正。有时，根据系统的配置，简单地增加交换空间可以为操作系统提供更多的内存管理灵活性，以避免这种激烈的措施。

答案3

看起来您已经使用了 cgroup，这有帮助。

如果您的进程是 cgroup 中唯一的进程（即唯一可以被杀死的进程）并且您拥有您执行的程序，那么您可以修改您的程序以生成子进程，并将其 oom 分数调整为某个高值。因此，这个进程将成为一个诱饵：当你达到 cgroup 内存限制时，OOM Killer 将杀死这个诱饵进程而不是主进程。主进程可以等待其子诱饵来了解 OOM 杀手被触发的确切时刻。

IMO，它比具有一定阈值的监视脚本更容易。这是 Bash 中的示例

#!/usr/bin/bash

self_pid=$$

(
    /usr/bin/sleep infinity &
    oom_decoy_pid=$!
    echo "1000" > "/proc/${oom_decoy_pid}/oom_score_adj"
    echo "Launched oom decoy ${oom_decoy_pid} for parent process ${self_pid}"

    wait $oom_decoy_pid

    echo "OOM decoy is killed. Likely OOM is coming!"
    echo "Signalling parent..."
    kill -SIGTERM $self_pid
)&

while true; do
    sleep 1
    echo "Doing something important and memory heavy"
done

相关内容