如何才能正确计算所有进程使用的内存总和?

如何才能正确计算所有进程使用的内存总和?

最近有几个问题问为什么 Ubuntu 使用的内存似乎比进程/服务占用的内存还要多 -这里这里

但是我的情况恰恰相反。在我的服务器上,所有进程使用的内存似乎高于总使用的内存。让我提供证据。

输出free -m

               total        used        free      shared  buff/cache   available
Mem:           64277       15014       34424          31       14837       48530
Swap:           8191           0        8191

输出arcstat

    time  read  miss  miss%  dmis  dm%  pmis  pm%  mmis  mm%  size     c  avail
09:38:57     0     0      0     0    0     0    0     0    0  9.8G  9.8G    41G

输出ps aux | awk '{sum +=$6}END{print sum}'

6351512

这对我来说意味着:

free -m报告总共使用了 15.0 GB 内存(共享内存可以忽略不计)。从arcstatZFS ARC Cache 报告的 9.8 GB 中减去。剩余结果大约是 5.2 GB 的“实际”使用内存。但(RSS - 驻留集大小)中第 6 列的总和ps aux总计为 6.35 GB。这意味着报告的所有进程使用的内存比实际显示的内存高 1.15 GB free -m

我想知道是否有一种方法可以正确计算所有进程使用的内存,以便它与使用的内存相匹配(减去 ZFS 缓存和共享 ramdisk 之后)?

答案1

因此许多人可能都知道,由于共享内存页面的存在,所报告的内存统计数据ps(以及 RSS 指标本身)并不完全准确。

还有另一个名为 的工具smem,它可以正确报告每个进程的比例集大小 - 即每个进程的内存消耗,其中共享内存以合理的方式在进程之间划分。

man smem

微电子报告物理内存使用情况,将共享内存页面考虑在内。
非共享内存被报告为 USS(唯一集大小)。共享内存是
在共享该内存的进程之间平均分配。非共享内存
(USS)加上进程的共享内存比例被报告为 PSS
(比例集大小)。USS 和 PSS 仅包括物理内存使用情况。
它们不包括已换出到磁盘的内存。

但是,有一些安装和配置的方便技巧,smem可以轻松报告所有进程实际使用的内存。

安装和配置smem

首先,如果你想安装smem,你需要启用 Universe 存储库。确保取消注释此行/etc/apt/sources.list(适用于 Ubuntu 22.04):

deb http://archive.ubuntu.com/ubuntu jammy universe

当您正常尝试安装时smem,它会安装大量依赖项(超过 100 个包),因为它对python3-matplotlib生成图形图表具有推荐的依赖性。

因为我不需要这个(任何有服务器的人可能也不需要它),所以可以只用这个命令安装基础包:

sudo apt install smem python3-matplotlib-

注意后面的破折号python3-matplotlib- 这表示此包应该不是安装。另一个选项是使用:

sudo apt install --no-install-recommends smem

这会产生相同的结果,即只安装smem包。

最后一个技巧是修复列,以便您可以正确使用awk,或以可以信任列的方式导出指标。为此,我们需要将列移动command到最右边的位置,因为该command字段可能包含我们无法控制的额外空格。

要修复列布局和大小,smem应使用以下选项运行:

smem -ac "user pid swap maps vss uss pss rss command"

此外,要包含所有进程,它必须作为 运行sudo。我为 定义了以下别名smem

alias smem='sudo smem -ac "user pid swap maps vss uss pss rss command"'

因此,在下面,当我键入命令时smem,它确实会使用上述选项运行该命令。

比较smemps衡量

ps aux现在我们可以正确比较和的指标smem。我原本预计“实际”使用的内存为 5.2 GB,但ps aux报告的内存使用量为 6.35 GB。以下是的结果smem

来自的 RSS 计数smem

$ smem | awk '{sum +=$8}END{print sum}'
6464644

PSS 数量来自smem

$ smem | awk '{sum +=$7}END{print sum}'
5281005

现在很明显,报告的 RSS 大致相似(比略高smem)。但也很明显,比例集大小 (PSS) 更正确地匹配了进程之间的预期内存使用量 - 5.2 GB。

因此,为了正确测量总体进程内存使用情况,PSS 指标似乎smem能给出最有意义的结果。

相关内容