最近有几个问题问为什么 Ubuntu 使用的内存似乎比进程/服务占用的内存还要多 -这里和这里。
但是我的情况恰恰相反。在我的服务器上,所有进程使用的内存似乎高于总使用的内存。让我提供证据。
输出free -m
:
total used free shared buff/cache available
Mem: 64277 15014 34424 31 14837 48530
Swap: 8191 0 8191
输出arcstat
:
time read miss miss% dmis dm% pmis pm% mmis mm% size c avail
09:38:57 0 0 0 0 0 0 0 0 0 9.8G 9.8G 41G
输出ps aux | awk '{sum +=$6}END{print sum}'
:
6351512
这对我来说意味着:
free -m
报告总共使用了 15.0 GB 内存(共享内存可以忽略不计)。从arcstat
ZFS ARC Cache 报告的 9.8 GB 中减去。剩余结果大约是 5.2 GB 的“实际”使用内存。但(RSS - 驻留集大小)中第 6 列的总和ps aux
总计为 6.35 GB。这意味着报告的所有进程使用的内存比实际显示的内存高 1.15 GB free -m
。
我想知道是否有一种方法可以正确计算所有进程使用的内存,以便它与使用的内存相匹配(减去 ZFS 缓存和共享 ramdisk 之后)?
答案1
因此许多人可能都知道,由于共享内存页面的存在,所报告的内存统计数据ps
(以及 RSS 指标本身)并不完全准确。
还有另一个名为 的工具smem
,它可以正确报告每个进程的比例集大小 - 即每个进程的内存消耗,其中共享内存以合理的方式在进程之间划分。
从man smem
:
微电子报告物理内存使用情况,将共享内存页面考虑在内。 非共享内存被报告为 USS(唯一集大小)。共享内存是 在共享该内存的进程之间平均分配。非共享内存 (USS)加上进程的共享内存比例被报告为 PSS (比例集大小)。USS 和 PSS 仅包括物理内存使用情况。 它们不包括已换出到磁盘的内存。
但是,有一些安装和配置的方便技巧,smem
可以轻松报告所有进程实际使用的内存。
安装和配置smem
首先,如果你想安装smem
,你需要启用 Universe 存储库。确保取消注释此行/etc/apt/sources.list
(适用于 Ubuntu 22.04):
deb http://archive.ubuntu.com/ubuntu jammy universe
当您正常尝试安装时smem
,它会安装大量依赖项(超过 100 个包),因为它对python3-matplotlib
生成图形图表具有推荐的依赖性。
因为我不需要这个(任何有服务器的人可能也不需要它),所以可以只用这个命令安装基础包:
sudo apt install smem python3-matplotlib-
注意后面的破折号python3-matplotlib
- 这表示此包应该不是安装。另一个选项是使用:
sudo apt install --no-install-recommends smem
这会产生相同的结果,即只安装smem
包。
最后一个技巧是修复列,以便您可以正确使用awk
,或以可以信任列的方式导出指标。为此,我们需要将列移动command
到最右边的位置,因为该command
字段可能包含我们无法控制的额外空格。
要修复列布局和大小,smem
应使用以下选项运行:
smem -ac "user pid swap maps vss uss pss rss command"
此外,要包含所有进程,它必须作为 运行sudo
。我为 定义了以下别名smem
:
alias smem='sudo smem -ac "user pid swap maps vss uss pss rss command"'
因此,在下面,当我键入命令时smem
,它确实会使用上述选项运行该命令。
比较smem
和ps
衡量
ps aux
现在我们可以正确比较和的指标smem
。我原本预计“实际”使用的内存为 5.2 GB,但ps aux
报告的内存使用量为 6.35 GB。以下是的结果smem
。
来自的 RSS 计数smem
:
$ smem | awk '{sum +=$8}END{print sum}'
6464644
PSS 数量来自smem
:
$ smem | awk '{sum +=$7}END{print sum}'
5281005
现在很明显,报告的 RSS 大致相似(比略高smem
)。但也很明显,比例集大小 (PSS) 更正确地匹配了进程之间的预期内存使用量 - 5.2 GB。
因此,为了正确测量总体进程内存使用情况,PSS 指标似乎smem
能给出最有意义的结果。