☰

Linux：内存不足且大量内存既未被进程使用也不可用

tag-icon • tag-icon linux out-of-memory
Linux：内存不足且大量内存既未被进程使用也不可用

在我们的生产系统中，我们使用 Intel NUC（4GB RAM、2GB 交换）上的 Linux（内核 5.10.55-051055-generic）以及在 Docker 容器中运行的服务。这些服务主要是与 zmq（通过 TCP）通信的小型服务，但也是在集成 Intel GPU 上使用 OpenVino 运行 CNN 的服务。

随着时间的推移（我们检查内存的系统运行了大约 30 天），我们以某种方式“丢失”了内存，这意味着大量内存（超过 1 GB）既没有被进程使用，也没有显示为可用。所以问题是，什么在使用这个内存或者为什么它不可用？

我们检查了什么：

  • docker stats 内存使用情况（因为我们在 Ubuntu 命令行环境中仅运行 docker 容器）：但是这些值对于调查此问题并不是很有用）
  • /sys/fs/cgroup/memory/docker/<container_id>/memory.usage_in_bytes 和 ...memory.stats 中显示的 docker 容器内存使用情况：docker 容器使用的内存与可用内存之间存在很大差距
  • oom Killer 的日志输出：输出中每个进程的内存使用情况总计只有 2.5GB 左右，这意味着超过 1GB 的内存不知何故丢失了
  • 来自 /proc/<process_id>/smaps 的数据（我们自己计算并使用普罗兰克)：当只有几百 MB 可用时，总计最多只有 2 到 2.5 GB（同样缺少超过 1GB）
  • pidstat -trl：再次丢失超过 1GB
  • echo m > /proc/sysrq-trigger：再次丢失超过 1GB

free 命令和 procrank 摘要的输出（2 秒内创建）：

                          Pss       Uss
                          1880676K  1855268K  TOTAL

RAM: 3672156K total, 136388K free, 17756K buffers, 417332K cached, 249268K shmem, 229920K slab

              total        used        free      shared  buff/cache   available
Mem:        3672156     3002328      138476      249268      531352      175376
Swap:       1951740     1951740           0

输出echo m > /proc/sysrq-trigger：

[2948794.936393] sysrq: Show Memory
[2948794.936404] Mem-Info:
[2948794.936412] active_anon:196971 inactive_anon:206372 isolated_anon:0
                  active_file:109642 inactive_file:83546 isolated_file:0
                  unevictable:36 dirty:369 writeback:0
                  slab_reclaimable:27505 slab_unreclaimable:37597
                  mapped:84417 shmem:222 pagetables:6893 bounce:0
                  free:61015 free_pcp:1514 free_cma:0
[2948794.936417] Node 0 active_anon:787884kB inactive_anon:825488kB active_file:438568kB inactive_file:334184kB unevictable:144kB isolated(anon):0kB isolated(file):0kB mapped:337668kB dirty:1476kB writeback:0kB shmem:888kB shmem_thp: 0kB shmem_pmdmapped: 0kB anon_thp: 0kB writeback_tmp:0kB kernel_stack:22176kB all_unreclaimable? no
[2948794.936419] Node 0 DMA free:14340kB min:296kB low:368kB high:440kB reserved_highatomic:0KB active_anon:68kB inactive_anon:144kB active_file:68kB inactive_file:140kB unevictable:0kB writepending:0kB present:15992kB managed:15904kB mlocked:0kB pagetables:0kB bounce:0kB free_pcp:0kB local_pcp:0kB free_cma:0kB
[2948794.936425] lowmem_reserve[]: 0 772 3487 3487 3487
[2948794.936431] Node 0 DMA32 free:96236kB min:14912kB low:18640kB high:22368kB reserved_highatomic:0KB active_anon:134108kB inactive_anon:163616kB active_file:40544kB inactive_file:80604kB unevictable:0kB writepending:20kB present:902612kB managed:837040kB mlocked:0kB pagetables:4820kB bounce:0kB free_pcp:1896kB local_pcp:444kB free_cma:0kB
[2948794.936439] lowmem_reserve[]: 0 0 2714 2714 2714
[2948794.936448] Node 0 Normal free:133484kB min:52368kB low:65460kB high:78552kB reserved_highatomic:2048KB active_anon:653708kB inactive_anon:661728kB active_file:397956kB inactive_file:253440kB unevictable:144kB writepending:1456kB present:2891776kB managed:2786464kB mlocked:48kB pagetables:22752kB bounce:0kB free_pcp:4160kB local_pcp:856kB free_cma:0kB
[2948794.936455] lowmem_reserve[]: 0 0 0 0 0
[2948794.936460] Node 0 DMA: 7*4kB (UME) 3*8kB (UE) 15*16kB (UME) 7*32kB (ME) 4*64kB (UM) 4*128kB (UME) 3*256kB (UME) 2*512kB (ME) 1*1024kB (E) 1*2048kB (E) 2*4096kB (M) = 14340kB
[2948794.936482] Node 0 DMA32: 3295*4kB (UME) 4936*8kB (UME) 1099*16kB (UME) 154*32kB (UME) 53*64kB (UME) 16*128kB (ME) 9*256kB (ME) 6*512kB (UM) 6*1024kB (ME) 2*2048kB (M) 0*4096kB = 96236kB
[2948794.936505] Node 0 Normal: 3621*4kB (MEH) 1357*8kB (MEH) 2857*16kB (UMEH) 693*32kB (UMEH) 259*64kB (UMEH) 41*128kB (ME) 22*256kB (ME) 11*512kB (ME) 7*1024kB (M) 0*2048kB 0*4096kB = 133484kB
[2948794.936526] Node 0 hugepages_total=0 hugepages_free=0 hugepages_surp=0 hugepages_size=1048576kB
[2948794.936528] Node 0 hugepages_total=0 hugepages_free=0 hugepages_surp=0 hugepages_size=2048kB
[2948794.936529] 184470 total pagecache pages
[2948794.936532] 10069 pages in swap cache
[2948794.936534] Swap cache stats: add 1891574, delete 1881493, find 2324524/2691454
[2948794.936535] Free swap  = 832060kB
[2948794.936536] Total swap = 1951740kB
[2948794.936537] 952595 pages RAM
[2948794.936539] 0 pages HighMem/MovableOnly
[2948794.936541] 42743 pages reserved
[2948794.936542] 0 pages hwpoisoned

的输出df -h | grep -e tmpfs -e Filesystem

Filesystem Size Used Avail Use% Mounted on 
tmpfs 359M 4.2M 355M 2% /run 
tmpfs 1.8G 0 1.8G 0% /dev/shm 
tmpfs 5.0M 0 5.0M 0% /run/lock 
tmpfs 1.8G 0 1.8G 0% /sys/fs/cgroup 
tmpfs 359M 0 359M 0% /run/user/0 
tmpfs 359M 0 359M 0% /run/user/1000

编辑：htop 输出（仅父进程，按 mem% 排序） 在此输入图像描述

答案1

我猜这是因为 Docker 本身消耗了 RAM 来维护网络堆栈等。此外，一些内存只是用作缓存。您可以使用命令来区分它，例如htop指出“丢失”内存的使用位置。

编辑：使用htop和设置F2 密钥您可以执行此添加列以指出特定进程使用过程的百分比：

顶部设置

相关内容