Linux 时间包装器的结果告诉我这个 cp 命令发生了什么？

Question

我对这个问题的看法是从开发者的角度来看的。我编写的代码被放置在作为企业系统中的众多虚拟机之一运行的 RHEL 虚拟机上。所使用的文件系统是远程网络连接存储设备。

在批处理过程中，我们的简单命令存在很大的可变性。所以我们设置了一个测试来获取更多信息，但现在我不知道我们发现了什么。

我们每 30 分钟运行一次以下命令并记录输出。这是 6 GB 文件的副本。当系统忙于运行大量作业并且此测试命令的 CPU 时间较低时，我看到运行时间从 11 秒跃升至 190 秒。

我可以看到，当 CPU 较低时，“I”列（文件系统输入）会被填充，但当 CPU 较高时则不会。 “w”栏（非自愿掉期）也高得多。

我的问题是，当 CPU 时间减少时，这个作业/命令发生了什么，迫使它运行这么长时间？换入/换出是否将所有数据存储在速度慢得多的其他设备上？一般来说，换入/换出期间会发生什么？

正在运行的命令：

/usr/bin/time -a -o filename.txt cp file.txt fileCopy.txt

日期	时间	e	S	U	磷	C	w	我	氧
2022 年 3 月 14 日	5:19:02	64.9	16.23	1.03	26%	3005	29210	12000016	12000000
2022 年 3 月 14 日	5:49:02	12.7	11.63	0.79	97%	2069	76	0	12000000
2022 年 3 月 14 日	6:19:02	100.39	14.74	0.78	15%	1034	29925	12000136	12000000
2022 年 3 月 14 日	6:49:24	191.32	18.86	0.94	10%	3374	36164	12001024	12000000
2022 年 3 月 14 日	7:19:02	71.61	15.61	0.88	23%	1610	30316	12000296	12000000
2022 年 3 月 14 日	7:49:02	70.73	17.5	0.91	26%	1408	29540	12000072	12000000
2022 年 3 月 14 日	8:19:02	10.95	9.89	0.7	96%	第1709章	75	0	12000000
2022 年 3 月 14 日	8:49:02	11.01	10.22	0.73	99%	239	85	0	12000000

/usr/bin/time 手册页中的列描述

e   Elapsed real time (in seconds).
S   Total number of CPU-seconds that the process spent in kernel mode.
U   Total number of CPU-seconds that the process spent in user mode.
P   Percentage of the CPU that this job got, computed as (%U + %S) / %E.
c   Number of times the process was context-switched involuntarily (because the time slice expired).
w   Number of waits: times that the program was context-switched voluntarily, for instance while waiting for an I/O operation to complete.
I   Number of filesystem inputs by the process.
O   Number of filesystem outputs by the process.

Answer 1

这个答案可能并不特定于您的示例，但它是对该问题的更一般性答案Generally, what happens during a swap in/out?请注意，其中一些内容将是概括性的，我掩盖了很多内容以避免撰写有关内存管理的博士论文。

简而言之，一切都与内存管理有关。分为容器内和容器外。让我们首先看一个非常简单的案例——从磁盘读取数据。首先，系统将查看您正在读入数据的变量，并向内核请求那么多的内存空间。由于我们处于新启动的系统中，内核可以轻松分配内存，将其交给进程，然后将值从磁盘复制到内存。简单、容易、快速。

因此，让我们添加一些复杂性。随着系统启动越来越多的作业，CPU 会变得更加繁忙（显然！）。虽然这与内存管理没有直接关系，但它确实与哪些进程获得 CPU 时间片有关。最容易理解的调度程序是循环调度程序 - 内核遍历请求 CPU 周期的进程列表，并按照它们在列表中出现的顺序为每个进程提供相同数量的周期。这通常是他们将自己添加到列表中的顺序。然后添加进程优先级的概念，这意味着某些特殊进程比其他进程更快地到达列表顶部。一般来说，这种类型的命令 ( cp) 的优先级相当低，并且它不会太频繁地要求 CPU 时间，因为它的大部分时间将花在等待磁盘响应上。

顺便说一句，您从网络存储中读取数据会增加更多的延迟，因为您不仅要求磁盘设备为您提供数据，而且还要求网络接口为您做一些事情。同样，与内存管理讨论没有直接关系，但网络磁盘比本地磁盘慢，因此您在进程中花费更多时间等待 I/O 请求完成。

现在，让我们看看一个已经运行了一段时间的系统。大多数时候，您会发现“空闲”内存值相当低，通常是出乎意料的。这是否意味着 Linux 正在浪费你的 RAM？一点都不。部分内存消耗是磁盘缓存 - 请参阅Linux 占用我所有的内存！了解这方面的背景。

高内存使用率的另一个原因是 Linux 很懒——它不会做任何它不需要做的事情。其中之一是将内存页返回到“空闲”列表。当进程完成使用内存页面时，内核会将该页面标记为“干净”，但会将其保留在“已使用”列表中。这仅意味着该页面可供任何其他进程立即重用。请注意，一个页面也可以被标记为“脏”——这意味着正在使用该内存的进程已完成使用该内存并要求将其写回磁盘，但由于没有其他进程需要该特定页面，因此 Linux 会等待直到其他人实际上需要它来将其刷新到磁盘并将该页面标记为可用。这最常见于磁盘缓存，但也可以在文件写入中看到。

因此，我们的系统在“空闲”列表上没有任何内容，但在“干净”和“脏”列表上有很多页面。随之而来的是一个新进程，要求一些内存，然后 Linux 必须在“干净”或“脏”列表上找到足够大的空间块 - 如果它是脏的，它必须强制将该页面刷新到磁盘。用人类的术语来说，这就像从“空闲”列表中分配页面一样瞬时发生，但用计算机术语来说，它实际上需要更长的时间。

在您的情况下，虽然容器本身是新的，并且容器内的所有内存都是“空闲”的，但运行容器的操作系统可能只剩下很少的“空闲”内存，而是从“干净”和“脏”页面分配列表。当系统繁忙时，脏页的刷新会更频繁地发生，增加IO等待时间，增加分配内存的时间等等。

最重要的是，您的系统运行正常。它应该使像 a 这样的不重要进程cp花费更长的时间（增加系统和用户时间片time），同时它担心它正在运行的所有其他进程，尤其是它拥有的更高优先级进程。是的，写一篇关于 Linux 内存管理的博士论文确实是可能的——就是这么复杂。