☰

dd: `iflag=nocache` 第一次使用无效

tag-icon • tag-icon dd
dd: `iflag=nocache` 第一次使用无效

iflag=nocache的标志dd似乎只有在第二次以后才生效。
我不明白为什么。
我想这可能与预读缓存有关，但它并没有解释下表中的结果：

Results - Effect of iflag=nocache: from big SATA SSD file to /dev/null:
Test_Name                dd_flags       Time[s]  time/dd exit status
w/ iflag=nocache         iflag=nocache  6.95     0
again w/ iflag=nocache   iflag=nocache  6.94     0
first w/o iflag=nocache  -              6.94     0
2nd w/o iflag=nocache    -              2.60     0
3nd w/o iflag=nocache    -              2.49     0
first w/ iflag=nocache   iflag=nocache  2.71     0
2nd w/ iflag=nocache     iflag=nocache  6.94     0
3rd w/ iflag=nocache     iflag=nocache  6.94     0

关于底部 3 个测试/行：

  • 第一次iflag=nocache使用时，缓存仍在使用中（由于花费的时间很快）。
  • 最后两次尝试iflag=nocache花费了很长时间（即没有缓存），这意味着它们可能没有使用预读缓存，因此预读缓存可能不是这里的问题。
  • 该iflag=nocache标志似乎有效，因为随后尝试使用它的速度要慢得多，这意味着未使用缓存。

笔记：

  • 上表中的列dd_flags显示了提供给 的所有标志dd，除了两个标志if和of。对于具有-该列的行dd_flags，这意味着dd没有其他标志（除了if和of）
  • 输入文件dd是一个大文件（3.8GB），存储在SATA SSD中（最大吞吐量约为500MB）。
  • 输出文件dd是 /dev/null。
  • 上表中的列Time[s]是“实时”，它是timeBash 保留字的结果。
  • 我不执行同步，因为不需要 - 文件是在电脑启动之前写入的。
  • 我不清空操作系统页面缓存（使用echo 1 >|/proc/sys/vm/drop_caches），因为我想避免缓存完全失效。

我尝试删除整个文件的缓存，如info dd- 所示似乎有效：

Results - Effect of iflag=nocache: from big SATA SSD file to /dev/null:
Test_Name                  dd_flags               Time[s]  time/dd exit status
w/ iflag=nocache           iflag=nocache          6.95     0
again w/ iflag=nocache     iflag=nocache          6.95     0
first w/o iflag=nocache    -                      6.94     0
2nd w/o iflag=nocache      -                      2.60     0
3nd w/o iflag=nocache      -                      2.49     0
Drop cache for whole file  iflag=nocache,count=0  0.14     0
first w/ iflag=nocache     iflag=nocache          6.94     0
2nd w/ iflag=nocache       iflag=nocache          6.94     0
3rd w/ iflag=nocache       iflag=nocache          6.94     0

版本：

$ dd --version | head -1
dd (coreutils) 8.32

相关阅读没有解决我的问题：

dd“直接”与“无缓存”

https://www.gnu.org/software/coreutils/manual/html_node/dd-inspiration.html#dd-invocation

答案1

那是因为iflag=nocache删除缓存...后它已经读过，而不是之前。

如果你使用 strace 你可以看到这一点：

# strace dd iflag=nocache … |& grep -Pi 'read|dontneed'
[…]
read(0, "\0"..., 65536) = 65536
read(0, "\0"..., 65536) = 65536
fadvise64(0, 393216, 131072, POSIX_FADV_DONTNEED) = 0
read(0, "\0"..., 65536) = 65536
read(0, "\0"..., 65536) = 65536
fadvise64(0, 524288, 131072, POSIX_FADV_DONTNEED) = 0
read(0, "\0"..., 65536) = 65536
read(0, "\0"..., 65536) = 65536
fadvise64(0, 655360, 131072, POSIX_FADV_DONTNEED) = 0
[…]

每次读取后都会有一个POSIX_FADV_DONTNEED范围，该范围涵盖了先前读取的内容。

它与读取不完全匹配，因为 POSIX_FADV_DONTNEED 需要与 dd 使用的块大小不同的对齐方式。但最终它仍然会丢弃之前读取的块的缓存。

因此，如果您的目的是读取未缓存的数据，则此 iflag 将无法帮助您。(*)

相反，目的是不缓存已读取的内容，也不取代之前已缓存的其他内容。这是一种复制或流式传输大文件而不过多干扰现有缓存的方法。

man 2 posix_fadvise是这样描述的：

POSIX_FADV_DONTNEED
近期将不会访问指定的数据。

POSIX_FADV_DONTNEED尝试释放与指定区域关联的缓存页面。例如，在流式传输大文件时，这很有用。程序可能会定期请求内核释放已使用的缓存数据，以便不会丢弃更多有用的缓存页面。

丢弃部分页面的请求将被忽略。保留需要的数据比丢弃不需要的数据更好。如果应用程序要求考虑丢弃数据，则 offset 和 len 必须页对齐。

所以它是针对已经使用过的数据（已经被dd读取）但不保存在缓存中，以免丢弃更有用的东西。

(*)

info dd列出此示例作为删除整个文件的缓存而不读取它的方法：

dd if=ifile iflag=nocache count=0

nocache 标志的描述也比联机帮助页更详细，因此也许值得一读。

相关内容