☰

如何防止子树删除（`rm -rf`）导致其他进程缺乏磁盘 I/O？

tag-icon • tag-icon linux hard-drive io rm ionice
如何防止子树删除（`rm -rf`）导致其他进程缺乏磁盘 I/O？

我们的一个繁忙网站有一个非常大（多 GB）的 Nginx 缓存目录，有时我们需要一次性清除所有缓存。我过去曾通过将缓存文件夹移动到新路径、在旧路径上创建新缓存文件夹，然后rm -rf删除旧缓存文件夹来解决这个问题。

然而，最近，当我需要在繁忙的早晨清除缓存时，I/O 导致rm -rf我的服务器进程无法访问磁盘，因为 Nginx 和它所面向的服务器都是读取密集型的。我可以看到平均负载上升，而 CPU 处于空闲状态，rm -rf占用了 98-99% 的磁盘 IO iotop。

我曾尝试ionice -c 3调用rm，但似乎对观察到的行为没有明显的影响。

有什么方法可以驯服rm -rf以共享更多磁盘吗？我是否需要使用另一种可以从中获取线索的技术ionice？

更新：

有问题的文件系统是 AWS EC2 实例存储（主磁盘是 EBS）。/etc/fstab条目如下所示：

/dev/xvdb       /mnt    auto    defaults,nobootwait,comment=cloudconfig 0       2

答案1

所有数据均从本页面收集。 以下是删除大型文件目录的一些选项。查看文章以了解其实现方式的详细信息。

命令已用系统时间 %CPU cs1* (Vol/Invol)
rsync -a –删除空/a 10.60 1.31 95% 106/22
查找 b/ -类型 f -删除 28.51 14.46 52% 14849/11
查找 c/-type f | xargs-L 100 rm 41.69 20.60 54％37048/15074
查找 d/-type f | xargs -L 100 -P 100 rm 34.32 27.82 89% 929897/21720
rm -rf f 31.29 14.80 47% 15134/11

*cs1 是上下文切换自愿和非自愿

答案2

删除文件仅对文件系统执行元数据操作，不受 ionice 的影响。

最简单的方法是，如果您现在不需要磁盘空间，则可以rm在非高峰时段执行。

更复杂的方法可能会奏效，即随着时间的推移分散删除操作。您可以尝试以下方法（请注意，它假定您的路径和文件名不包含任何空格！）：

while find dir -type f | head -n 100 | xargs rm; do sleep 2; done
while find dir -type d -depth | head -n 100 | xargs rmdir; do sleep 2; done

还要注意，您不能rm -f在第一个命令中使用，因为循环不会停止（这取决于rm没有参数时的错误退出代码）。

您可以通过修改每个周期的删除次数（示例中为 100）和休眠持续时间来调整它。但是，这可能不起作用，因为文件系统可能仍会将元数据更新聚集在一起，从而导致您的 IO 负载出现问题。您只需尝试一下。

答案3

您可以将它与“nice”命令配对。 ionice -c 3 nice -19 rm -rf /some/folder

这会改变机器上进程的优先级。

相关内容