如何在 Linux 中删除大量文件/文件夹

如何在 Linux 中删除大量文件/文件夹

我们正在使用 Hadoop 将表分割成更小的文件以提供给 mahout,但在此过程中,我们创建了大量的临时日志。

我们有一个用于 Hadoop 卷的 NFS 挂载,因此我们可以使用所有 linux 命令来删除文件夹文件,但我们就是无法删除它们,以下是我迄今为止尝试过的方法:

hadoop fs -rmr /.../_temporary  : hangs for hours and does nothing

在 NFS 挂载上:

rmr -rf /.../_temporary :hangs for hours and does nothing

find . -name '*.*' -type f -delete : same as above

这些文件夹如下所示(_temporary 内有 38 个这样的文件夹):

drwxr-xr-x 319324 user user 319322 Oct 24 12:12 _attempt_201310221525_0404_r_000000_0

这些内容实际上是文件夹,而不是文件。这 319322 个文件夹中的每一个都只有一个文件。不确定为什么要以这种方式进行记录。

答案1

rmrm -r或是否rmdir分别对单个文件或目录起作用?

如果是这样,我敢打赌你正在等待 NFS 对 319222 个文件夹名称进行排序并按字母顺序显示它们。尝试ls -f | xargs rm -r

相关内容