有条件删除重复文件

Question 1

results.txt该脚本将对生成的文件进行后处理，rdfind如您的问题所示：

#!/bin/bash
#
while read -r type x x x x x x path
do
    case "$type" in

        DUPTYPE_FIRST_OCCURRENCE)
            name="${path##*/}"
            echo "New path for $name" >&2
            ;;

        DUPTYPE_WITHIN_SAME_TREE|DUPTYPE_OUTSIDE_TREE)
            if [[ -n "$name" ]] && [[ ${path##*/} == $name ]]
            then
                echo "Remove duplicate $path" >&2
                # rm -f "$path"
            else
                echo "Skipping differently named $path" >&2
            fi
            ;;
    esac
done

rm当您准备好让它完成工作时，请取消注释。注释掉echo语句（或重定向标准错误）如果你不想冗长。

read -r type x x x x x x path循环顶部的语句读取八个空格分隔的字段。中间的六个不相关，因此我将它们读入垃圾变量，然后将其丢弃；仅$type和$path被使用。

产生results.txt

rdfind -dryrun true -makeresultsfile true {directory...}

后处理生成的文件（rddedup是我的脚本，如上所示）

rddedup < results.txt

Answer

results.txt该脚本将对生成的文件进行后处理，rdfind如您的问题所示：

#!/bin/bash
#
while read -r type x x x x x x path
do
    case "$type" in

        DUPTYPE_FIRST_OCCURRENCE)
            name="${path##*/}"
            echo "New path for $name" >&2
            ;;

        DUPTYPE_WITHIN_SAME_TREE|DUPTYPE_OUTSIDE_TREE)
            if [[ -n "$name" ]] && [[ ${path##*/} == $name ]]
            then
                echo "Remove duplicate $path" >&2
                # rm -f "$path"
            else
                echo "Skipping differently named $path" >&2
            fi
            ;;
    esac
done

rm当您准备好让它完成工作时，请取消注释。注释掉echo语句（或重定向标准错误）如果你不想冗长。

read -r type x x x x x x path循环顶部的语句读取八个空格分隔的字段。中间的六个不相关，因此我将它们读入垃圾变量，然后将其丢弃；仅$type和$path被使用。

产生results.txt

rdfind -dryrun true -makeresultsfile true {directory...}

后处理生成的文件（rddedup是我的脚本，如上所示）

rddedup < results.txt

Question 2

如何用另一种方式给这只猫剥皮？（OP编辑请求rmlint是在我正要发布此内容时发出的，但没关系，也可以发布此内容......请参阅底部的编辑rmlint）

由于结构已知，文件名的第一次出现是目标，并且在删除空行之前的后续重复文件名，那么我们也可以享受乐趣，awk尽管可能比 @roaima 慢一些

awk 'NF==0{getline; target=""}
     target==""{l=split($8,t,"/"); target=t[l];getline}
     {l=split($8,q,"/");if (q[l]==target)print $8}' file1 | while read f; do echo rm $f ; done

演练

如果我们有空行，请跳过它并将目标文件名重置为""

awk 'NF==0{getline; target=""}

如果目标未设置（即在每个空行之后和开始处），那么我们从此行获取目标文件名并跳到下一行

     target==""{l=split($8,t,"/"); target=t[l];getline}

现在对照目标检查当前行中的文件名，如果匹配则输出完整路径

     {l=split($8,q,"/");if (q[l]==target)print $8}' file1

然后awk通过循环进行实际删除（仅删除echo）。

    | while read f; do echo rm $f ; done

虽然你也可以这样做（同样只需删除echo）

     {l=split($8,q,"/");if (q[l]==target)print $8}' file1 | xargs echo rm

编辑上rmlintfront 看来你无法轻易控制的优先级独创性

默认情况下，如果您在 rmlint 命令中指定多个路径，则第一个命名的路径中的文件将被视为比后面命名的路径更“原始”。如果同一路径中有两个文件，则较旧的文件将被视为原始文件。如果它们具有相同的修改时间，那么选择哪一个作为原始版本只是一个机会问题。

但对于您的明确示例，该-d选项（原始是文件层次结构中的最低层）将与结合使用，-b以按文件名而不是内容进行匹配。

rmlint -d -b /home/

诚然，这是一个很多比我的脚本短，但阅读rmlint页面比编写脚本花费的时间更长。随你挑选。

未经测试，顺便说一下......

Answer