☰

当没有差异时删除文件

tag-icon • tag-icon files file-comparison
当没有差异时删除文件

我对 bash 完全陌生。我有一个要求，需要执行以下操作：

  • 遍历目录 A 和目录 B 的同名文件夹
  • 找到两个具有相同名称的文件并比较它们（我使用diff <(文件1) <(排序文件2)比较文件）
  • 如果没有差异则删除目录A中的文件
  • 如果存在差异，则忽略并处理下一个匹配的文件对
  • 检查每个目录中的下一个文件夹并重复该过程，直到检查完所有匹配的文件夹。

例如，在目录 AI 中，文件夹 A 有 2 个文件（文件 1 和文件 2） 在目录 BI 中，文件夹 A 有 3 个文件（文件 1 和文件 2 和文件 3）

  • 两个目录中的 File1 相同 - 从目录 A 中删除
  • file2 有差异 - 保留在两个目录中
  • file3 不执行任何操作 - 保留在目录 B 中

我使用的文件是 xml 文件。文件中标签的顺序有时会有所不同，但内容将完全相同，除非有我想要保留文件的添加内容。我不一定关心标签的顺序是否不同，我只是想确保所有内容相同或不同。希望能提供更多清晰度。

任何帮助将非常感激。

更新：

所以我已经设法做到这一点，但运行脚本时控制台中的输出是空白的。它应该列出已发现相同的文件并将其删除，我哪里出错了？

空白的

            declare -a my_array
            shopt -s globstar
            cd /mnt/c/filediff/validation/applications/

            for file in **; do
                if [ -d "$file" ]; then 
                    echo "$file is a directory, skipping."; 
                else
                    fileName=${file#*/}
                    if [[ -e /mnt/c/filediff/package/"$fileName" ]]; then
                        echo diff -q <(sort "$file") <(sort /mnt/c/filediff/package/"$fileName") && 
            my_array=("${my_array[@]}" "$fileName")
                        #rm /mnt/c/filediff/package/"$fileName" 
                    fi
                fi
            done
            echo -e '\nRemoved the following files -----------------------------------'
            for item in "${my_array[@]}"
            do
                echo "ITEM: *** $item ***"
            done

答案1

你可以这样做：

for file in /path/to/dirA/*; do
    fileName=${file##*/}
    diff -q <(sort "$file") <(sort /path/to/dirB/"$fileName") && 
    rm /path/to/dirB/"$fileName"
done

这将迭代 中的所有文件dirA，将每个文件保存为$file.请注意，$file将包括路径，因此它将是/path/to/dirA/file1而不仅仅是file1.这就是为什么我们需要获取文件名，我们通过删除最后一个斜杠 ( fileName=${file##*/}) 之前的所有内容来实现。然后，我们默默地将该文件与目录 B 中的同名文件进行比较，如果它们相同，那么如果diff成功退出，我们将从目录 B 中删除该文件。这&&意味着“仅当该命令是时才运行下一个命令”成功”，因此rm仅当文件相同时才会运行。

要使其递归，假设您正在使用bash，请使用：

shopt -s globstar
cd /path/to/dirA/
for file in **; do
    fileName=${file#*/}
    echo diff -q <(sort "$file") <(sort /path/to/dirB/"$fileName") && 
    rm /path/to/dirB/"$fileName"
done

或者，更复杂一点，跳过目录和不存在的文件：

shopt -s globstar
cd /path/to/dirA/
for file in **; do
    if [ -d "$file" ]; then 
        echo "$file is a directory, skipping."; 
    else
        fileName=${file#*/}
        if [[ -e /path/to/dirB/"$fileName" ]]; then
            echo diff -q <(sort "$file") <(sort /path/to/dirB/"$fileName") && 
            rm /path/to/dirB/"$fileName"
        fi
    fi
done

答案2

使用诸如 之类的工具fdupes，该工具专门用于通过计算每个文件的 md5 哈希值来实现此目的。我不会在这里向您提供具体细节，因为有一些警告，例如如果您指定同一目录两次，则会丢失数据。例如，如果您指定/home/和~/ 同时，您的主目录中的文件将被列为它们自己的重复项。如果您将 fdupes 设置为自动删除重复项，您最终将删除主目录中的所有文件！

也许您能做的最有用的事情就是man fdupes在 CLI 中输入，它将向您显示包含所有选项的手册，这样您就可以自己找到使用它的最佳方法是什么，以及您想要使用哪些选项或不是。这些警告并不是可怕的事情，而是需要注意的事情，这可能是训练自己使用此类工具的最佳方法，因为您会更好地理解它的作用。如果您“盲目”复制粘贴答案中给出的建议，您将不会获得这种优势。

如果您没有可用的工具，您的发行版很可能会在存储库中提供它，因为它是许多人选择的命令行工具。

或者，您可能想考虑fslint，这显然是一个有用的基于 GUI 的工具。我自己从未尝试过，所以不能说太多。

相关内容