☰

如何删除目录中的重复文件？

tag-icon • tag-icon bash
如何删除目录中的重复文件？

我下载了一个目录中的大量图片。
下载器重命名了已存在的文件。
我还手动重命名了一些文件。

a.jpg
b.jpg
b(2).jpg
hello.jpg      <-- manually renamed `b(3).jpg`
c.jpg
c(2).jpg
world.jpg      <-- manually renamed `d.jpg`
d(2).jpg
d(3).jpg

如何删除重复的？结果应该是：

a.jpg
b.jpg
c.jpg
world.jpg

注意：名称无所谓。我只想要唯一的文件。

答案1

bash 4.x

#!/bin/bash
declare -A arr
shopt -s globstar

for file in **; do
  [[ -f "$file" ]] || continue
   
  read cksm _ < <(md5sum "$file")
  if ((arr[$cksm]++)); then 
    echo "rm $file"
  fi
done

这是递归的，可以处理任何文件名。缺点是它需要 4.x 版本才能使用关联数组和递归搜索。echo如果您喜欢结果，请删除。

gawk 版本

gawk '
  {
    cmd="md5sum " q FILENAME q
    cmd | getline cksm
    close(cmd)
    sub(/ .*$/,"",cksm)
    if(a[cksm]++){
      cmd="echo rm " q FILENAME q
      system(cmd)
      close(cmd)
    }
    nextfile
  }' q='"' *

请注意，这仍然会对名称中包含双引号的文件造成影响。没有真正的方法可以解决这个问题awk。echo如果您喜欢结果，请删除。

答案2

重复项是您选择的工具。要查找当前目录中的所有重复文件（按内容而不是按名称）：

fdupes -r .

要手动确认删除重复文件：

fdupes -r -d .

要自动删除除每个重复文件的第一个副本之外的所有副本（请注意，此警告实际上会按照要求删除文件)：

fdupes -r -f . | grep -v '^$' | xargs rm -v

我建议在删除之前手动检查文件：

fdupes -rf . | grep -v '^$' > files
... # check files
xargs -a files rm -v

答案3

我建议克隆。

Fclones 是一个用 Rust 编写的现代重复文件查找器和删除程序，可在大多数 Linux 发行版和 macOS 上使用。

显著特点：

  • 支持文件路径中的空格、非 ASCII 和控制字符
  • 允许在多个目录树中搜索
  • 尊重 .gitignore 文件
  • 安全：允许在对重复项执行任何操作之前手动检查重复项列表
  • 提供大量选项来过滤/选择要删除或保留的文件
  • 非常快

要在当前目录中搜索重复项，只需运行：

fclones group . >dupes.txt

然后，您可以检查dupes.txt文件以检查是否找到了正确的重复项（您也可以根据自己的喜好修改该列表）。

最后使用以下方法之一删除/链接/移动重复文件：

fclones remove <dupes.txt
fclones link <dupes.txt
fclones move target <dupes.txt
fclones dedupe <dupes.txt   # copy-on-write deduplication on some filesystems

例子：

pkolaczk@p5520:~/Temp$ mkdir files
pkolaczk@p5520:~/Temp$ echo foo >files/foo1.txt
pkolaczk@p5520:~/Temp$ echo foo >files/foo2.txt
pkolaczk@p5520:~/Temp$ echo foo >files/foo3.txt

pkolaczk@p5520:~/Temp$ fclones group files >dupes.txt
[2022-05-13 18:48:25.608] fclones:  info: Started grouping
[2022-05-13 18:48:25.613] fclones:  info: Scanned 4 file entries
[2022-05-13 18:48:25.613] fclones:  info: Found 3 (12 B) files matching selection criteria
[2022-05-13 18:48:25.614] fclones:  info: Found 2 (8 B) candidates after grouping by size
[2022-05-13 18:48:25.614] fclones:  info: Found 2 (8 B) candidates after grouping by paths and file identifiers
[2022-05-13 18:48:25.619] fclones:  info: Found 2 (8 B) candidates after grouping by prefix
[2022-05-13 18:48:25.620] fclones:  info: Found 2 (8 B) candidates after grouping by suffix
[2022-05-13 18:48:25.620] fclones:  info: Found 2 (8 B) redundant files

pkolaczk@p5520:~/Temp$ cat dupes.txt
# Report by fclones 0.24.0
# Timestamp: 2022-05-13 18:48:25.621 +0200
# Command: fclones group files
# Base dir: /home/pkolaczk/Temp
# Total: 12 B (12 B) in 3 files in 1 groups
# Redundant: 8 B (8 B) in 2 files
# Missing: 0 B (0 B) in 0 files
6109f093b3fd5eb1060989c990d1226f, 4 B (4 B) * 3:
    /home/pkolaczk/Temp/files/foo1.txt
    /home/pkolaczk/Temp/files/foo2.txt
    /home/pkolaczk/Temp/files/foo3.txt

pkolaczk@p5520:~/Temp$ fclones remove <dupes.txt
[2022-05-13 18:48:41.002] fclones:  info: Started deduplicating
[2022-05-13 18:48:41.003] fclones:  info: Processed 2 files and reclaimed 8 B space

pkolaczk@p5520:~/Temp$ ls files
foo1.txt

答案4

如何测试具有独特内容的文件？

if diff "$file1" "$file2" > /dev/null; then
    ...

我们如何获取目录中的文件列表？

files="$( find ${files_dir} -type f )"

我们可以从该列表中获取任意 2 个文件，并检查它们的名称是否不同且内容是否相同。

#!/bin/bash
# removeDuplicates.sh

files_dir=$1
if [[ -z "$files_dir" ]]; then
    echo "Error: files dir is undefined"
fi

files="$( find ${files_dir} -type f )"
for file1 in $files; do
    for file2 in $files; do
        # echo "checking $file1 and $file2"
        if [[ "$file1" != "$file2" && -e "$file1" && -e "$file2" ]]; then
            if diff "$file1" "$file2" > /dev/null; then
                echo "$file1 and $file2 are duplicates"
                rm -v "$file2"
            fi
        fi
    done
done

例如，我们有一些目录：

$> ls .tmp -1
all(2).txt
all.txt
file
text
text(2)

因此只有 3 个唯一文件。

让我们运行该脚本：

$> ./removeDuplicates.sh .tmp/
.tmp/text(2) and .tmp/text are duplicates
removed `.tmp/text'
.tmp/all.txt and .tmp/all(2).txt are duplicates
removed `.tmp/all(2).txt'

我们只剩下 3 个文件了。

$> ls .tmp/ -1
all.txt
file
text(2)

相关内容