☰

Linux命令行查找重复文件并只保留最新的

tag-icon • tag-icon linux command-line files date rm
Linux命令行查找重复文件并只保留最新的

我有一个包含大量 XML 文件的目录。

它们被标记为文件名_日期_时间_校验和.xml，这意味着我有数千个相同但由校验和分隔的文件。

是否有一个命令行可以运行，如果 filename_date_time_*.xml 存在，则保留最后修改的版本并删除其他版本？

例子：

uk_3345_20190905_1600_b4ec24da7c59c1d889fb22ad9fad34aca882102e.xml
uk_1552_20190905_1605_1a31fd97541bf300d5bf4c0c4a349e00eee5a8fb.xml
uk_1552_20190905_1605_3d307e3ffbb3259a47a1bc1690c17fd291fe2cb0.xml
uk_1552_20190905_1605_7da5fa3b26cbe04eb01c6308c7b680fb4eb2e463.xml
uk_1552_20190905_1605_b4ec24da7c59c1d889fb22ad9fad34aca882102e.xml
uk_1552_20190905_1605_d01c541fc8db736d223a21a29d9766532140fdb8.xml
uk_1552_20190905_1605_fac6793f2f7e5374157c5d08ee555fcf1bbbf5f2.xml
uk_3345_20190905_1600_1a31fd97541bf300d5bf4c0c4a349e00eee5a8fb.xml
uk_3345_20190905_1600_d01c541fc8db736d223a21a29d9766532140fdb8.xml

这些文件可以随时生成。如果文件是uk_3345_20190905_1600_d01c541fc8db736d223a21a29d9766532140fdb8.xml在 2019 年 9 月 1 日 13:44 和uk_3345_20190905_1600_b4ec24da7c59c1d889fb22ad9fad34aca882102e.xml2019 年 9 月 2 日 09:00 生成的，我只想保留最新生成的文件。我需要使用的文件的唯一属性是修改日期。

答案1

这是未经测试的：

# find the *latest* file for each prefix
declare -A mtime name
stat -c "%Y %n" *xml |
while read -r time filename; do
    prefix=${filename%_*}

    if (( $time > ${mtime[$prefix]:-0} )); then
        mtime[$prefix]=$time
        name[$prefix]=$filename
    fi
done

# put the filenames into an associative array for easy lookup
declare -A keep
for filename in "${name[@]}"; do
    keep[$filename]=1
done

# look at teach file to determine its fate
for file in *xml; do
    if [[ -v keep[$file] ]]; then
        echo "# keep $file"
    else
        echo "rm $file"
    fi
done

或者，该管道应该输出您想要保留的文件：

paste <( printf "%s\n" *.xml) \
      <( printf "%s\n" *.xml | cut -d _ -f 1-4) \
      <( stat -c '%Y' *.xml) |
sort -k2,2 -k3,3rn |
awk '!seen[$2]++ {print $1}'

相关内容