☰

奇怪的文件名编码

tag-icon • tag-icon bash filesystems
奇怪的文件名编码

我遇到了一个关于文件名的奇怪问题。情况摘要如下：

[username@xxx tmp]$ ll
-rw-r--r--. 1 xxx xxx 42694  8. Jun 19:56 12287_KKL_Messegerät_EF_30.1.pdf
-rw-r--r--. 1 xxx xxx 42694  8. Jun 19:56 12287_KKL_Messegerät_EF_30.1.pdf

事实上，两个文件的文件名和内容完全相同。该文件的来源包含一些类似的文件。为了重现，这里有一个例子：

$ mount
/dev/vda1 on / type ext4 (rw,noatime,nodiratime,grpquota)
$ touch ä
$ ll ä
-rw-r--r--. 1 xxx xxx 0  8. Jun 19:59 ä

所以总的来说，变音符号是有效的。现在我删除目录中的文件，并将奇怪的文件复制到空目录中：

[username@xxx tmp]$ rm *
[username@xxx tmp]$ cp /tmp/12287_KKL_Messegerät_EF_30.1.pdf .
[username@xxx tmp]$ ll 12287*
-rw-r--r--. 1 xxx xxx 42694  8. Jun 20:01 12287_KKL_Messegerät_EF_30.1.pdf
[username@xxx tmp]$ ll 12287_KKL_Messegerät_EF_30.1.pdf
ls: Zugriff auf 12287_KKL_Messegerät_EF_30.1.pdf nicht möglich: Datei oder Verzeichnis nicht gefunden

这意味着，直接访问文件不起作用。但是，如果我来回重命名它，它就可以正常工作：

[username@xxx tmp]$ mv 12287_KKL_Messegerät_EF_30.1.pdf 12287_KKL_Messegerät_EF_30.1.pdf_
[username@xxx tmp]$ mv 12287_KKL_Messegerät_EF_30.1.pdf_ 12287_KKL_Messegerät_EF_30.1.pdf
[username@xxx tmp]$ ll 12287_KKL_Messegerät_EF_30.1.pdf
-rw-r--r--. 1 xxx xxx 42694  8. Jun 20:01 12287_KKL_Messegerät_EF_30.1.pdf
[username@xxx tmp]$

知道发生什么事了吗？

- 更新 -

/proc/mounts 的输出：

$ cat /proc/mounts
rootfs / rootfs rw 0 0
proc /proc proc rw,relatime,hidepid=2 0 0
sysfs /sys sysfs rw,seclabel,relatime 0 0
devtmpfs /dev devtmpfs rw,seclabel,relatime,size=12292684k,nr_inodes=3073171,mode=755 0 0
devpts /dev/pts devpts rw,seclabel,relatime,gid=5,mode=620,ptmxmode=000 0 0
tmpfs /dev/shm tmpfs rw,seclabel,relatime,size=12302624k,nr_inodes=3075656 0 0
/dev/vda1 / ext4 rw,seclabel,noatime,nodiratime,barrier=1,stripe=128,data=ordered,grpquota 0 0
none /selinux selinuxfs rw,relatime 0 0
devtmpfs /dev devtmpfs rw,seclabel,relatime,size=12292684k,nr_inodes=3073171,mode=755 0 0
/proc/bus/usb /proc/bus/usb usbfs rw,relatime 0 0
tmpfs /var/lib/php-sessions tmpfs rw,rootcontext=system_u:object_r:var_lib_t:s0,seclabel,relatime,size=9784216k,nr_inodes=2446054,mode=1333 0 0
none /proc/sys/fs/binfmt_misc binfmt_misc rw,relatime 0 0
/etc/auto.misc /misc autofs rw,relatime,fd=7,pgrp=6943,timeout=300,minproto=5,maxproto=5,indirect 0 0
-hosts /net autofs rw,relatime,fd=13,pgrp=6943,timeout=300,minproto=5,maxproto=5,indirect 0 0
sunrpc /var/lib/nfs/rpc_pipefs rpc_pipefs rw,relatime 0 0

- 更新 -

事实上，这些文件有不同的 inode：

26346402 -rw-r--r--. 1 xxx xxx  42694  8. Jun 19:49 12287_KKL_Messegerät_EF_30.1.pdf
26360081 -rw-r--r--. 1 xxx xxx  42694 30. Mai 2012  12287_KKL_Messegerät_EF_30.1.pdf

答案1

在所有评论的帮助下，我编写了一个 python 脚本来递归地规范化所有文件：

#!/usr/bin/env python
# coding=utf-8
import unicodedata
import sys,os

# Walks recursively through directory and normalizes all filenames to NFC

for dirPath, subdirList, fileList in os.walk(sys.argv[1]):
    for fname in fileList:
        d = os.path.join(dirPath, fname)
        filename = unicodedata.normalize('NFC', unicode(d, 'utf-8')).encode('utf-8')
        print d, "=>", filename
        os.rename(d, filename)

感谢大家！

相关内容