递归地将 Windows 文件转换为 Unix 文件

递归地将 Windows 文件转换为 Unix 文件

我有一个 PHP 应用程序,位于 Linux 上,有多个目录(和子目录)和许多 PHP、JS、HTML、CSS 等文件。许多文件都有 Windows EOL 控制字符,我还担心有些文件可能不是 UTF-8 编码,但可能是 ISO-8859-1、Windows-1252 等。我的愿望是将所有文件转换为带有 LF 的 UTF-8仅有的。

看来我可能还有几步。

dos2unix man 提供了这个解决方案:

find . -name *.txt |xargs dos2unix

https://stackoverflow.com/a/11929475提供了这个解决方案:

find . -type f -print0 | xargs -0 dos2unix

https://stackoverflow.com/a/7068241提供了这个解决方案:

find ./ -type f -exec dos2unix {} \;

我认识到第一个只会转换 txt 文件,这不是我想要的,但我可以轻松更改为使用-type f.话虽如此,一种解决方案是否比另一种“更好”?如果是这样,为什么?是否可以在不更改文件的情况下判断哪些文件将被更改?当我最终更改它们时,我不想更改日期,并打算使用 dos2unix 的--keepdate标志。应该使用其他选项吗?

接下来,我需要处理编码。 https://stackoverflow.com/a/805474/1032531推荐enca(或其姊妹命令encov)和https://stackoverflow.com/a/64889/1032531推荐iconv。它似乎也file可能适用。再说一遍,应该使用哪一个(或者可能是其他东西)?我安装enca并执行时enca --list languages,它列出了几种语言,但没有英语(也许选择“无”?),我的问题是适用性。 iconv已经安装,但是,它没有手册页(至少man iconv没有)。如何使用它来递归检查和转换编码?

请确认/更正我提出的解决方案或提供完整的解决方案。

答案1

这里有很多问题合而为一。

首先,当使用 find 时,我总是使用--exec而不是xargs.作为一般规则,最好用尽可能少的命令来完成任务。而且前两种方法还将所有文件名写入文本流,以供 xargs 重新解释回文件名。这是一个不必要的步骤,只会添加 (诚然很小)失败的机会。

dos2unix将接受多个文件名,所以我会使用:

find . -type f -exec dos2unix --keepdate {} +

这将堆积一长串文件,然后dos2unix立即启动一大堆文件。


要找出哪些文件将被触摸,只需删除 exec 子句:

find . -type f

编码更改的问题要大得多。请注意,无法可靠地确定任何文本文件的当前编码。有时可以猜测,但这永远不是 100% 可靠。因此,如果您确定所有文件当前都是相同的编码,则只能批量处理编码。

我建议使用iconv.这确实也是这项工作的默认设置。您可以在这里找到它的手册页:

https://linux.die.net/man/1/iconv

这里有一个如何使用iconvwith 的工作示例find

https://stackoverflow.com/questions/4544669/batch-convert-latin-1-files-to-utf-8-using-iconv

相关内容