现在解析 GNU ls 的输出是否安全?

现在解析 GNU ls 的输出是否安全?

过去几十年来公认的观点是,解析ls([1],[2])。例如,如果我想将文件的修改日期及其名称保存到 shell 变量中,则这不是正确的方法:

$ ls -l file
-rw-r--r-- 1 terdon terdon 0 Aug 15 19:16 file
$ foo=$(ls -l file | awk '{print $9,$6,$7,$8}')
$ echo "$foo"
file Aug 15 19:16

只要文件名稍有不同,该方法就会失败:

$ ls -l file*
-rw-r--r-- 1 terdon terdon 0 Aug 15 19:16 'file with spaces'
$ foo=$(ls -l file* | awk '{print $9,$6,$7,$8}')
$ echo "$foo"
file Aug 15 19:16

如果文件的修改日期与今天不接近,情况会变得更糟,因为这可能会更改时间格式:

$ ls -l
total 0
-rw-r--r-- 1 terdon terdon 0 Aug 15 19:21  file
-rw-r--r-- 1 terdon terdon 0 Aug 15  2018 'file with spaces'

然而,较新版本的 GNU coreutilsls有两个选项,可以组合起来设置特定的时间格式并生成 NULL 界定的输出:

      --time-style=TIME_STYLE
              time/date format with -l; see TIME_STYLE below
[...]
     --zero end each output line with NUL, not newline
[...]
       The TIME_STYLE argument can be full-iso,  long-iso,  iso,  locale,  or
       +FORMAT.   FORMAT  is  interpreted like in date(1).  If FORMAT is FOR‐
       MAT1<newline>FORMAT2, then FORMAT1 applies  to  non-recent  files  and
       FORMAT2  to recent files.  TIME_STYLE prefixed with 'posix-' takes ef‐
       fect only outside the POSIX locale.  Also the  TIME_STYLE  environment
       variable sets the default style to use.

这里再次是设置了这些选项的文件(每行输出末尾的零被替换为#换行符,以稍微提高可读性):

$ ls -l --zero --time-style=long-iso -- *
-rw-r--r--+ 1 terdon terdon 0 2023-08-16 21:35 a file with a
newline#
-rw-r--r--+ 1 terdon terdon 0 2023-08-15 19:16 file#
-rw-r--r--+ 1 terdon terdon 0 2018-08-15 12:00 file with spaces#

ls有了这些可用的选项,我可以做许多传统上有害的事情。例如:

  1. 将最近修改的文件名放入变量中:

    $ touch 'a file with a'$'\n''newline'
    $ last=$(ls -tr --zero | tail -z -n1)
    bash: warning: command substitution: ignored null byte in input
    $ printf -- 'LAST: "%s"\n' "$last"
    LAST: "a file with a 
    newline"
    
  2. 引发这个问题的例子。另一个问题,在 Ask Ubuntu 上,OP 想要打印文件名和修改日期。有人发帖一个答案使用ls和 是一个聪明的awk技巧,如果我们添加--zerols,它似乎非常强大:

    $ output=$(ls -l --zero --time-style=long-iso -- * | 
               awk 'BEGIN{RS="\0"}{ t=index($0,$7); print substr($0,t+6), $6 }')
    $ printf 'Output: "%s"\n' "$output"
    Output: "a file with a
    newline 2023-08-16"
    

我找不到一个可以打破这两个例子的名字。所以,我的问题是:

  1. 是否存在上述两个示例之一会失败的情况?也许有一些奇怪的地方?
  2. 如果不是,这是否意味着现代版本的 GNUls实际上可以安全地使用任意文件名?

答案1

现在解析 GNU ls 的输出是否安全? (和--zero

--zero确实有很大帮助,但这里使用的方式仍然不安全。其输出格式ls本身以及问题中用于解析输出的命令都 存在问题。--zero实际上提到了在 ParsingLs wiki 页面中,但他们在示例中不使用长格式(可能是因为这里的问题!)。此答案中的许多问题是由 Stéphane Chazelas 在评论中提出的。


首先,ls -l这是一个问题,因为它仍然愉快地按原样打印包含空格的用户/组名称,弄乱了列数(--zero这里并不重要):

$ ls -l --time-style=long-iso foo.txt
-rw-rw-r-- 1 foo bar users 0 2023-08-16 16:45 foo.txt

至少,您需要--numeric-uid-gid/ -n,它将 UID 和 GID 打印为数字,或者-go完全忽略它们。两者也都包含其他长格式字段。

ls还将列出参数中出现的任何目录的内容,因此您可能还需要-d

我认为其他列不能包含空格或 NUL,所以

ls -dgo --time-style=long-iso --zero -- *

可能是安全的。或许。

它仍然不是最容易解析的,因为如果有多个文件,它会用空格填充列,而不是仅使用一个作为字段分隔符,因此您不能cut在输出上使用 eg 。即使输出到带有--zero或省略 UID 和 GID 的管道时,也会发生这种情况,因为文件大小和链接计数的宽度可能会有所不同:

$ ls -dgo --zero --time-style=long-iso -- *.txt |tr '\0' '\n'
-rw-rw-r-- 21    0 2023-08-16 17:24 bar.txt
-rw-rw-r--  1 1234 2023-08-16 17:30  leading space.txt

文件名没有填充到右侧(这样做会很奇怪),因此可以安全地假设时间戳和文件名之间只有一个空格。

--time-style=long-iso不包括 UTC 偏移量,这意味着日期可能不明确。最坏的情况是,在夏令时结束时创建的两个文件可能会显示日期顺序错误的情况。 (ls如果要求的话,仍然会正确地对它们进行排序,但输出会令人困惑。)--full-time/ --time-style=full-iso(或自定义格式)在这方面会更好,并且显式设置TZ=UTC0将使日期更容易作为字符串进行比较:

$ TZ=Europe/Helsinki ls -dgo --time-style=long-iso -- *
-rw-rw-r-- 1 0 2023-10-29 03:30 first
-rw-rw-r-- 1 0 2023-10-29 03:20 second

$ TZ=UTC0 ls -dgo --full-time -- *
-rw-rw-r-- 1 0 2023-10-29 00:30:00.000000000 +0000 first
-rw-rw-r-- 1 0 2023-10-29 01:20:00.000000000 +0000 second

$ TZ=UTC0 ls -dgo --time-style=+%FT%T.%NZ -- *
-rw-rw-r-- 1 0 2023-10-29T00:30:00.000000000Z first
-rw-rw-r-- 1 0 2023-10-29T01:20:00.000000000Z second

如果除了常规文件之外还有其他东西,情况会变得更糟。在很多情况下可能不是问题,但无论如何:

对于设备文件,ls不打印其大小,而是打印主/次设备编号。用逗号和空格分隔,使列数与其他文件不同。您可以通过逗号区分这两个变体,但这会使解析更加痛苦。

$ ls -dgo --zero --time-style=long-iso -- /dev/null somefile.txt |tr '\0' '\n'
crw-rw-rw- 1  1, 3 2023-07-16 15:37 /dev/null
-rw-rw-r-- 1 12345 2023-08-17 06:14 somefile.txt

然后是符号链接,其长格式打印为link name -> link target,但没有什么可说链接或目标名称本身可以包含->...

$ ls -dgo --zero --time-style=long-iso -- how* what* |tr '\0' '\n'
lrwxrwxrwx 1 14 2023-08-17 06:05 how -> about -> this?
lrwxrwxrwx 1  5 2023-08-17 05:54 what -> is -> this?

好吧,我想从技术上讲,大小字段告诉了链接名称的长度(以字节为单位,而不是字符)......

在这种情况下, --quoting-style=shell-escape-always实际上会比 更好--zero,因为它会打印两个单独引用的内容,并在内部转义一些特殊或不可打印的字符$''

$ ls -dgo --quoting-style=shell-escape-always --time-style=long-iso -- how* what*  |cat
lrwxrwxrwx 1 14 2023-08-17 06:05 'how' -> 'about -> this?'
lrwxrwxrwx 1  5 2023-08-17 05:54 'what -> is' -> 'this?'

即使使用 shell,解析它也不是很有趣。


如果我们可以明确选择我们想要的字段,那就更好了,但我没有看到这样的选项ls。 GNU find 有-printf我认为可以产生安全输出的功能,如果你只想按ls时间排序,则不需要打印时间戳,只需ls --zero使用-t//即可。见下文。 (zsh 本身可以做到这一点,但 Bash 不太好。)-u-c

如果你想要时间戳和文件名,类似的事情 find ./* -printf '%TY-%Tm-%Td %TT %p\0'应该做,尽管默认情况下它会递归到子目录,所以如果你不想要它,你将不得不做一些事情。也许只是添加-prune到最后。也--没有帮助find,所以你需要./前缀。

也许stat --printf会更容易。


是否存在上述两个示例之一会失败的情况?也许有一些奇怪的地方?

在问题中使用的命令中,last=$(ls -tr --zero | tail -z -n1)其本身在 Bash 中是不安全的,因为命令替换会在忽略最后的 NL 后删除尾随换行符。并作为埃德·莫顿指出,至少那个特定的 AWK 命令被破坏了,不管ls它的输出有多安全。

我认为 AWK 不太适合具有固定数量字段的输入,其中最后一个字段本身可以包含字段分隔符。 Perlsplit()有一个额外的参数来限制要生成的字段数量,但当某些(不是全部)字段分隔符可以是多个空格时,使用该参数不太容易。天真的人split/ +/, $_, 6会吃掉文件名中的前导空格。您可以构建一个正则表达式来处理该问题和设备节点问题,但这开始就像将圆钉强行插入方孔中一样,并且不能解决符号链接输出问题。


如果没有长格式输出,ls --zero应该只给出以 NUL 结尾的原始文件名,因此输出应该是安全且易于解析的。

对于$n最旧的文件,维基页面有:

readarray -t -d '' -n 5 sorted < <(ls --zero -tr)
# check the number of elements you got

对于只有一个,您可以使用read -rd ''would do,正如评论中提到的:

IFS= read -rd '' newest < <(ls -t --zero)
# check the exit status or make sure "$newest" is not empty

答案2

如果您要ls专门依赖 GNU 的输出,则意味着您依赖 GNU Coreutils 包。这意味着您可以使用另一个 Coreutils 实用程序,即stat. Stat 具有格式字符串,用于以所需的方式获取有关对象的信息。

例如,以以下形式打印当前目录的修改时间MMM DD HH:MM

$ echo $(date -d @$(stat --format="%Y" .) +"%b %m %H:%M")
Aug 08 07:57

该命令以十进制整数形式stat --format=%Y .获取.对象的修改时间,表示自纪元以来熟悉的秒数。

我们使用@前缀作为-d参数date(GNU Coreutils 的一个功能date)对其进行插值,然后使用strftime代码以所需的格式获取时间。

遗憾的是stat没有使用strftime内置方法来格式化日期。如果我们想要获取多个信息字段,包括修改时间,而不需要多次调用stat,我们必须让它打印多字段行,然后我们必须解析该行。这仍然是比抓取 的输出更好的措施ls。如果最大效率并不重要(如果重要的话,我们为什么要在 Bash 中编码),我们可能会遭受多次调用stat.

评论中提出了stat不能用于​​发现修改时间最早的文件的声明。确实stat单独做不到,但实际上stat结合 shell 通配符扩展也可以做到,依赖ls -1t.

$ for x in *.txt ; do stat --format="%Y %n" "$x" ; done | sort -n | head -1
1328379315 readme-mt.txt

该文件可以追溯到相当早以前:

$ date -d @1328379315
Sat Feb  4 10:15:15 PST 2012

现在我们遇到的问题是,如果名称包含换行符,则会弄乱排序。我们可以用ls.

例如,我们可以将名称读入 Bash 数组,然后将时间戳与数组索引一起打印,而不是名称。从输出中,sort -n | head -1我们获得一个项目,其第二个字段为我们提供了最近最少修改的文件名称的数组索引。

我们可以完全回避处理具有编码空格和换行符的输出的问题,ls而我们必须以某种方式解析该输出。

$ array=(*.txt)
$ for x in ${!array[@]}; do 
>   printf "%s %s\n" $(stat --format="%Y" "${array[$x]}") $x 
> done | sort -n | head -1
1328379315 29
$ echo "${array[29]}"
readme-mt.txt

array[29]将保存 遇到的第 30 个文件*.txt,无论该名称由什么字符组成。我们的sort工作不受此影响,因为它看不到该名称。

因此,为了回答这个问题,GNU ls 有一些功能可以更安全地解析其输出,但是在 shell 语言中安全地解析输出仍然不容易。

GNU ls 可以被 C 程序安全地使用,该程序使用popen("ls ...", "r")正确的选项ls和 正确的解析逻辑。

规则“不要抓取ls”的输出是在脚本编写的上下文中。

答案3

鉴于问题中最后一个示例的代码:

ls -l --zero --time-style=long-iso -- * | 
    awk 'BEGIN{RS="\0"}{ t=index($0,$7); print substr($0,t+6), $6 }'

并发布了该ls命令的示例输出(#<newline>替换 NUL 以提高可见性):

$ ls -l --zero --time-style=long-iso -- *
-rw-r--r--+ 1 terdon terdon 0 2023-08-16 21:35 a file with a
newline#
-rw-r--r--+ 1 terdon terdon 0 2023-08-15 19:16 file#
-rw-r--r--+ 1 terdon terdon 0 2018-08-15 12:00 file with spaces#

看起来应该$7是时间戳。如果是这样,那么t=index($0,$7)对于超过 1 个单词的用户名/组将会失败,例如:

-rw-r--r--+ 1 terdon Domain Users 0 2023-08-15 19:16 file#

从那时起,您的时间戳将位于$8(或更高的数字,具体取决于用户名和/或组中有多少个单词),而不是$7

鉴于用户名/组不能包含:,您可以通过仅查找:行中的第一个而不是查找特定字段来解决该问题:

ls -l --zero --time-style=long-iso -- * | 
    awk -v RS='\0' 'p=index($0,":") { print substr($0,p+4), substr($0,p-13,10) }'

或者使用 GNU awk (你可能正在使用它RS='\0')将第三个参数设置为match()

ls -l --zero --time-style=long-iso -- * | 
    awk -v RS='\0' 'match($0,/(.{10}) ..:.. (.*)/,a) { print a[2], a[1] }'

相关内容