在许多文件上使用 ls 会导致错误“bash：参数列表太长”

Question 1

在中，shell 完成了查找以结尾且不以.ls *.fits开头的文件名的所有艰苦工作。.fits.

然后它将该列表传递给ls，后者对其进行排序（同样，因为 shell glob 在传递给之前已经对列表进行了排序ls）并在之后显示它（按列或每行一个，具体取决于实现以及输出是否发送到终端）检查每个文件是否存在。

所以这有点适得其反，特别是考虑到：

您忘记了--选项分隔符，因此任何以开头的文件名-都会导致问题。
您忘记了该-d选项，因此如果任何文件属于目录类型，ls则会列出其内容而不是其本身。
asls是来自 shell 的单独命令（在大多数 shell 中，包括bash），它最终必须使用execve()系统调用在单独的进程中执行，并且最终会超出其对参数和环境变量的累积大小的限制。

如果您只需要打印 shell 生成的列表*.fits，则可以使用printf大多数 shell 中内置的（因此不会调用execve()及其限制）：

printf '%s\n' *.fits > output_all.txt

但这留下了一个问题：

如果*.fits不匹配任何文件，则在bashshell中*.fits保持原样，因此printf最终将打印*.fits<newline>.

Whilels会给你一个关于该不存在的*.fits文件的错误消息并保留为output_all.txt空。

nullglob这可以通过选项（bash 从 bash 复制zsh）来更改，这会导致*.fits扩展为空。但随后我们遇到了另一个问题：当除了格式之外没有传递任何参数时，printf仍然会像传递空参数一样遍历一次格式，因此最终会在output_all.txt.

可以通过以下方法解决这个问题：

shopt -s nullglob
println() {
  [ "$#" -eq 0 ] || printf '%s\n' "$@"
}
println *.fits > output_all.txt

如果你可以切换到zsh而不是bash，它会变得更容易：

print -rC1 -- *.fits(N) > output_all.txt

whereN启用nullglob该 glob 并在 olumn 上print -rC1打印其参数raw 1 C，这里重要的是：如果未传递任何参数，则不打印任何内容。

使用，您还可以使用glob 限定符（例如zsh）将列表限制为仅常规文件（不包括目录、符号链接、fifos..），或使用( )...包含隐藏文件.*.fits(N.)D*.fits(ND.)

最后，您也可以始终推迟find查找文件，但如果您确实需要对列表进行排序并排除隐藏文件，并避免使用前缀./，那么这也会很快变得乏味，并且您需要 GNU 扩展。例如，对于相当于print -rC1 -- *.fits(N.)：

LC_ALL=C find . -maxdepth 1 ! -name '.*' -type f -printf '%P\0' |
  sort -z | tr '\0' '\n' > output_all.txt

Answer

在中，shell 完成了查找以结尾且不以.ls *.fits开头的文件名的所有艰苦工作。.fits.

然后它将该列表传递给ls，后者对其进行排序（同样，因为 shell glob 在传递给之前已经对列表进行了排序ls）并在之后显示它（按列或每行一个，具体取决于实现以及输出是否发送到终端）检查每个文件是否存在。

所以这有点适得其反，特别是考虑到：

您忘记了--选项分隔符，因此任何以开头的文件名-都会导致问题。
您忘记了该-d选项，因此如果任何文件属于目录类型，ls则会列出其内容而不是其本身。
asls是来自 shell 的单独命令（在大多数 shell 中，包括bash），它最终必须使用execve()系统调用在单独的进程中执行，并且最终会超出其对参数和环境变量的累积大小的限制。

如果您只需要打印 shell 生成的列表*.fits，则可以使用printf大多数 shell 中内置的（因此不会调用execve()及其限制）：

printf '%s\n' *.fits > output_all.txt

但这留下了一个问题：

如果*.fits不匹配任何文件，则在bashshell中*.fits保持原样，因此printf最终将打印*.fits<newline>.

Whilels会给你一个关于该不存在的*.fits文件的错误消息并保留为output_all.txt空。

nullglob这可以通过选项（bash 从 bash 复制zsh）来更改，这会导致*.fits扩展为空。但随后我们遇到了另一个问题：当除了格式之外没有传递任何参数时，printf仍然会像传递空参数一样遍历一次格式，因此最终会在output_all.txt.

可以通过以下方法解决这个问题：

shopt -s nullglob
println() {
  [ "$#" -eq 0 ] || printf '%s\n' "$@"
}
println *.fits > output_all.txt

如果你可以切换到zsh而不是bash，它会变得更容易：

print -rC1 -- *.fits(N) > output_all.txt

whereN启用nullglob该 glob 并在 olumn 上print -rC1打印其参数raw 1 C，这里重要的是：如果未传递任何参数，则不打印任何内容。

使用，您还可以使用glob 限定符（例如zsh）将列表限制为仅常规文件（不包括目录、符号链接、fifos..），或使用( )...包含隐藏文件.*.fits(N.)D*.fits(ND.)

最后，您也可以始终推迟find查找文件，但如果您确实需要对列表进行排序并排除隐藏文件，并避免使用前缀./，那么这也会很快变得乏味，并且您需要 GNU 扩展。例如，对于相当于print -rC1 -- *.fits(N.)：

LC_ALL=C find . -maxdepth 1 ! -name '.*' -type f -printf '%P\0' |
  sort -z | tr '\0' '\n' > output_all.txt

Question 2

单个命令行上允许的字符数是有限制的。在现代 Linux 系统上，它大约有 200 万个字符。这在其他系统上可能会有所不同。

看起来当前目录中的 *.fits 文件的文件名不适合单个命令行。有很多方法可以解决这个问题，最简单的方法之一就是使用find替代方法。例如

find . -maxdepth 1 -type f -name '*.fits' > output_all.txt

另一种选择是使用perl.例如

perl -e 'print map { "$_\n" if -f $_ } sort glob "*.fits"' > output_all.txt

或者：

perl -E 'foreach $f (sort glob "*.fits") { say $f if -f $f }' > output_all.txt

甚至：

perl -E 'foreach $f (sort grep { -f } glob "*.fits") { say $f }' > output_all.txt

（在 Perl 中有很多方法可以做到这一点）。

注：find版本将要列出隐藏文件名（即以 a 开头的文件名.）（如果当前目录中存在）。 Perl 版本惯于。两个版本都只会打印常规文件以结尾.fits，而不是目录、符号链接、命名管道、套接字或设备节点。输出find未排序，文件名按照在目录中找到的顺序打印。 Perl 版本已排序（升序 alpha 排序。顺便说一句，perl 的内置排序功能足够灵活，可以按各种标准进行排序，包括文件的大小或时间戳）

顺便说一句，perl 有一个文件::查找库模块可以像findcan 一样进行递归搜索，但具有 perl 的全部功能，可以过滤、排序和操作它找到的任何文件名，然后处理这些文件。 File::Find是一个核心库，包含在 perl 中。如果你只需要搜索特定目录下的文件，perl的glob()功能就足够了。

AFAICT 从浏览stilts您发布的链接来看，stilts 的 arg 似乎无法in=@filename处理 NUL 分隔的输入，因此如果您有任何文件名中嵌入换行符的 .fits 文件，您将需要重命名这些文件。

如果stilts 可以处理 NUL 分隔的文件名列表，您可以使用find's选项或将perl 脚本中的-print0更改为来生成 NUL 分隔的列表。这可能与无关，但了解您是否遇到与其他可以将 NUL 作为分隔符处理的程序相同的问题很有用（许多程序都有一个、和/或选项）。\n\0stilts-z-Z-0

find . -maxdepth 1 -type f -name '*.fits' -print0 > output_all.nul

或者

perl -e 'print map { "$_\0" if -f "$_" } sort glob "*.fits"' > output_all.nul

Answer