通过 jq 连接数千个巨大的 json 文件

Question 1

jq -c -s add file*

这会将file*与该模式匹配的所有文件读取到jq. -s( )选项--slurp导致从所有输入文件创建单个数组。这个大数组的每个元素都是来自其中一个文件的一个对象。数组元素组合在一起add形成一个对象。

该-c选项可以jq产生“紧凑”的输出。

如果文件太多，shell 将由于超出命令行允许的最大长度而无法执行命令。

如果发生这种情况，您可以find创建 JSON 对象流以供jq命令处理。

find . -name '*.json' -type f -exec cat {} + | jq -c -s add >final

它使用catfrom从输入文件（名称以当前目录或当前目录结尾的find任何常规文件）创建 JSON 对象流。.json该jq命令将它们收集到一个数组中，然后像以前一样将其组合成一个对象。最终结果输出到文件中final。

请注意，如果键之间存在冲突（两个或多个文件中的相同键），则找到的最后一个键及其值将覆盖前一个键及其值。

Answer

jq -c -s add file*

这会将file*与该模式匹配的所有文件读取到jq. -s( )选项--slurp导致从所有输入文件创建单个数组。这个大数组的每个元素都是来自其中一个文件的一个对象。数组元素组合在一起add形成一个对象。

该-c选项可以jq产生“紧凑”的输出。

如果文件太多，shell 将由于超出命令行允许的最大长度而无法执行命令。

如果发生这种情况，您可以find创建 JSON 对象流以供jq命令处理。

find . -name '*.json' -type f -exec cat {} + | jq -c -s add >final

它使用catfrom从输入文件（名称以当前目录或当前目录结尾的find任何常规文件）创建 JSON 对象流。.json该jq命令将它们收集到一个数组中，然后像以前一样将其组合成一个对象。最终结果输出到文件中final。

请注意，如果键之间存在冲突（两个或多个文件中的相同键），则找到的最后一个键及其值将覆盖前一个键及其值。

Question 2

听起来您甚至不需要 jq，只需将除最后一个文件之外的所有文件中的尾随替换为}，并删除除第一个文件之外的所有文件中的,前导。{

在zsh：

autoload zargs
files=( *.json(Nn) )            # here sorted numerically or:
files=( ${(f)"$(<file.list)"} ) # to read the list one per line from
                                # a file.list
case $#files in
  (1) cat -- $files;;
  (<2->)
    sed -- 's/}$/,/' $files[1]
    zargs -r -- $files[2,-2] -- sed -- 's/^{//; s/}$/,/'
    sed -- 's/^{//' $files[-1]
esac > result.json

（如果您希望结果在一行上，请|paste -sd '\0' -在前面插入）。>

或者首先连接它们并对结果进行替换，这里使用与 ksh（至少是那些内置的变体printf）、zsh、yash 或 bash 兼容的语法，但假设 GNUxargs或兼容：

printf '%s\0' "${files[@]}" |
  xargs -r0 cat -- |
  sed '1!s/^{//; $!s/}$/,/' > result.json

假设输入 json 文件具有正确分隔的行。

Answer