☰

对 JSON 文件中的所有数组进行深度优先排序以获得一致的顺序

tag-icon • tag-icon sort json jq
对 JSON 文件中的所有数组进行深度优先排序以获得一致的顺序

我正在修订控制系统中以 JSON 格式跟踪某些系统的配置。

不幸的是，该配置是使用某些闭源专有命令检索的，并且输出从一次运行到下一次运行都会发生变化，因为对象和数组中的顺序或多或少是随机的。

一次，它会输出：

{
  "fru": [
    {
      "name": "foo",
      "attr": [
         {"name": "colour", "value": "blue"},
         {"name": "length", "value": 12}
      ]
    },
    {
      "name": "bar",
      "attr": [
         {"name": "colour", "value": "red"},
         {"name": "length", "value": 1}
      ]
    }
  ],
  "tags": ["x", "y"]
}

下一次：

{
  "tags": ["y", "x"],
  "fru": [
    {
      "name": "bar",
      "attr": [
         {"name": "length", "value": 1},
         {"name": "colour", "value": "red"}
      ]
    },
    {
      "name": "foo",
      "attr": [
         {"name": "colour", "value": "blue"},
         {"name": "length", "value": 12}
      ]
    }
  ]
}

这意味着从 PoV 来看git diff，从一次运行到下一次运行，一切都会发生变化，即使它是完全相同的系统。

在所有数组中，顺序无关。对象的属性中的顺序也并不重要。因此，如果我可以对该输出进行后处理，以便对象和数组的属性和成员的顺序一致，我将保证当系统不更改时输出不会更改，并且所看到的更改git diff会更多可能会反映系统的变化。

jq -S通过以下方式让我受益匪浅：

  • 对对象内部的属性进行排序
  • 将单独的对象属性和数组成员放在单独的行上（git diff基于行）。

对于上面的例子，这给了我：

{
  "fru": [
    {
      "attr": [
        {
          "name": "colour",
          "value": "blue"
        },
        {
          "name": "length",
          "value": 12
        }
      ],
      "name": "foo"
    },
    {
      "attr": [
        {
          "name": "colour",
          "value": "red"
        },
        {
          "name": "length",
          "value": 1
        }
      ],
      "name": "bar"
    }
  ],
  "tags": [
    "x",
    "y"
  ]
}

和：

{
  "fru": [
    {
      "attr": [
        {
          "name": "length",
          "value": 1
        },
        {
          "name": "colour",
          "value": "red"
        }
      ],
      "name": "bar"
    },
    {
      "attr": [
        {
          "name": "colour",
          "value": "blue"
        },
        {
          "name": "length",
          "value": 12
        }
      ],
      "name": "foo"
    }
  ],
  "tags": [
    "y",
    "x"
  ]
}

这更好，但还没有实现，因为数组没有排序（可以理解）。

请注意，现实生活中的文件更加复杂，其中包含包含更多数组的其他对象数组的数组......

我的想法是解决这个问题，对所有数组进行排序，从基于值的 JSON 字符串表示形式的最深数组开始，例如.fru[0].attr用{"name": "colour", "value": "blue"}before排序{"name": "length", "value": 12}，因为{"name":"colour","value":"blue"}字符串在之前排序长度一，然后.fru数组用foobefore排序，bar因为{"attr":[..."blue"...（属性按字母顺序attr移到前面name）排序 before {"attr":[..."red"...。

我可以通过以下方式获取所有数组的路径（深度优先）：

$ jq -c '[paths(arrays)]|reverse' a
[["tags"],["fru",1,"attr"],["fru",0,"attr"],["fru"]]

我可以根据数组成员的 JSON 字符串表示形式对数组进行排序：

jq '.array|=sort_by(tojson)'

但是我如何将两者结合起来将第二个应用于第一个返回的所有数组？

或者是否有更好的方法来后处理 JSON 以使顺序保持一致？

如果jq不是最好的工具，我很乐意考虑perl的JSON模块或 ruby​​/python 等效工具。

答案1

该walk()功能似乎非常适合此用例。它以自下而上的方式递归地将给定的过滤器应用于每个 JSON 元素，并返回结果。事实上，对所有数组进行排序是示例之一文档:

$ jq -S 'walk(if type == "array" then sort else . end)' a
{
  "fru": [
    {
      "attr": [
        {
          "name": "colour",
          "value": "blue"
        },
        {
          "name": "length",
          "value": 12
        }
      ],
      "name": "foo"
    },
    {
      "attr": [
        {
          "name": "colour",
          "value": "red"
        },
        {
          "name": "length",
          "value": 1
        }
      ],
      "name": "bar"
    }
  ],
  "tags": [
    "x",
    "y"
  ]
}

如果您需要的只是任何一致的排序顺序，那么应该可以解决问题（因为 jq 的sort过滤器确实定义了所有元素（包括对象）的确定性排序），但如果您特别想按字符串表示形式对数组元素进行排序，您当然可以替换sort为你的sort_by(tojson).

顺便说一句，您可能会发现将其与 JSON diff 工具配对很有用，该工具可以在结构上比较两个 JSON 文档（例如忽略对象中的关键顺序），而不是进行基于文本的比较，但这是另一回事。

相关内容