将 Office 365 日志中的嵌套数组转换为表

Question

我从您作为示例数据提供的 JSON 开始。目前尚不清楚此 JSON 是否经过某种方式预处理。

由于顶级Folders数组似乎不是如果它包含单个项目，则它是一个数组，如果它还不是一个数组，我们首先需要将其转换为数组。在中jq，我们可以这样做

.Folders |= (if type == "array" then . else [.] end)

其余转换的总体思路是将上层数据（即来自最顶层的一些键+值对以及来自每个元素的键）Id复制到最低层（即元素）。然后我们可以将每个元素转换为 CSV 记录。PathFoldersFolderItemsFolderItems

为了避免键具有重复的名称，我们还需要将Folders元素的Id键重命名为FolderId（并将Path同一级别重命名为FolderPath，以保持一致性）。

我们想要的最顶层的数据可以被挑选出来并使用内部变量向下传输

pick(.CreationTime, .Id, .UserId, .ClientIPAddress) as $record

这将$record创建

{
  "CreationTime": "2024-02-06T12:13:14",
  "Id": "abcdabcd-1234-1234-5555-888888888888",
  "UserId": "[email protected]",
  "ClientIPAddress": "5.5.5.5"
}

... 第一个 JSON 对象。我们获取的键并不是按照最终 CSV 输出中所需的顺序获取的。

然后我们可以只提取的Folders元素，.Folders[]并为每个元素挑选出Id和Path。由于我们要重命名它们，因此无法pick()再次使用，因此我们需要更多的动手操作：

.Folders[] | { FolderId: .Id, FolderPath: .Path } as $folder

然后我们可以使用它.FolderItems[]来获取一组FolderItems元素，我们可以在其前面添加$record和：$folder

.FolderItems[] | $record + $folder + .

作为单个jq表达式：

.Folders |= (if type == "array" then . else [.] end) |
pick(.CreationTime, .Id, .UserId, .ClientIPAddress) as $record |
.Folders[] | { FolderId: .Id, FolderPath: .Path } as $folder |
.FolderItems[] | $record + $folder + .

考虑到问题中的数据，结果：

{
  "CreationTime": "2024-02-06T12:13:14",
  "Id": "abcdabcd-1234-1234-5555-888888888888",
  "UserId": "[email protected]",
  "ClientIPAddress": "5.5.5.5",
  "FolderId": "EEEEEEEE",
  "FolderPath": "\\Outbox",
  "InternetMessageId": "<[email protected]>",
  "SizeInBytes": 12345
}
{
  "CreationTime": "2024-02-06T12:13:14",
  "Id": "abcdabcd-1234-1234-5555-888888888888",
  "UserId": "[email protected]",
  "ClientIPAddress": "5.5.5.5",
  "FolderId": "EEEEEEEE",
  "FolderPath": "\\Outbox",
  "InternetMessageId": "<[email protected]>",
  "SizeInBytes": 11122
}

（ETC。）

我个人会使用以下方法将这组 JSON 对象转换为 CSV磨坊主:

$ jq '.Folders |= (if type == "array" then . else [.] end) | pick(.CreationTime, .Id, .UserId, .ClientIPAddress) as $record | .Folders[] | { FolderId: .Id, FolderPath: .Path } as $folder | .FolderItems[] | $record + $folder + .' file | mlr --j2c cat
CreationTime,Id,UserId,ClientIPAddress,FolderId,FolderPath,InternetMessageId,SizeInBytes
2024-02-06T12:13:14,abcdabcd-1234-1234-5555-888888888888,[email protected],5.5.5.5,EEEEEEEE,\Outbox,<[email protected]>,12345
2024-02-06T12:13:14,abcdabcd-1234-1234-5555-888888888888,[email protected],5.5.5.5,EEEEEEEE,\Outbox,<[email protected]>,11122
2024-02-06T12:13:14,abcdabcd-1234-1234-5555-888888888888,[email protected],5.5.5.5,EEEEEEEE,\Outbox,<[email protected]>,88888
2024-02-06T12:13:14,abcdabcd-1234-1234-5555-888888888888,[email protected],5.5.5.5,FFFFFFFFFFFFFFFFFAB,\Inbox,<[email protected]>,44444
2024-02-06T12:13:14,abcdabcd-1234-1234-5555-888888888888,[email protected],5.5.5.5,FFFFFFFFFFFFFFFFFAB,\Inbox,<[email protected]>,100000
2024-02-06T12:13:14,abcdabcd-1234-1234-5555-888888888888,[email protected],5.5.5.5,FFFFFFFFFFFFFFFFFAB,\Inbox,<[email protected]>,109000
2024-02-06T12:13:14,abcdabcd-1234-1234-5555-888888888888,[email protected],5.5.5.5,FFFFFFFFFFFFFFFFFAB,\Inbox,<[email protected]>,22000
2024-02-06T12:13:14,abcdabcd-1234-1234-5555-888888888888,[email protected],5.5.5.5,FFFFFFFFFFFFFFFFFAB,\Inbox,<[email protected]>,333333
2024-02-06T20:00:00,abcdabcd-1234-1234-6666-9999999999999,[email protected],7.7.7.7,12341234,\Temp,<[email protected]>,77777
2024-02-06T20:00:00,abcdabcd-1234-1234-6666-9999999999999,[email protected],7.7.7.7,12341234,\Temp,<[email protected]>,888888
2024-02-06T20:00:00,abcdabcd-1234-1234-6666-9999999999999,[email protected],7.7.7.7,12341234,\Temp,<[email protected]>,99999

jq要使用 Miller 来转换为 CSV ，请将mlr命令替换为类似的命令

jq -s -r '(first|keys|@csv), map([.[]]|@csv)[]'

这将从第一个输入对象中选取键作为 CSV 标头，并将所有值格式化为每个对象的一条记录。

Answer 1