从 JSON 字符串中提取数据

Question 1

这是一个新的、改进的答案。旧的答案可以在最后的分隔符之后找到。

数据的问题在于它包含一个.frame.frames.lps.lp.characters带有非唯一键 ( characater) 的对象。每次为已存在的键指定值时，旧值都会丢失。

jq我们可以通过使用实用程序的“流”输入（）来解决这个问题--stream：

$ jq -r -n --stream 'fromstream(1|truncate_stream(5|truncate_stream(inputs)|select(.[0][0] == "characater"))) | [.code_ascii, .confidence] | @tsv' test.json
1       97
5       89
4       97
5       97
1       77
B       97
B       94
L       34

首先在深度 5（路径的长度.frame.frames.lps.lp.characters）处截断输入流，然后我们提取以有问题的键开头的任何子路径characater。这就是内在truncate_stream()和外在select()正在做的事情。然后，每个这样的子路径的顶层被截断，剩下的被重新构成对象流。这就是外部与包装它的truncate_stream()调用一起所做的事情fromstream()。

在处理过程中，修改后的文档如下所示（给出问题中的示例）：

{"poly":{"p":{"x":"1094","y":"667"}},"bkcolor":"16777215","color":"0","code":"49","code_ascii":"1","confidence":"97"}
{"poly":{"p":{"x":"1102","y":"667"}},"bkcolor":"16777215","color":"0","code":"53","code_ascii":"5","confidence":"89"}
{"poly":{"p":{"x":"1112","y":"666"}},"bkcolor":"16777215","color":"0","code":"52","code_ascii":"4","confidence":"97"}
{"poly":{"p":{"x":"1123","y":"665"}},"bkcolor":"16777215","color":"0","code":"53","code_ascii":"5","confidence":"97"}
{"poly":{"p":{"x":"1133","y":"664"}},"bkcolor":"16777215","color":"0","code":"49","code_ascii":"1","confidence":"77"}
{"poly":{"p":{"x":"1153","y":"663"}},"bkcolor":"16777215","color":"0","code":"66","code_ascii":"B","confidence":"97"}
{"poly":{"p":{"x":"1163","y":"663"}},"bkcolor":"16777215","color":"0","code":"66","code_ascii":"B","confidence":"94"}
{"poly":{"p":{"x":"1190","y":"661"}},"bkcolor":"16777215","color":"0","code":"76","code_ascii":"L","confidence":"34"}

对于来自的每个对象fromstream，数据被提取到一个格式化为输出的数组中@tsv，从而为我们提供上面的制表符分隔的输出。

2018年的旧答案：

由于您的characters数组不是正确的 JSON 数组（它是每个键具有相同名称的哈希），因此只有它的最后一个值可用。

我们可以通过预处理数据来为现在调用的每个对象创建唯一的键来解决这个问题characater：

awk '/"characater"/ { sub("\"characater\"", "\"char" ++n "\"", $0) } 1' file.json

这会将每个替换characater为等char1。char2

我们现在可以使用例如访问其中的所有值

jq -r '.frames.frame.lps.lp|.characters[]|[.code_ascii,.confidence]|@tsv'

完整的管道：

awk '/"characater"/ { sub("\"characater\"", "\"char" ++n "\"", $0) } 1' file.json |
jq -r '.frames.frame.lps.lp|.characters[]|[.code_ascii,.confidence]|@tsv'

结果（给出问题中的数据）：

如果您控制 JSON 文档的生成，则应考虑将对象转换characters为适当的数组。

Answer

这是一个新的、改进的答案。旧的答案可以在最后的分隔符之后找到。

数据的问题在于它包含一个.frame.frames.lps.lp.characters带有非唯一键 ( characater) 的对象。每次为已存在的键指定值时，旧值都会丢失。

jq我们可以通过使用实用程序的“流”输入（）来解决这个问题--stream：

$ jq -r -n --stream 'fromstream(1|truncate_stream(5|truncate_stream(inputs)|select(.[0][0] == "characater"))) | [.code_ascii, .confidence] | @tsv' test.json
1       97
5       89
4       97
5       97
1       77
B       97
B       94
L       34

首先在深度 5（路径的长度.frame.frames.lps.lp.characters）处截断输入流，然后我们提取以有问题的键开头的任何子路径characater。这就是内在truncate_stream()和外在select()正在做的事情。然后，每个这样的子路径的顶层被截断，剩下的被重新构成对象流。这就是外部与包装它的truncate_stream()调用一起所做的事情fromstream()。

在处理过程中，修改后的文档如下所示（给出问题中的示例）：

{"poly":{"p":{"x":"1094","y":"667"}},"bkcolor":"16777215","color":"0","code":"49","code_ascii":"1","confidence":"97"}
{"poly":{"p":{"x":"1102","y":"667"}},"bkcolor":"16777215","color":"0","code":"53","code_ascii":"5","confidence":"89"}
{"poly":{"p":{"x":"1112","y":"666"}},"bkcolor":"16777215","color":"0","code":"52","code_ascii":"4","confidence":"97"}
{"poly":{"p":{"x":"1123","y":"665"}},"bkcolor":"16777215","color":"0","code":"53","code_ascii":"5","confidence":"97"}
{"poly":{"p":{"x":"1133","y":"664"}},"bkcolor":"16777215","color":"0","code":"49","code_ascii":"1","confidence":"77"}
{"poly":{"p":{"x":"1153","y":"663"}},"bkcolor":"16777215","color":"0","code":"66","code_ascii":"B","confidence":"97"}
{"poly":{"p":{"x":"1163","y":"663"}},"bkcolor":"16777215","color":"0","code":"66","code_ascii":"B","confidence":"94"}
{"poly":{"p":{"x":"1190","y":"661"}},"bkcolor":"16777215","color":"0","code":"76","code_ascii":"L","confidence":"34"}

对于来自的每个对象fromstream，数据被提取到一个格式化为输出的数组中@tsv，从而为我们提供上面的制表符分隔的输出。

2018年的旧答案：

由于您的characters数组不是正确的 JSON 数组（它是每个键具有相同名称的哈希），因此只有它的最后一个值可用。

我们可以通过预处理数据来为现在调用的每个对象创建唯一的键来解决这个问题characater：

awk '/"characater"/ { sub("\"characater\"", "\"char" ++n "\"", $0) } 1' file.json

这会将每个替换characater为等char1。char2

我们现在可以使用例如访问其中的所有值

jq -r '.frames.frame.lps.lp|.characters[]|[.code_ascii,.confidence]|@tsv'

完整的管道：

awk '/"characater"/ { sub("\"characater\"", "\"char" ++n "\"", $0) } 1' file.json |
jq -r '.frames.frame.lps.lp|.characters[]|[.code_ascii,.confidence]|@tsv'

结果（给出问题中的数据）：

如果您控制 JSON 文档的生成，则应考虑将对象转换characters为适当的数组。

Question 2

鉴于您的输入不是有效的 JSON，您可能必须采用sed, awk,grep类型的解决方案。为此，以下可以处理已“缩小”为单个字符串的输入：

$ grep -oP '"code_ascii":"\w+","confidence":"\w+"' <FILE> | grep -oP '(?<=:)"\w+"' | paste - -

例子

$ grep -oP '"code_ascii":"\w+","confidence":"\w+"' b.json | grep -oP '(?<=:)"\w+"' | paste - -
"1", "97"
"5", "89"
"4", "97"
"5", "97"
"1", "77"
"B", "97"
"B", "94"
"L", "34"
"J", "57"
"J", "57"
"4", "7"
"1", "97"
"5", "89"
"4", "97"
"5", "97"
"1", "77"
"B", "97"
"B", "94"
"L", "34"

备择方案

笔记：它们适用于多行输入数据。

sed+粘贴

$ sed -n '/code_ascii/,/confidence/p' a.json | sed 's/.*: [^"]*//' | paste - -

sed、awk、粘贴

$ sed -n '/code_ascii/,/confidence/p' a.json | awk -F': ' '{print $2}' | paste -d" " - -

sed、grep、粘贴

$ sed -n '/code_ascii/,/confidence/p' a.json | grep -oP '(?<=: ).*$' | paste - -

grep+粘贴

$ grep -oP '"code_ascii":"\w+","confidence":"\w+"' b.json | grep -oP '(?<=:)"\w+"' | paste - -

Answer

鉴于您的输入不是有效的 JSON，您可能必须采用sed, awk,grep类型的解决方案。为此，以下可以处理已“缩小”为单个字符串的输入：

$ grep -oP '"code_ascii":"\w+","confidence":"\w+"' <FILE> | grep -oP '(?<=:)"\w+"' | paste - -

例子

$ grep -oP '"code_ascii":"\w+","confidence":"\w+"' b.json | grep -oP '(?<=:)"\w+"' | paste - -
"1", "97"
"5", "89"
"4", "97"
"5", "97"
"1", "77"
"B", "97"
"B", "94"
"L", "34"
"J", "57"
"J", "57"
"4", "7"
"1", "97"
"5", "89"
"4", "97"
"5", "97"
"1", "77"
"B", "97"
"B", "94"
"L", "34"

备择方案

笔记：它们适用于多行输入数据。

sed+粘贴

$ sed -n '/code_ascii/,/confidence/p' a.json | sed 's/.*: [^"]*//' | paste - -

sed、awk、粘贴

$ sed -n '/code_ascii/,/confidence/p' a.json | awk -F': ' '{print $2}' | paste -d" " - -

sed、grep、粘贴

$ sed -n '/code_ascii/,/confidence/p' a.json | grep -oP '(?<=: ).*$' | paste - -

grep+粘贴

$ grep -oP '"code_ascii":"\w+","confidence":"\w+"' b.json | grep -oP '(?<=:)"\w+"' | paste - -

Question 3

grep + sed + tr ：

grep -e code_ascii -e confidence <file> |  sed 's/.*: "\(.*\)"/\1/;' | tr "\n" ' '

返回：

20, 1, 97 5, 89 4, 97 5, 97 1, 77 B, 97 B, 94 L, 34 J, 57 J, 57 4, 7 1, 97 5, 89 4, 97 5, 97 1, 77 B, 97 B, 94 L, 34

此命令仅返回 code_ascii +confidence 对：

 grep -e code_ascii -e confidence <file> | sed -n 's/.*code_ascii": "\(.*\)"/\1/;T;h;n;s/.*"confidence": "\(.*\)"/\1/;T;H;g;p' | tr "\n" " "

返回：

 1, 97 5, 89 4, 97 5, 97 1, 77 B, 97 B, 94 L, 34 J, 57 J, 57 4, 7 1, 97 5, 89 4, 97 5, 97 1, 77 B, 97 B, 94 L, 34

现在，请参阅上面 Kusalananda 的帖子。只需 sed + tr ：

sed -i 's/},/},\n/g' <tempfile>
sed -n 's/characater//;T;:z;n;s/.*code_ascii": "\(.*\)"/\1/;Tz;:zz;h;n;s/.*"confidence": "\(.*\)"/\1/;Tzz;H;s/$//;Tz;g;p' <tempfile> | tr "\n" " "

返回：

1, 97 5, 89 4, 97 5, 97 1, 77 B, 97 B, 94 L, 34

Answer

grep + sed + tr ：

grep -e code_ascii -e confidence <file> |  sed 's/.*: "\(.*\)"/\1/;' | tr "\n" ' '

返回：

20, 1, 97 5, 89 4, 97 5, 97 1, 77 B, 97 B, 94 L, 34 J, 57 J, 57 4, 7 1, 97 5, 89 4, 97 5, 97 1, 77 B, 97 B, 94 L, 34

此命令仅返回 code_ascii +confidence 对：

 grep -e code_ascii -e confidence <file> | sed -n 's/.*code_ascii": "\(.*\)"/\1/;T;h;n;s/.*"confidence": "\(.*\)"/\1/;T;H;g;p' | tr "\n" " "

返回：

 1, 97 5, 89 4, 97 5, 97 1, 77 B, 97 B, 94 L, 34 J, 57 J, 57 4, 7 1, 97 5, 89 4, 97 5, 97 1, 77 B, 97 B, 94 L, 34

现在，请参阅上面 Kusalananda 的帖子。只需 sed + tr ：

sed -i 's/},/},\n/g' <tempfile>
sed -n 's/characater//;T;:z;n;s/.*code_ascii": "\(.*\)"/\1/;Tz;:zz;h;n;s/.*"confidence": "\(.*\)"/\1/;Tzz;H;s/$//;Tz;g;p' <tempfile> | tr "\n" " "

返回：

1, 97 5, 89 4, 97 5, 97 1, 77 B, 97 B, 94 L, 34

从 JSON 字符串中提取数据

问题

输出

复制粘贴

关联

答案1

答案2

例子

备择方案

答案3

相关内容