![将从 JSON 文档中提取的数据分配给 Zsh shell 参数](https://linux22.com/image/207928/%E5%B0%86%E4%BB%8E%20JSON%20%E6%96%87%E6%A1%A3%E4%B8%AD%E6%8F%90%E5%8F%96%E7%9A%84%E6%95%B0%E6%8D%AE%E5%88%86%E9%85%8D%E7%BB%99%20Zsh%20shell%20%E5%8F%82%E6%95%B0.png)
在日常 shell 会话中,我经常发现自己需要将 JSON 文档中的数据(通过某些 jq 过滤器提取)分配给 Zsh shell 参数:JSON 标量到 Zsh 标量、JSON 数组到 Zsh 数组以及 JSON 对象到 Zsh 关联数组。问题(之前提出的问题似乎没有解决)是数据通常包含换行符(甚至 NUL 字节),这使得这是一项相当重要的任务。
这是我到目前为止所想到的:
function assign-from-json {
local -A opts && zparseopts -A opts -D -F -M -- a A && typeset -r opts
if [[ $# -ne 3 || ( -v opts[-a] && -v opts[-A] ) ]] ; then
>&2 printf 'Usage: %s [-a|-A] NAME FILTER JSON\n' $0
return 2
fi
if [[ -v opts[-a] ]] ; then
local -a lengths && { lengths=( "${(@f)$( jq -r "$2 | .[] | tostring | length" <<< $3 )}" ) || return $? } && typeset -r lengths
local data && { data="$( jq -j "$2 | .[] | tostring" <<< $3 )" || return $? } && typeset -r data
local elem
local -a elems
for length in "${lengths[@]}" ; do
read -u 0 -k $length elem
elems+=$elem
done <<< $data
eval "${(q)1}"='( "${elems[@]}" )'
elif [[ -v opts[-A] ]] ; then
local transformed_json && { transformed_json="$( jq "$2 | to_entries | map(.key, .value)" <<< $3 )" || return $? } && typeset -r transformed_json
assign-from-json -a $1 "." $transformed_json
else
eval "${(q)1}"="${(q)$( jq -r $2 <<< $3 )}"
fi
}
在大多数情况下它工作得很好:
% json='
{
"scalar": "Hello, world",
"array": [1, 2, 3],
"scary_scalar": "\nNewlines\u0000NUL bytes\ttabs",
"scary_array": [
"A\nvery\u0000scary\nvalue",
"A less scary value",
"eh"
]
}
'
% assign-from-json scalar '.scalar' $json && printf '%q\n' $scalar
Hello,\ world
% typeset -a array && assign-from-json -a array '.array' $json && printf '%q\n' "${array[@]}"
1
2
3
% assign-from-json scary_scalar '.scary_scalar' $json && printf '%q\n' $scary_scalar
$'\n'Newlines$'\0'NUL\ bytes$'\t'tabs
% typeset -a scary_array && assign-from-json -a scary_array '.scary_array' $json && printf '%q\n' "${scary_array[@]}"
A$'\n'very$'\0'scary$'\n'value
A\ less\ scary\ value
eh
% typeset -A assoc && assign-from-json -A assoc '.' $json && printf '%q -> %q\n' "${(@kv)assoc}"
array -> \[1,2,3\]
scary_array -> \[\"A\\nvery\\u0000scary\\nvalue\",\"A\ less\ scary\ value\",\"eh\"\]
scary_scalar -> $'\n'Newlines$'\0'NUL\ bytes$'\t'tabs
scalar -> Hello,\ world
不幸的是,它似乎很难处理尾随换行符:
% assign-from-json bad_scalar '.' '"foo\n"' && printf '%q\n$ $bad_scalar
foo
# expected: foo$'\n'
- 我认为尾随换行符的问题是由于命令替换删除了它们。你看到一个简单的方法来解决它吗?
assign-from-json -A assoc ...
即使assoc
不排版为关联数组,也可以这样做。我怎样才能防止这种情况发生?- 您还发现代码还有其他问题吗?
答案1
在命令替换中保留尾随换行符的常见解决方法是附加一个值,以便换行符不再尾随。然后从变量中删除虚拟值:
v1=$'line1\nline2\n\n\n'
v2=$(print $v1)
v3=$(printf $v1; print X);v3=${v3%X}
typeset -p v1 v2 v3
输出:
typeset v1=$'line1\nline2\n\n\n'
typeset v2=$'line1\nline2'
typeset v3=$'line1\nline2\n\n\n'
这确实使处理返回代码变得复杂,因此您可能需要这样的东西:
local data \
&& {data="$( jq -j "$2 | .[] | tostring" <<< $3;
ret=$?;
print X;
return $ret)" \
|| return $? } \
&& data=${data:%X} \
&& typeset -r data
保留尾随换行符的一些其他选项列于这个答案。不幸的是,我认为zsh
对于这种情况还没有“命令替换标志”。
参数扩展标志t
可用于测试变量的类型并确定名称是否引用关联数组或其他内容:
function vtype {
tt=${(Pt)1}
if [[ $tt == association* ]]; then
print "$1: YES [$tt]"
else
print "$1: no [$tt]"
fi
}
typeset -A a1; vtype a1
typeset -a a2; vtype a2
integer i1; vtype i1
typeset -AlxRr a3; vtype a3
上面的代码还使用P
扩展标志将位置参数值解释$1
为另一个参数名称。该测试使用通配符 ( ...*
),因为类型标识符t
可能具有多个组成部分。输出:
a1: YES [association]
a2: no [array]
i1: no [integer]
a3: YES [association-right_blanks-lower-readonly-export]
祝你好运,去做zsh
你需要做的事。我经常发现,稍微超出其舒适极限的工具比使用单独的、不太熟悉的工具完全重建效果更好。困难的部分是定义“稍微超出”。
答案2
您应该使用 perl 或 python 等语言而不是 shell(甚至 zsh)。
例如,使用 perlJSON模块:
$ cat json-example.pl
#!/usr/bin/perl
use strict;
use JSON;
my $json_text;
# slurp the entire input file into a single string.
do { $/=''; $json_text=<> };
my $j = decode_json($json_text);
print $j->{scary_array}->[1], "\n";
示例运行:
$ chmod +x json-example.pl
$ ./json-example.pl input.json
A less scary value
有关 Perl 数据结构的详细信息,请参阅perldata
、perllol
、perldsc
、perlref
、的手册页。perlreftut
json 数据实际上非常好地映射到 perl 数据结构 - 无论是在编写代码时还是在转储以使用类似模块进行调试时数据::转储器或者数据::转储,其表示形式与 json 数据几乎相同。
$j
例如,如果使用Data::Dump
sdd
函数转储,则如下所示:
{
array => [1, 2, 3],
scalar => "Hello, world",
scary_array => ["A\nvery\0scary\nvalue", "A less scary value", "eh"],
scary_scalar => "\nNewlines\0NUL bytes\ttabs",
}
这实际上就是如何用 Perl 语法定义包含该数据的哈希。您可以将其复制粘贴到脚本中,将其分配给变量(例如my $var = { ... };
),并且编译不会出现问题。
my $var = {
array => [1, 2, 3],
scalar => "Hello, world",
scary_array => ["A\nvery\0scary\nvalue", "A less scary value", "eh"],
scary_scalar => "\nNewlines\0NUL bytes\ttabs",
};
print $var->{array}->[0], "\n";
会打印1
.
更重要的是,这个数据在 Perl 中一点也不可怕。这只是数据。
模块注释:
Data::Dumper
是一个核心 Perl 模块,包含在 Perl 中。Data::Dump
不是并且需要单独安装(例如apt install libdata-dump-perl
在 Debian 等上,或者使用 perl 进行安装)潘公用事业)。与核心Data::Dumper
模块相比,我更喜欢它。JSON
也不是核心 perl 模块(在 Debian 上,使用 . 安装apt install libjson-perl
。也可以选择安装libjson-xs-perl
,这可以使用编译的 C 代码加速 JSON 模块。