我有一个 JSON 输出,需要在 Linux 中从中提取一些参数。
这是 JSON 输出:
{
"OwnerId": "121456789127",
"ReservationId": "r-48465168",
"Groups": [],
"Instances": [
{
"Monitoring": {
"State": "disabled"
},
"PublicDnsName": null,
"RootDeviceType": "ebs",
"State": {
"Code": 16,
"Name": "running"
},
"EbsOptimized": false,
"LaunchTime": "2014-03-19T09:16:56.000Z",
"PrivateIpAddress": "10.250.171.248",
"ProductCodes": [
{
"ProductCodeId": "aacglxeowvn5hy8sznltowyqe",
"ProductCodeType": "marketplace"
}
],
"VpcId": "vpc-86bab0e4",
"StateTransitionReason": null,
"InstanceId": "i-1234576",
"ImageId": "ami-b7f6c5de",
"PrivateDnsName": "ip-10-120-134-248.ec2.internal",
"KeyName": "Test_Virginia",
"SecurityGroups": [
{
"GroupName": "Test",
"GroupId": "sg-12345b"
}
],
"ClientToken": "VYeFw1395220615808",
"SubnetId": "subnet-12345314",
"InstanceType": "t1.micro",
"NetworkInterfaces": [
{
"Status": "in-use",
"SourceDestCheck": true,
"VpcId": "vpc-123456e4",
"Description": "Primary network interface",
"NetworkInterfaceId": "eni-3619f31d",
"PrivateIpAddresses": [
{
"Primary": true,
"PrivateIpAddress": "10.120.134.248"
}
],
"Attachment": {
"Status": "attached",
"DeviceIndex": 0,
"DeleteOnTermination": true,
"AttachmentId": "eni-attach-9210dee8",
"AttachTime": "2014-03-19T09:16:56.000Z"
},
"Groups": [
{
"GroupName": "Test",
"GroupId": "sg-123456cb"
}
],
"SubnetId": "subnet-31236514",
"OwnerId": "109030037527",
"PrivateIpAddress": "10.120.134.248"
}
],
"SourceDestCheck": true,
"Placement": {
"Tenancy": "default",
"GroupName": null,
"AvailabilityZone": "us-east-1c"
},
"Hypervisor": "xen",
"BlockDeviceMappings": [
{
"DeviceName": "/dev/sda",
"Ebs": {
"Status": "attached",
"DeleteOnTermination": false,
"VolumeId": "vol-37ff097b",
"AttachTime": "2014-03-19T09:17:00.000Z"
}
}
],
"Architecture": "x86_64",
"KernelId": "aki-88aa75e1",
"RootDeviceName": "/dev/sda1",
"VirtualizationType": "paravirtual",
"Tags": [
{
"Value": "Server for testing RDS feature in us-east-1c AZ",
"Key": "Description"
},
{
"Value": "RDS_Machine (us-east-1c)",
"Key": "Name"
},
{
"Value": "1234",
"Key": "cost.centre",
},
{
"Value": "Jyoti Bhanot",
"Key": "Owner",
}
],
"AmiLaunchIndex": 0
}
]
}
我想编写一个文件,其中包含实例 ID 等标题、名称等标签、成本中心、所有者。以及低于 JSON 输出的某些值。此处给出的输出只是一个示例。
我该如何使用sed
and来做到这一点awk
?
预期输出:
Instance id Name cost centre Owner
i-1234576 RDS_Machine (us-east-1c) 1234 Jyoti
答案1
几乎所有编程语言都提供解析器,这是 JSON 作为数据交换格式的优势之一。
您可能最好使用为 JSON 解析构建的工具,例如杰克或具有 JSON 库的通用脚本语言。
例如,使用 jq,您可以从 Instances 数组的第一项中提取 ImageID,如下所示:
jq '.Instances[0].ImageId' test.json
或者,要使用 Ruby 的 JSON 库获取相同的信息:
ruby -rjson -e 'j = JSON.parse(File.read("test.json")); puts j["Instances"][0]["ImageId"]'
我不会回答您所有修改后的问题和评论,但希望以下内容足以帮助您开始。
假设您有一个 Ruby 脚本,可以从 STDIN 读取 a 并输出示例输出 [0] 中的第二行。该脚本可能类似于:
#!/usr/bin/env ruby
require 'json'
data = JSON.parse(ARGF.read)
instance_id = data["Instances"][0]["InstanceId"]
name = data["Instances"][0]["Tags"].find {|t| t["Key"] == "Name" }["Value"]
owner = data["Instances"][0]["Tags"].find {|t| t["Key"] == "Owner" }["Value"]
cost_center = data["Instances"][0]["SubnetId"].split("-")[1][0..3]
puts "#{instance_id}\t#{name}\t#{cost_center}\t#{owner}"
您如何使用这样的脚本来实现您的整个目标?好吧,假设您已经拥有以下内容:
- 列出所有实例的命令
- 用于获取列表中任何实例的上述 json 并将其输出到 STDOU 的命令
一种方法是使用 shell 来组合这些工具:
echo -e "Instance id\tName\tcost centre\tOwner"
for instance in $(list-instances); do
get-json-for-instance $instance | ./ugly-ruby-scriptrb
done
现在,也许您有一个命令可以为所有实例提供一个 json blob,并且“实例”数组中包含更多项目。好吧,如果是这种情况,您只需要稍微修改脚本即可迭代数组,而不是简单地使用第一项。
最终解决这个问题的方法,就是解决Unix中很多问题的方法。将其分解为更简单的问题。寻找或编写工具来解决更简单的问题。将这些工具与您的 shell 或其他操作系统功能结合起来。
[0] 请注意,我不知道你从哪里得到成本中心,所以我只是编造出来的。
答案2
您可以使用以下 python 脚本来解析该数据。假设您有来自array1.json
、array2.json
等文件中的数组的 JSON 数据。
import json
import sys
from pprint import pprint
jdata = open(sys.argv[1])
data = json.load(jdata)
print "InstanceId", " - ", "Name", " - ", "Owner"
print data["Instances"][0]["InstanceId"], " - " ,data["Instances"][0]["Tags"][1]["Value"], " - " ,data["Instances"][0]["Tags"][2]["Value"]
jdata.close()
然后运行:
$ for x in `ls *.json`; do python parse.py $x; done
InstanceId - Name - Owner
i-1234576 - RDS_Machine (us-east-1c) - Jyoti Bhanot
我没有在您的数据中看到成本,这就是为什么我没有将其包括在内。
根据评论中的讨论,我更新了 parse.py 脚本:
import json
import sys
from pprint import pprint
jdata = sys.stdin.read()
data = json.loads(jdata)
print "InstanceId", " - ", "Name", " - ", "Owner"
print data["Instances"][0]["InstanceId"], " - " ,data["Instances"][0]["Tags"][1]["Value"], " - " ,data["Instances"][0]["Tags"][2]["Value"]
您可以尝试运行以下命令:
#ec2-describe-instance <instance> | python parse.py
答案3
其他人已经为您的问题提供了一般答案,这些答案展示了解析 json 的好方法,但是我和您一样,正在寻找一种使用 awk 或 sed 等核心工具来提取 aws 实例 id 的方法,而不依赖于其他包。要实现此目的,您可以将“--output=text”参数传递给 aws 命令,这将为您提供 awk 可解析字符串。这样,您就可以使用类似以下内容的方式简单地获取实例 ID...
aws ec2 run-instances --output text | awk -F"\t" '$1=="INSTANCES" {print $8}'
答案4
如果这仅限于上面提供的 AWS 使用案例,您应该为 CLI API 调用使用 --query 和 --output 标志
http://docs.aws.amazon.com/cli/latest/userguide/controlling-output.html