☰

使用每个 JSON 对象值的正则表达式创建键值对并将其附加到 JSON 对象文件中

tag-icon • tag-icon command-line regex json powershell
使用每个 JSON 对象值的正则表达式创建键值对并将其附加到 JSON 对象文件中

我有一个大文件，其中包含 json 对象，每个对象占一行。

文件示例

{"Name" :"%Hana-29-Mrs-Smith","job":"engineer"}
{"Name" :"%Mike-31-Mr-Larry","job":"marketing"}
{"Name" :"%Jhon-40-Mr-Doe","job":"engineer"}

期望输出：

{"Name" :"%Hana-29-Mr-Smith", "f_nams":"Hana", "age":29, "title":"Mrs", "l_name":"Smith","job":"engineer"}
{"Name" :"%Mike-29-Mr-Larry", "f_nams":"Mike", "age":31, "title":"Mr", "l_name":"Larry","job":"marketing"}
{"Name" :"%Jhon-29-Mr-Smith", "f_nams":"Jhon", "age":40, "title":"Mr", "l_name":"Doe","job":"engineer"}

答案1

对于此类非嵌套对象，您可以考虑使用磨坊主

$ mlr --json put -S '
    @x = splitnv(substr($Name,1,-1),"-"); $f_nams = @x[1]; $age = @x[2]; $title = @x[3]; $l_name = @x[4]
  ' then reorder -e -f job file.json
{ "Name": "%Hana-29-Mrs-Smith", "f_nams": "Hana", "age": 29, "title": "Mrs", "l_name": "Smith", "job": "engineer" }
{ "Name": "%Mike-31-Mr-Larry", "f_nams": "Mike", "age": 31, "title": "Mr", "l_name": "Larry", "job": "marketing" }
{ "Name": "%Jhon-40-Mr-Doe", "f_nams": "Jhon", "age": 40, "title": "Mr", "l_name": "Doe", "job": "engineer" }

答案2

其中一种可能的方法，富有表现力、程序化且清晰（尽管脚本本身看起来有点冗长），就是使用带json模块的 Python3。

#!/usr/bin/env python3
import json
import sys

with open(sys.argv[1]) as json_file:
    for line in json_file:
        json_obj = dict(json.loads(line))
        tokens = json_obj["Name"].split('-')
        extra_data = { 
            "f_nams": tokens[0].replace('%','') ,
            "age"   : tokens[1],
            "title" : tokens[2],
            "l_name": tokens[3]
        }
        joined_data = {**json_obj, **extra_data}
        print(json.dumps(joined_data))

它的工作方式是我们使用上下文管理器open()打开文件并在完成后自动关闭。从问题中的示例数据，我们可以假设每个 json 对象都在单独的行上（注意：如果您使用的实际数据有多行 json 对象，则可能必须调整脚本以使用try-except块读取文件，直到将完整的 json 数据读入变量）。

从那里开始，它只是文本操作和 Python 魔法：将键“名称”的值拆分成-字符上的标记，放入列表中，将标记列表放入新字典中，然后使用 Python 3.5 连接两个字典 **运算符，我认为这叫做“关键字解包”（如果您使用其他版本的 Python，请查看链接以了解替代方案）。所有这些都将转换回 json 对象并打印在标准输出上。如果您确实需要将其保存到新文件，请使用 shell 重定向，如./parse_data.py ./data.json > ./new_data.json或如果您想同时在屏幕上看到它./parse_data.py ./data.json | tee ./new_data.json

实际运作方式：

$ ./parse_data.py ./data.json 
{"Name": "%Hana-29-Mrs-Smith", "job": "engineer", "f_nams": "Hana", "age": "29", "title": "Mrs", "l_name": "Smith"}
{"Name": "%Mike-31-Mr-Larry", "job": "marketing", "f_nams": "Mike", "age": "31", "title": "Mr", "l_name": "Larry"}
{"Name": "%Jhon-40-Mr-Doe", "job": "engineer", "f_nams": "Jhon", "age": "40", "title": "Mr", "l_name": "Doe"}

$ cat ./data.json 
{"Name" :"%Hana-29-Mrs-Smith","job":"engineer"}
{"Name" :"%Mike-31-Mr-Larry","job":"marketing"}
{"Name" :"%Jhon-40-Mr-Doe","job":"engineer"}

相关内容