我正在尝试合并具有单个对象的数十万JSON文件。在这个回答的帮助下,我成功地将所有对象作为数组添加到单个对象中。现在,如果某个特定的字段或参数是重复的,我希望在合并期间筛选出一些对象。类似于两个对象的field 1具有相同的值。
下面是一个例子
输入文件1:
[
{
"field 1": 10,
"field 2": 25,
"field 3": 35,
"field 4": 45
}
]输入文件2:
[
{
"field 1": 15,
"field 2": 25,
"field 3": 35,
"field 4": 45
}
]输入文件3:
[
{
"field 1": 10,
"field 2": 20,
"field 3": 30,
"field 4": 40
}
]预期产出:
[
{
"field 1": 10,
"field 2": 25,
"field 3": 35,
"field 4": 45
},
{
"field 1": 15,
"field 2": 25,
"field 3": 35,
"field 4": 45
}
]由于field 1值相同,文件3对象将不会合并。
发布于 2020-05-21 11:58:06
您只需在unique_by()中使用jq函数,它需要一个对象数组,并以字段名作为输入以移除重复项。
jq -n '[ inputs[] ] | unique_by(."value 1")'要附加到我的另一个回答上,根据一个字段进行唯一的选择,并通过另一个字段删除对象,您可以在下面这样做。下面的代码组对象不包括基于"value 1"的重复项,不包括包含"value 6"的对象。
jq -n '[ [inputs[]] | unique_by(."value 1")[] | select( has("value 6") | not )] 'https://unix.stackexchange.com/questions/588098
复制相似问题