首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >合并多个JSON文件,通过字段删除重复的对象

问合并多个JSON文件,通过字段删除重复的对象
EN

Unix & Linux用户
提问于 2020-05-21 11:06:31
回答 1查看 6.1K关注 0票数 2

我正在尝试合并具有单个对象的数十万JSON文件。在这个回答的帮助下,我成功地将所有对象作为数组添加到单个对象中。现在,如果某个特定的字段或参数是重复的,我希望在合并期间筛选出一些对象。类似于两个对象的field 1具有相同的值。

下面是一个例子

输入文件1:

代码语言:javascript
复制
[
    {
      "field 1": 10,
      "field 2": 25,
      "field 3": 35,
      "field 4": 45
    }
]

输入文件2:

代码语言:javascript
复制
[
    {
      "field 1": 15,
      "field 2": 25,
      "field 3": 35,
      "field 4": 45
    }
]

输入文件3:

代码语言:javascript
复制
[
    {
      "field 1": 10,
      "field 2": 20,
      "field 3": 30,
      "field 4": 40
    }
]

预期产出:

代码语言:javascript
复制
[
    {
      "field 1": 10,
      "field 2": 25,
      "field 3": 35,
      "field 4": 45
    },
    {
      "field 1": 15,
      "field 2": 25,
      "field 3": 35,
      "field 4": 45
    }
]

由于field 1值相同,文件3对象将不会合并。

EN

回答 1

Unix & Linux用户

回答已采纳

发布于 2020-05-21 11:58:06

您只需在unique_by()中使用jq函数,它需要一个对象数组,并以字段名作为输入以移除重复项。

代码语言:javascript
复制
jq -n '[ inputs[] ] | unique_by(."value 1")'

要附加到我的另一个回答上,根据一个字段进行唯一的选择,并通过另一个字段删除对象,您可以在下面这样做。下面的代码组对象不包括基于"value 1"的重复项,不包括包含"value 6"的对象。

代码语言:javascript
复制
jq -n '[ [inputs[]] | unique_by(."value 1")[] | select( has("value 6") | not )]  '
票数 4
EN
页面原文内容由Unix & Linux提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://unix.stackexchange.com/questions/588098

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档