首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >是否使用awk数组消除基于单独字段的重复列?

问是否使用awk数组消除基于单独字段的重复列?
EN

Stack Overflow用户
提问于 2017-02-19 07:51:32
回答 2查看 81关注 0票数 2

我正在尝试消除一组基于单独字段的重复行。

cat file.txt

代码语言:javascript
复制
1    345   a    blue
1    345   b    blue
3    452   c    blue
3    342   d    green
3    342   e    green 
1    345   f    green

我想删除重复的行基于字段1和2,但分别为每种颜色。所需输出:

代码语言:javascript
复制
1    345    a   blue
3    452    c   blue
3    342    d   green
1    345    f   green

我可以使用遍历颜色的for loop来实现此输出:

代码语言:javascript
复制
for i in $(awk '{ print $4 }' file.txt | sort -u); do
   grep -w ${i} |
   awk '!x[$1,$2]++' >> output.txt
done

但这很慢。有没有办法在不使用循环的情况下获得这个输出?

谢谢。

EN

回答 2

Stack Overflow用户

回答已采纳

发布于 2017-02-19 08:32:59

至少在这个例子中,它很简单:

代码语言:javascript
复制
$ awk 'arr[$1,$2,$4]++{next} 1' file
1    345   a    blue
3    452   c    blue
3    342   d    green
1    345   f    green

或者,你可以否定这一点:

代码语言:javascript
复制
$ awk '!arr[$1,$2,$4]++' file

您也可以使用GNU排序,这样可能会更快:

代码语言:javascript
复制
$ sort -k4,4 -k2,2 -k1,1 -u file
票数 4
EN

Stack Overflow用户

发布于 2017-02-19 08:51:36

你也可以试试这个吗:

代码语言:javascript
复制
awk '!a[$1,$2,$4]++'   Input_file
票数 4
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/42322026

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档