首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >使用Awk消除基于两列的重复行

问使用Awk消除基于两列的重复行
EN

Stack Overflow用户
提问于 2018-09-10 08:34:46
回答 2查看 1.3K关注 0票数 0

给定以下输入:

代码语言:javascript
复制
#       133        15
KBL  40.385  26.385 1.0000 S
KBL  23.846   9.289 1.0000 P
KBL  40.234  26.385 1.0000 S
#       133         4
KBL  40.234  28.566 1.0000 S
KBL  40.385  28.566 1.0000 S
KBL  23.846  12.032 1.0000 P

我希望删除重复的行,特别是在第2列或第3列的值重复的情况下。换句话说,我希望得到以下输出:

代码语言:javascript
复制
#       133        15
KBL  40.385  26.385 1.0000 S
KBL  23.846   9.289 1.0000 P
#       133         4
KBL  40.234  28.566 1.0000 S
KBL  23.846  12.032 1.0000 P

我已经试过awk '!a[$0]++' file.xy了。但是,这只会删除完全相同的行。我希望只删除在第二列或第三列中具有重复值的行。

使用Awk,删除这些重复行的最佳方法是什么?谢谢。

EN

回答 2

Stack Overflow用户

回答已采纳

发布于 2018-09-10 10:00:22

假设您希望打印以#开头的行,不希望在测试中考虑它们的$2或$3值的重复值,并且只希望消除每个单独的#-line分隔块中的重复项:

代码语言:javascript
复制
$ awk '/^#/{print; delete seen; next} !(seen[$2]++ || seen[$3]++)' file
#       133        15
KBL  40.385  26.385 1.0000 S
KBL  23.846   9.289 1.0000 P
#       133         4
KBL  40.234  28.566 1.0000 S
KBL  23.846  12.032 1.0000 P
票数 2
EN

Stack Overflow用户

发布于 2018-09-10 10:09:23

这将为您提供所需的输出。此方法需要两个文件:

代码语言:javascript
复制
awk '!a[$2]++ || !a[$3]++' file1.txt > file2.txt && awk '!a[$3]++' file2.txt

产生的输出为:

代码语言:javascript
复制
#       133        15
KBL  40.385  26.385 1.0000 S
KBL  23.846   9.289 1.0000 P
#       133         4
KBL  40.234  28.566 1.0000 S
KBL  23.846  12.032 1.0000 P
票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/52249715

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档