给定以下输入:
# 133 15
KBL 40.385 26.385 1.0000 S
KBL 23.846 9.289 1.0000 P
KBL 40.234 26.385 1.0000 S
# 133 4
KBL 40.234 28.566 1.0000 S
KBL 40.385 28.566 1.0000 S
KBL 23.846 12.032 1.0000 P我希望删除重复的行,特别是在第2列或第3列的值重复的情况下。换句话说,我希望得到以下输出:
# 133 15
KBL 40.385 26.385 1.0000 S
KBL 23.846 9.289 1.0000 P
# 133 4
KBL 40.234 28.566 1.0000 S
KBL 23.846 12.032 1.0000 P我已经试过awk '!a[$0]++' file.xy了。但是,这只会删除完全相同的行。我希望只删除在第二列或第三列中具有重复值的行。
使用Awk,删除这些重复行的最佳方法是什么?谢谢。
发布于 2018-09-10 10:00:22
假设您希望打印以#开头的行,不希望在测试中考虑它们的$2或$3值的重复值,并且只希望消除每个单独的#-line分隔块中的重复项:
$ awk '/^#/{print; delete seen; next} !(seen[$2]++ || seen[$3]++)' file
# 133 15
KBL 40.385 26.385 1.0000 S
KBL 23.846 9.289 1.0000 P
# 133 4
KBL 40.234 28.566 1.0000 S
KBL 23.846 12.032 1.0000 P发布于 2018-09-10 10:09:23
这将为您提供所需的输出。此方法需要两个文件:
awk '!a[$2]++ || !a[$3]++' file1.txt > file2.txt && awk '!a[$3]++' file2.txt产生的输出为:
# 133 15
KBL 40.385 26.385 1.0000 S
KBL 23.846 9.289 1.0000 P
# 133 4
KBL 40.234 28.566 1.0000 S
KBL 23.846 12.032 1.0000 Phttps://stackoverflow.com/questions/52249715
复制相似问题