我正在尝试消除一组基于单独字段的重复行。
cat file.txt
1 345 a blue
1 345 b blue
3 452 c blue
3 342 d green
3 342 e green
1 345 f green我想删除重复的行基于字段1和2,但分别为每种颜色。所需输出:
1 345 a blue
3 452 c blue
3 342 d green
1 345 f green我可以使用遍历颜色的for loop来实现此输出:
for i in $(awk '{ print $4 }' file.txt | sort -u); do
grep -w ${i} |
awk '!x[$1,$2]++' >> output.txt
done但这很慢。有没有办法在不使用循环的情况下获得这个输出?
谢谢。
发布于 2017-02-19 08:32:59
至少在这个例子中,它很简单:
$ awk 'arr[$1,$2,$4]++{next} 1' file
1 345 a blue
3 452 c blue
3 342 d green
1 345 f green或者,你可以否定这一点:
$ awk '!arr[$1,$2,$4]++' file您也可以使用GNU排序,这样可能会更快:
$ sort -k4,4 -k2,2 -k1,1 -u file发布于 2017-02-19 08:51:36
你也可以试试这个吗:
awk '!a[$1,$2,$4]++' Input_filehttps://stackoverflow.com/questions/42322026
复制相似问题