首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >Bash/awk:基于两列查找重复项,根据其他列中的值保留行

问Bash/awk:基于两列查找重复项,根据其他列中的值保留行
EN

Stack Overflow用户
提问于 2020-09-29 10:21:38
回答 1查看 314关注 0票数 0

我之前的问题(here)变得更复杂了。

  1. I需要识别逗号分隔的文本文件中的重复条目,基于代表4:标识符、5:日期的列4和5的组合。这两列可以简单地连接起来。

如果存在重复项,则需要根据另一列的子字符串(表示int值)执行检查。应保留具有较高价值的副本。创建子字符串的示例:cut -d"," -f14 file.txt | grep -o "N0[0-9]{3}" | sed 's/N0//g'

  1. 如果int值相同,则需要根据第9列执行另一次检查,它表示日期。应保留日期较晚的行。

示例数据:

代码语言:javascript
复制
xyz,xyz,xyz,X08ABC,20200804,xyz,xyz,xyz,2020-08-17T20:08:27.000000Z,xyz,xyz,xyz,xyz,long_string_N0809_bla
xyz,xyz,xyz,X08ABC,20200804,xyz,xyz,xyz,2020-09-25T16:18:43.000000Z,xyz,xyz,xyz,xyz,long_string_N0809_bla

在本例中,第三列将保留,而前两列将被丢弃。它们都是重复的(col4+col5 =相同),col 14中的int值在第2行和第3行中最高,date 9在第3行中比第2行晚。

如果我可以在原始文件中保持行的顺序,这是一个加号--但不是必须的。

编辑:如果这可以在awk中以某种可读的方式完成,那么拥有awk解决方案将是很棒的。我认为这是可能的,但我对awk中的多个操作感到非常困惑。

EN

回答 1

Stack Overflow用户

发布于 2020-09-30 19:52:16

我花了相当长的时间阅读其他问题,手册等,但我认为这应该是一个可能的解决办法。但是,它确实需要排序,因此不幸的是,行的顺序不能保持不变。而且,它依赖于列条目总是具有相同的长度,这有很大的潜在麻烦。

sort -t, -k 14.15,14.17r -k9.1,9.4r -k9.6,9.7r -k9.9,9.10r file.txt | awk -F, '{OFS=","} {print $0, $4"_"$5}' | awk -F, '!a[$15]++'

这将按第14 (809)列中的int值子集和第9列(按年份、月份、日期进行排序)中的日期对行进行排序。然后,创建一个新列,将col 4和col5结合起来,以识别重复的列。最后一个awk命令只保留最先出现的重复行--这也是为什么所有事情都需要首先排序的原因。

欢迎改进!

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/64117615

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档