我之前的问题(here)变得更复杂了。
如果存在重复项,则需要根据另一列的子字符串(表示int值)执行检查。应保留具有较高价值的副本。创建子字符串的示例:cut -d"," -f14 file.txt | grep -o "N0[0-9]{3}" | sed 's/N0//g'
示例数据:
xyz,xyz,xyz,X08ABC,20200804,xyz,xyz,xyz,2020-08-17T20:08:27.000000Z,xyz,xyz,xyz,xyz,long_string_N0809_bla
xyz,xyz,xyz,X08ABC,20200804,xyz,xyz,xyz,2020-09-25T16:18:43.000000Z,xyz,xyz,xyz,xyz,long_string_N0809_bla在本例中,第三列将保留,而前两列将被丢弃。它们都是重复的(col4+col5 =相同),col 14中的int值在第2行和第3行中最高,date 9在第3行中比第2行晚。
如果我可以在原始文件中保持行的顺序,这是一个加号--但不是必须的。
编辑:如果这可以在awk中以某种可读的方式完成,那么拥有awk解决方案将是很棒的。我认为这是可能的,但我对awk中的多个操作感到非常困惑。
发布于 2020-09-30 19:52:16
我花了相当长的时间阅读其他问题,手册等,但我认为这应该是一个可能的解决办法。但是,它确实需要排序,因此不幸的是,行的顺序不能保持不变。而且,它依赖于列条目总是具有相同的长度,这有很大的潜在麻烦。
sort -t, -k 14.15,14.17r -k9.1,9.4r -k9.6,9.7r -k9.9,9.10r file.txt | awk -F, '{OFS=","} {print $0, $4"_"$5}' | awk -F, '!a[$15]++'
这将按第14 (809)列中的int值子集和第9列(按年份、月份、日期进行排序)中的日期对行进行排序。然后,创建一个新列,将col 4和col5结合起来,以识别重复的列。最后一个awk命令只保留最先出现的重复行--这也是为什么所有事情都需要首先排序的原因。
欢迎改进!
https://stackoverflow.com/questions/64117615
复制相似问题