首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >使用awk打印文件中的重复行

问使用awk打印文件中的重复行
EN

Stack Overflow用户
提问于 2016-04-08 17:54:03
回答 7查看 15.5K关注 0票数 9

我需要在uniq -D选项中不支持的文件中打印所有重复的行。因此,我正在考虑另一种使用awk打印重复行的方法。我知道,我们在awk中有一个选择,如下所示。

testfile.txt

代码语言:javascript
复制
apple
apple
orange
orange
cherry
cherry
kiwi
strawberry
strawberry
papaya
cashew
cashew
pista

命令:

代码语言:javascript
复制
awk 'seen[$0]++' testfile.txt

但是上面只打印了唯一的重复行。我需要的输出与uniq -D命令检索的输出相同。

代码语言:javascript
复制
apple
apple
orange
orange
cherry
cherry
strawberry
strawberry
cashew
cashew
EN

回答 7

Stack Overflow用户

回答已采纳

发布于 2016-04-08 18:14:23

如果您只想使用普通的awk,您必须处理该文件两次:一次生成计数,一次消除计数等于1的行:

代码语言:javascript
复制
awk 'NR==FNR {count[$0]++; next} count[$0]>1' testfile.txt testfile.txt
票数 5
EN

Stack Overflow用户

发布于 2016-04-08 19:22:59

不需要解析文件两次:

代码语言:javascript
复制
$ awk 'c[$0]++; c[$0]==2' file
apple
apple
orange
orange
cherry
cherry
strawberry
strawberry
cashew
cashew
票数 16
EN

Stack Overflow用户

发布于 2016-04-09 04:01:33

使用sed:

代码语言:javascript
复制
$ sed 'N;/^\(.*\)\n\1$/p;$d;D' testfile.txt
apple
apple
orange
orange
cherry
cherry
strawberry
strawberry
cashew
cashew

这样做的目的如下:

代码语言:javascript
复制
N                 # Append next line to pattern space
/^\(.*\)\n\1$/p   # Print if lines in pattern space are identical
$d                # Avoid printing lone non-duplicate last line
D                 # Delete first line in pattern space

有几个限制:

  • 它只适用于相邻的重复,即不适用于 苹果橙苹果
  • 连续出现两次以上的行会把它抛掉。
票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/36506212

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档