检查某一列中的哪个字符串重复

Question

我想看看我的第二列中的哪个字符串是重复的。

例如：

a   apple
b   peach
c   grape
d   peach
e   peach
f   apple

我的输出将是：

a   apple
f   apple
b   peach
d   peach
e   peach

显示在第二列中具有公共字符串的整行。

Answer 1

如果您不想将所有文件都存储在内存中，最好的方法是读取该文件两次。

$ awk 'FNR==NR {a[$2]++; next} a[$2]>1' file file
a   apple
b   peach
d   peach
e   peach
f   apple

• 首先计算列值appears
• secondly的多少次，以打印其中第二列至少计数两次的行。

作为Jonathan Leffler suggests，要再现您得到的确切输出，只需通过管道连接到sort，指示它应该首先按第2列排序，然后按第1列排序：

awk 'FNR==NR {a[$2]++; next} a[$2]>1' file file | sort -k2,2 -k1

Answer 2

一个不会两次读取文件的perl解决方案：

perl -lane 'push @{$s{$F[1]}},$_; 
            END{
                do{print join "\n", @{$s{$_}} if scalar(@{$s{$_}})>1}for(%s)
            }' file

这将遍历整个文件，并将每一行保存在一个散列中，散列的关键字是第2个字段，值是行列表。然后，在最后，它将打印其关键字多次出现的列表。

Answer 3

使用GNU awk实现真正的2D数组：

gawk '
{ vals[$2][++cnt[$2]] = $0 }
END {
    for (fruit in vals)
        if (cnt[fruit] > 1)
            for (i=1; i<=cnt[fruit]; i++)
                print vals[fruit][i]
}
' file
a   apple
f   apple
b   peach
d   peach
e   peach