使用Sed/Awk提取行的前三个唯一实例

Question

我有一个包含20000个探针的列表，是否有一种方法可以使用sed/awk提取每个探针的前三行/出现情况？

Example of dataset:
    Probe1 A  GTTAGAGGAGGTGGAAGAGC
    Probe1 B  CTGAGGTCGGGACGGAGCAC
    Probe1 C  GATGTAGGCGGTTGGCGTGG
    Probe1 D  GTTGGCGAAGTCACATCTAG
    Probe1 E  CATGTCGCCGACTCCGTCGA
    Probe1 F  GTGATGTTCTGAGTACATAG

    Probe3 A  GATTGTAGGTTTCCTGCCAG
    Probe3 L  ACCCAGCCAGGGGAAAACCA
    Probe3 Z  GGAGATGTAGGCGGTTGGCG
    Probe3 Y  GGAGATGTAGGCCTTAAAAA
    Probe3 D  GATTGTAGGGGTCCTGCCAG

期望产出：

Probe1 A  GTTAGAGGAGGTGGAAGAGC
Probe1 B  CTGAGGTCGGGACGGAGCAC
Probe1 C  GATGTAGGCGGTTGGCGTGG
Probe3 A  GATTGTAGGTTTCCTGCCAG
Probe3 L  ACCCAGCCAGGGGAAAACCA
Probe3 Z  GGAGATGTAGGCGGTTGGCG

Answer 1

awk去营救！

$ awk '++a[$1]<4' file

删除空行

$ awk '++a[$1]<4 && NF' file

Answer 2

这里不需要使用sed或awk (如果您想使用Python)。除非我弄错了你的问题，否则应该是这样的：

probes = [
"""Probe1 A  GTTAGAGGAGGTGGAAGAGC
Probe1 B  CTGAGGTCGGGACGGAGCAC
Probe1 C  GATGTAGGCGGTTGGCGTGG
Probe1 D  GTTGGCGAAGTCACATCTAG
Probe1 E  CATGTCGCCGACTCCGTCGA
Probe1 F  GTGATGTTCTGAGTACATAG""",
"""Probe3 A  GATTGTAGGTTTCCTGCCAG
Probe3 L  ACCCAGCCAGGGGAAAACCA
Probe3 Z  GGAGATGTAGGCGGTTGGCG
Probe3 Y  GGAGATGTAGGCCTTAAAAA
Probe3 D  GATTGTAGGGGTCCTGCCAG"""]

for probe in probes:
    for i, line in enumerate(probe.split("\n")):
        print(line)
        if i >= 2:
            break