使用带有重叠行的awk从多行会话/作业日志中提取数据

Question

假设我有一个大型日志文件，类似于以下内容：

[2016-11-11 16:41:06.062] <sid:111> start1
[2016-11-11 16:41:06.062] <sid:111> op <555>
[2016-11-11 16:41:06.063] <sid:111> op <666>
[2016-11-11 16:41:07.124] <sid:222> start1
[2016-11-11 16:41:07.125] <sid:111> end
[2016-11-11 16:41:07.123] <sid:222> op <777>
[2016-11-11 16:41:08.333] <sid:333> start2
[2016-11-11 16:41:08.352] <sid:333> op <888>
[2016-11-11 16:41:08.352] <sid:333> op <999>
[2016-11-11 16:41:09.062] <sid:333> end
[2016-11-11 16:41:09.100] <sid:222> op <222>
[2016-11-11 16:41:09.100] <sid:222> op <333>
[2016-11-11 16:41:09.100] <sid:222> end

假设我需要知道以start1开头的每个会话的start1号是多少？

<sid:111> <555>
<sid:111> <666>
<sid:222> <777>
<sid:222> <222>
<sid:222> <333>

当并发会话很有可能并行执行，并且行不是全部在一起时，我如何使用awk (或其他任何东西)来做到这一点。

我尝试使用以下awk脚本：

awk '
    BEGIN {
        seen_start = 0;
        seen_end = 1;
    }
    !seen_start && seen_end && $0 ~ /start1/ {
        match($0, "(<sid:[a-f0-9]+>) start1", m);
        sid = m[1];
        seen_start = 1;
        seen_end = 0;
    }
    seen_start && !seen_end && $0 ~ sid && $0 ~ /op/ {
        match($0, "op (<[0-9]+>)", m);
        print sid, m[1];
    }
    seen_start && !seen_end && $0 ~ sid && $0 ~ /end/ {
        seen_start = 0;
        seen_end = 1;
    }
' test

但是，我想念从另一次会议开始的会议。

<sid:111> <555>
<sid:111> <666>

谢谢

Answer 1

最后我使用了perl

#!/usr/bin/perl

my %hash;
while (<>) {
    if (/(<sid:[a-f0-9]+>) start1/) {
        $hash{$1} = 1;
    }
    elsif (/(<sid:[a-f0-9]+>) op (<[0-9]+>)/) {
        if (exists $hash{$1}) {
            print "$1 $2\n";
        }
    }
    elsif (/(<sid:[a-f0-9]+>) end/) {
        if (exists $hash{$1}) {
            delete $hash{$1};
        }
    }
}

Answer 2

awk单线

awk -F '[:<>]' '/start1/ {a[$5]; next} /end/ {delete a[$5]; next} /op/ && $5 in a {print $5, $7}' test

解释

awk -F '[:<>]' '                  # Split on either :, < or >
    /start1/ {a[$5]; next}        # Note that the session has started
    /end/ {delete a[$5]; next}    # note session ended
    /op/ && $5 in a {             # print if session has started
        print $5, $7
    }
'