用于从日志文件中提取两个日期范围之间的数据的Perl脚本，文件中不存在必要的输入日期

Question

我有一个日志文件，每一行都有一个时间戳，如下所示。我需要获取两个日期之间的数据。例如，在Aug 9 16:24:23和Aug 9 16:28:00之间获取数据，即使它们不在文件中。

Aug  9 16:24:21 linux-447z dbus-daemon[685]: 
Aug  9 16:24:21 linux-447z dbus[685]: [system] Activating service 
Aug  9 16:24:21 linux-447z dbus-daemon[685]: 
Aug  9 16:24:21 linux-447z dbus-daemon[685]: dbus[685]: [system] 
Aug  9 16:24:21 linux-447z dbus[685]: [system] Successfully activated 
Aug  9 16:27:46 linux-447z dhcpcd[3422]: eth0: renewing lease of 192.168.37.128
Aug  9 16:27:46 linux-447z dhcpcd[3422]: eth0: leased 192.168.37.128 for 1800 seconds
Aug  9 16:27:46 linux-447z dhcpcd[3422]: eth0: adding IP address 192.168.37.128/24
Aug  9 16:27:46 linux-447z dhcpcd[3422]: eth0: adding 
Aug  9 16:27:47 linux-447z dhcpcd[3422]: eth0: Failed to lookup
Aug  9 16:27:47 linux-447z ifup:     eth0      
Aug  9 16:27:48 linux-447z SuSEfirewall2:   
Aug  9 16:29:03 linux-447z dbus[685]: [system] Activating service 

Answer 1

您可以使用Time::Piece (从Perl5.10开始的核心模块)进行日期解析和比较：

#!/usr/bin/perl

use strict;
use warnings;
use 5.010;

use Time::Piece;

my $format = '%b %e %T';
my $start = Time::Piece->strptime('Aug  9 16:24:23', $format);
my $end   = Time::Piece->strptime('Aug  9 16:28:00', $format);

while (<DATA>) {
    my ($timestamp) = /(^\w+\s+\d+\s+\d\d:\d\d:\d\d)/;
    my $t = Time::Piece->strptime($timestamp, $format);

    print if $t >= $start && $t <= $end;
}

__DATA__
Aug  9 16:24:21 linux-447z dbus-daemon[685]:
Aug  9 16:24:21 linux-447z dbus[685]: [system] Activating service
Aug  9 16:24:21 linux-447z dbus-daemon[685]:
Aug  9 16:24:21 linux-447z dbus-daemon[685]: dbus[685]: [system]
Aug  9 16:24:21 linux-447z dbus[685]: [system] Successfully activated
Aug  9 16:27:46 linux-447z dhcpcd[3422]: eth0: renewing lease of 192.168.37.128
Aug  9 16:27:46 linux-447z dhcpcd[3422]: eth0: leased 192.168.37.128 for 1800 seconds
Aug  9 16:27:46 linux-447z dhcpcd[3422]: eth0: adding IP address 192.168.37.128/24
Aug  9 16:27:46 linux-447z dhcpcd[3422]: eth0: adding
Aug  9 16:27:47 linux-447z dhcpcd[3422]: eth0: Failed to lookup
Aug  9 16:27:47 linux-447z ifup:     eth0
Aug  9 16:27:48 linux-447z SuSEfirewall2:
Aug  9 16:29:03 linux-447z dbus[685]: [system] Activating service

输出：

Aug  9 16:27:46 linux-447z dhcpcd[3422]: eth0: renewing lease of 192.168.37.128
Aug  9 16:27:46 linux-447z dhcpcd[3422]: eth0: leased 192.168.37.128 for 1800 seconds
Aug  9 16:27:46 linux-447z dhcpcd[3422]: eth0: adding IP address 192.168.37.128/24
Aug  9 16:27:46 linux-447z dhcpcd[3422]: eth0: adding 
Aug  9 16:27:47 linux-447z dhcpcd[3422]: eth0: Failed to lookup
Aug  9 16:27:47 linux-447z ifup:     eth0      
Aug  9 16:27:48 linux-447z SuSEfirewall2:  

Answer 2

你可以在hash中解析每一行存储数据的数据: convert date to int (只需为你的数据样本去掉':‘)，并使用它作为键，value应该是一个数组，因为你同时有多个数据。将边框值转换为数字将有助于限制结果输出。

Answer 3

如果您有日志文件，其中的时间戳具有已知或明确标记的时区，则应该很简单，例如，使用Time::Piece (请参阅此问题的其他答案以获取示例)或更简单的要求(例如，文件中的时间戳和grep的时间戳位于同一时区) Time::Local。

但是，对于你的示例文件(例如典型的syslog文件)，它会变得混乱，因为你既没有时区信息，也没有年份，如果这些是syslog文件，他们通常使用(但不记录)当前时区，在记录时可以更改，特别是如果你有夏令时的话。

我曾经在一个项目中工作，旧的syslog格式(例如，既不带时区也不带年份的本地时间)是必需的。为了确定日志开始的时区和年份，我们在每次轮换后将一个特殊的日志条目放在新文件的顶部。我们还确保至少每小时写入一次日志条目，以便我们可以检测夏令时的更改。对于损坏的时间戳，有很多解决方法:(