问题:我需要从auth日志中提取数据以获得大约的数据。30个地点。日志采用CSV格式。为了使分析有用,日志条目必须与位置的操作时间相匹配。数据存储在数据所涵盖的时间段内的目录中:例如,data/june1-june30/。CSV文件只使用位置代码例如,LOC1.csv,LOC2.csv命名。下面是一个典型日志的示例:
2010-06-01, 08:30:00 , 0
2010-06-01, 09:30:00 , 1
2010-06-01, 10:30:00 , 10
2010-06-01, 11:30:00 , 7
2010-06-01, 12:30:00 , 8
2010-06-01, 13:30:00 , 6
2010-06-01, 14:30:00 , 3
2010-06-01, 15:30:00 , 8
2010-06-01, 16:30:00 , 11这些条目显示了在第三个字段所指示的时间段内成功通过身份验证的会话的数量。日志代表24小时的数据,这对分析是无用的,因为操作时间因地点不同而不同。现在的问题是如何只提取与操作时间相匹配的数据。分析必须显示操作小时的活动是有用的。
安装-到目前为止,决定使用YAML创建一个配置文件,其中包含每个位置的数组/散列。
例如,
- branch: headquarters
abbrev: HQ
months: [04, 06]
DOW: [M, T, W, Th]
hours:
M: [12, 13, 14, 15, 16, 17, 18]
T: [12, 13, 14, 15, 16, 17, 18]
W: [09, 10, 11, 12, 13, 14, 15,
16, 17, 18]
Th: [12, 13, 14, 15, 16, 17, 18,
19, 20]月份的名称显示了最繁忙的月份,因为这是我们所关心的。
--我在--代码将使用月份数组找到适当的目录,然后使用缩写数组提取正确的CSV文件。因此,我需要的文件存储在一个数组@文件中。我的问题归结为设计。结果必须与每个月的适当日期相匹配。星期一,星期二...etc。是否创建存储一周中每一天的日期的月份数组?我被困住了,不知道从这里往哪里走。
为了澄清:代码已经为每个分支提取了正确的文件并将它们加载到一个数组中(使用globbing和Find::File )。现在的问题是迭代每个分支的@files数组并提取信息。
编辑:根据请求::我将提供一些代码。这是在散列中显示的几个月前获得这些文件的商品。这是最简单的部分。
foreach my $branch (@$config) {
my $name = $branch->{'branch'};
my $months = $branch->{'months'};
my $abbrev = $branch->{'abbrev'};
# find directories for busy months, load in @dirs
my @dirs;
foreach my $month (@$months) {
my $regex2 = qr(stats_2010-$month.*);
map { push(@dirs, $_) if $_ =~ $regex2 } @stats_dir;
}
# find csv files within directories, load in @files
my @files;
find(\&wanted, @dirs);
sub wanted {
push(@files, $_) if $_ =~ /$abbrev\.csv/;
}output :我希望得到的输出是:来自每个文件的行,表示该分支的操作时间。为了简单起见,我认为可以将它们输出到一个单独的文件中。以同样的格式。使它变得困难的是,你必须匹配星期一,星期二..etc。以某种方式和日期。这是由于不同时间的工作时间不同的日子。
我是不是把问题弄得比需要的更难?我已经坐了太久了,希望能有一双新的眼睛把我弄清楚。我的Perl很好,但我需要一些设计/算法部门的帮助。我想我可以想办法把它弄清楚。但是可以随意发布Perl。我喜欢读好的Perl!
最后,我将平均每周一,星期二...etc的活动。每个月。
谢谢~
布布诺夫
发布于 2010-11-12 00:21:27
将一周中的一天转换为周一为1,周日为7的数字,然后创建一个类似于1=>{12=>1,13=>1,14=>1,15=>1,16=>1,17=>1,18=>1},2=>{12=>1,13=>1,14=>1,15=>1,16=>1,17=>1,18=>1},...的散列(注意你的YAML中的陶氏指数是多么多余)。
迄今为止:
use DateTime;
foreach $file (@files) {
open F "<$file";
foreach $line (<F>) {
$line =~ m/^(\d+)-(\d+)-(\d+), (\d+):(\d+):(\d+) , (\d+)/;
$dt = DateTime->new( year => $1,
month => $2,
day => $3,
hour => $4,
minute => $5,
second => $6,
);
$count = $7; #Possibly redundant; Use it if you're aggregating.
if (exits $selection{$dt->day_of_week}
&& exists $selection{$dt->day_of_week}{$dt->hour}) {
print $line;
}
}
}发布于 2010-11-12 21:43:22
我所使用的解决方案来自于dlamblin (再次感谢您的帮助!!)
下面是调整后的YAML配置:
- branch: Headquarters
abbrev: HQ
months: [04, 06]
DOW:
1: {12: 1, 13: 1, 14: 1, 15: 1,
16: 1, 17: 1, 18: 1}
2: {12: 2, 13: 2, 14: 2, 15: 2,
16: 2, 17: 2, 18: 2}
3: {09: 3, 10: 3, 11: 3, 12: 3,
13: 3, 14: 3, 15: 3, 16: 3, 17: 3, 18: 3}
4: {12: 4, 13: 4, 14: 4, 15: 4, 16: 4,
17: 4, 18: 4, 19: 4, 20: 4}下面是Perl:
foreach my $dir (@dirs) {
my $file = qq($dir/$abbrev.csv);
open(F, $file);
my @data=<F>;
foreach my $line (@data) {
chomp($line);
unless ($line =~ m/^(\d+)-(\d+)-(\d+), (\d+):(\d+):(\d+) , (\d+)/){next;}
my $dt = DateTime->new( year => $1,
month => $2,
day => $3,
hour => $4,
minute => $5,
second => $6,
);
my $count = $7;
if (exists $DOW{$dt->day_of_week} && exists $DOW{$dt->day_of_week}{$dt->hour}) {
print $line . "\n";
}
}
close(F);
}发布于 2010-11-11 23:48:09
有一些模块会给你道指从日期和时间,但如果它们太重,你可以use Time::Local。解析日期--不管我怎么想,你都需要这样做--在每一行上,然后通过timelocal,然后通过localtime,给你道琼斯指数。你必须适当地按摩$mon和$year。
$dow = ( localtime( timelocal( 0, 0, 0, $mday, $mon, $year ) ) )[6];一旦你拿到了道琼斯指数,你就知道该怎么处理了。
https://stackoverflow.com/questions/4159272
复制相似问题