使用弹性MapReduce (PIG)处理云前端日志

Question

我想处理亚马逊CloudFront使用亚马逊弹性MapReduce创建的访问日志。

我只需要一些关于不同文件从cloudfront加载了多少次的简单统计数据，所以我想我应该为此编写一个简单的PIG脚本。

我遇到的第一个问题是cloudfront写的日志是压缩的，据我所知，我不能在pig中读取.gz？

我该怎么做，有什么建议吗？我是elastic mapreduce的新手，所以欢迎任何关于如何构建这类工作的提示。

Answer 1

抱歉，默认情况下这是有效的。不需要在处理日志之前解压缩日志。是我的错。

Answer 2

您可能会对Qloudstat感兴趣。我们将提供CloudFront访问日志的统计数据作为服务。