Hadoop日志文件分析

Question

我想创建一个java应用程序。它可以部署在Hadoop上，其目的如下：

• I有许多来自不同服务器(Tuxedo日志、Websphere日志和IIS日志)的更大的日志文件--
• --我想分析这些大文件作为一个报告来生成，其中声明了从Tux、这许多错误、来自Websphere的许多错误/警告等等

。

所以我现在需要帮助，因为我有限的Hadoop知识。

• 大部分地图减少了阿尔戈。在日志文件来自不同来源(Tux、Websphere、IIS等)
• 的情况下，如何设计map()和

()函数--本例中为

• --如何存储日志报告(例如:来自Tux的错误/警告，从Websphere的错误/警告/信息)组合等

提前感谢

Answer 1

apache flume是这个场景的答案。