我需要从不同种类的日志文件中收集和存储大量数据,但在此之前需要过滤某些字段,以便只提取必要的信息。因此,我在考虑使用ETL工具为我提供服务的可能性。我的想法是构建一个基于文件连接器的解决方案,编程或定制转换过程,最后将该解决方案部署在linux机器上,以便能够实时查看文件,提取所需信息并将其存储在数据库中,例如。
所以我的问题是。哪种开源工具更适合,更灵活,更适合这项工作?
Scriptella,Kettle,Talent还是其他?
再说一次,对于使用日志/文本文件来说,它是一个事实工具吗?
and的目的和目标是创建一个有效的解决方案来监视,提取日志和存储区域日志格式的数据。
谢谢!
发布于 2010-11-11 11:17:08
我认为最好的组合是: map-reduce实现,如apache hadoop或gridgain或JPPF (用于处理大型数据集)+用于数据挖掘的jdmp +用于查询和检索的NoSQL db (neo4j或bigtable等)。目前还不清楚确切的用例是什么;-)
另请查看此链接以了解更多详细信息:Do you know batch log processing tools for hadoop (zohmg alternatives)?
https://stackoverflow.com/questions/4150965
复制相似问题