我们目前正在为我们的众多服务构建一个集中的日志平台。计划是在每个应用服务器上安装一个抄写器客户端,这将把日志转发到中央抄写服务器。
中央抄写服务器目前正在将所有聚合日志记录到磁盘上。但是现在我们想在ElasticSearch上索引它们以实现可视化。
我的确切问题是:将日志从中央抄写服务器的输出转发到ElasticSearch以进行索引的最佳方法(最健壮、容错、计算成本更低和内存效率更低)是什么?
几乎没有什么值得探讨的想法:
X,Y或Z有什么好的选择吗?哪一个是最好的方法?请建议一下。
谢谢。
发布于 2014-10-24 08:23:06
据我说,Z选项是最好的方法。ElasticSearch适用于容错系统。这种机制有碎片和副本的定义。但是你必须考虑到内存效率。索引文档的计数将随着时间的推移而增加,并且它至少需要2倍的存储空间,因为默认配置文件中只有一个碎片和一个副本定义。
编辑:
如果您已经有了一个中央抄写服务器,我假设您的中央服务器上有所有日志消息。但是,如果您没有中央服务器的消息结构,则所有选项都可以用于您的应用程序。如果您想异步地实现索引,可以使用RabbitMQ或Apache孤岛。我认为您可以看看弹性搜索业绩考虑的索引。每秒的索引计数是多少?这对你的应用很重要吗?我的另一个建议是MongoDB。如果你不坚持使用ElasticSearch,我可以建议你在MongoDB上搜索。你应该检查一下这个比较。
https://stackoverflow.com/questions/26538131
复制相似问题