首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >将Scribe集中日志输出发送给elasticsearch的最佳方法

问将Scribe集中日志输出发送给elasticsearch的最佳方法
EN

Stack Overflow用户
提问于 2014-10-23 21:54:36
回答 1查看 576关注 0票数 0

我们目前正在为我们的众多服务构建一个集中的日志平台。计划是在每个应用服务器上安装一个抄写器客户端,这将把日志转发到中央抄写服务器。

中央抄写服务器目前正在将所有聚合日志记录到磁盘上。但是现在我们想在ElasticSearch上索引它们以实现可视化。

我的确切问题是:将日志从中央抄写服务器的输出转发到ElasticSearch以进行索引的最佳方法(最健壮、容错、计算成本更低和内存效率更低)是什么?

几乎没有什么值得探讨的想法:

  1. 服务器->文件-> Logstash -> ElasticSearch
  2. 服务器->文件-> X -> RabbitMQ -> Logstash -> ElasticSearch
  3. 服务器->文件-> Y -> ElasticSearch
  4. Scriber Server -> Z ->弹性搜索

X,Y或Z有什么好的选择吗?哪一个是最好的方法?请建议一下。

谢谢。

EN

回答 1

Stack Overflow用户

发布于 2014-10-24 08:23:06

据我说,Z选项是最好的方法。ElasticSearch适用于容错系统。这种机制有碎片和副本的定义。但是你必须考虑到内存效率。索引文档的计数将随着时间的推移而增加,并且它至少需要2倍的存储空间,因为默认配置文件中只有一个碎片和一个副本定义。

编辑:

如果您已经有了一个中央抄写服务器,我假设您的中央服务器上有所有日志消息。但是,如果您没有中央服务器的消息结构,则所有选项都可以用于您的应用程序。如果您想异步地实现索引,可以使用RabbitMQ或Apache孤岛。我认为您可以看看弹性搜索业绩考虑的索引。每秒的索引计数是多少?这对你的应用很重要吗?我的另一个建议是MongoDB。如果你不坚持使用ElasticSearch,我可以建议你在MongoDB上搜索。你应该检查一下这个比较。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/26538131

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档