问如何在Hadoop集群的数据管道中设置监控系统？
EN

Stack Overflow用户

提问于 2016-10-26 07:23:04

回答 1查看 93关注 0票数 0

管道的数据输入来自数据库或web记录器。管道对其进行处理，并将其放入硬盘文件系统，并将数据移动到NoSQL数据库。监控系统将对此进行端到端的监控。

发布于 2016-10-26 12:46:39

你可以考虑使用ELK栈( ElasticSearch，Logstash，Kibana)。在每个节点上，摄取、处理和插入到数据库中，请查看是否可以添加有关要处理的每个文件/记录的日志。

您可以在每个节点上部署logstash并为其编写解析逻辑，将其写入ElasticSearch并使用Kibana将其可视化。

您还可以考虑使用Elastic.co中的Watcher插件在出现错误时生成警报。

以下是一些可供您入门的链接。

Install EKL

Log Analysis

Alerting

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/40251292

复制

相似问题

问如何在Hadoop集群的数据管道中设置监控系统？EN