logstah对火花流和风暴

Question

我正在建设一个分布式实时集群系统来监控和分析一个网络。我在互联网上做了几项研究，却没有什么技术：

• 用于实时处理:日志存储、风暴和apache流
• 存储: elasticsearch
• 用于分析：(我将使用ES连接Elasticsearch)
• 用于数据可视化: kibana、D3js、c3js

然而，树桩并不常被提及为火花流和风暴。我在互联网上发现了如下的体系结构：

​

​

我有两个问题：

1. 我不明白为什么不经常提到logstash作为一个真正的蒂姆处理系统，如火花流和风暴。主要原因是什么？我一直在用它，它非常强大。
2. 关于分析部分，我可以在该配置中使用机器学习语言吗？

Answer 1

1. Logstash不是集群流处理系统。它只是一个基于JVM的进程。最新版本支持在磁盘缓冲区，但没有几乎相同的交付保证与火花或风暴。看看http://storm.apache.org/releases/1.0.3/Guaranteeing-message-processing.html
2. 是的，但不确定为什么首先使用弹性来存储数据。为什么不是HDFS->SparkML->弹性？这里主要考虑的是管理模型、培训和测试。