如何在Hadoop中可视化日志文件？

Question

我只是大数据领域的新手，所以我不知道如何构建仪表板应用程序来可视化Hadoop中的日志文件中的数据。在四处搜索之后，我可以想出一些解决方案：

1/使用Kafka获取流数据

2/流数据处理:流Spark或Apache Flink

3/前端-->可视化数据:使用d3js

我是不是遗漏了什么？Spark和Flink我应该使用哪一个？我有一个机器集群，我已经安装了Ambari，HDP 2.4.2，HDFS 2.7，YARN 2.7，Spark 1.6，Kafka。

如果可能的话，你们能给我看一些构建这样一个应用程序的教程吗？有什么书或课程吗？

非常感谢。

P/s：

我读过databrick的git书，但它只提到了spark。我还找到了一些如何使用Flink，Elasticsearch和Kibana进行分析的教程，但没有提到如何与Ambari Server结合，这就是我被卡住的地方

Answer 1

你可以看看Ambari的日志搜索功能：https://github.com/abajwa-hw/logsearch-service，它可以可视化日志。