HADOOP中的实时交互查询

Question

是否可以在hadoop中进行实时交互式查询？

当我在YARN/tez上使用配置单元时，延迟仍然太高，即使是在拼接/ocr上。

有什么建议吗？

提前感谢

Answer 1

对于实时或接近实时的查询，Hadoop不是一个好的选择。在Hadoop中运行任何东西的延迟开销都会很高。考虑使用Apache Spark (因为我希望您有一个批处理系统，因为您正在使用Hadoop)。Spark使用spark shell提供交互式查询。您还可以使用Impala对HDFS中存储的数据进行查询。我相信，与Hive相比，Impala提供了更快的查询。