Spark需要多少个Shark服务器？

Question

我是Spark/Shark的新手，已经和三个Spark工作者建立了一个集群。我开始在相同的三台服务器上安装Shark，但我得出的结论是，这可能不是必需的，只需要一台Shark服务器--我在文档中找不到任何与此相关的内容。我是否只需要一台Shark服务器，因为Spark/Hive将进行繁重的提升，或者我需要将其分发到Spark所在的所有服务器？

Answer 1

Shark是一个Spark应用程序。它就像一个WordCount或Spark Shell。您需要将其放在要从其发送查询的客户端计算机上。

如果工人机器上没有Shark JARS，则必须将它们附加到Spark上下文。

Shark服务器的工作原理有点像unix系统中的“屏幕”。在本例中，Shark服务器是Spark中的一个应用程序。

Answer 2

假设Shark指的是ThriftServer，那么每个(火花)集群只需要一个Shark。

这甚至延续到了火花1.0.1，在那里鲨鱼退休了，因为ThriftServer已经被带入了火花核心本身。