Shark外部表性能

Question

就查询性能而言，从本地文件系统上的Shark中的外部表查询与使用HDFS上的数据相比如何？我计划使用一台高端服务器来运行shark查询，我想知道是否绝对有必要安装hadoop/hdfs。

Answer 1

通常，如果您已经打算在单个高端服务器上运行，则不需要设置HDFS。在这种情况下，您实际上应该比在一台机器上安装HDFS获得更好的性能，因为您不会为了获取文件元数据而额外往返于localhost，也不会额外间接地将HDFS映射文件映射到一系列不透明的块上，这些块本身就是本地文件系统上的文件。

请注意，您仍然会自动受益于Shark通过Hadoop (这是默认的"Hadoop文件系统“，当HDFS没有显式设置时加载)，因此Shark将有效地认为它正在使用HDFS等效物。这意味着，在将来，如果您确实需要在分布式集群上运行，只需修改fs.default.name就可以了，其他一切都将像您习惯于在单机设置上一样工作。