问使用HDFS实现节点本地数据局部化是否需要使用Spark和YARN？
EN

Stack Overflow用户

提问于 2016-10-18 14:59:54

回答 1查看 323关注 0票数 0

使用HDFS实现节点本地数据局部化是否需要使用Spark和YARN？

如果我使用Spark独立集群管理器，并将我的数据分布在HDFS集群中，Spark如何知道数据位于节点本地？

发布于 2016-10-18 15:06:35

YARN是一个资源管理器。它处理内存和进程，而不是HDFS或数据局部性的工作方式。

因为Spark可以从HDFS源文件中读取数据，并且namenodes和datanodes负责管理YARN之外的所有HDFS块数据，所以我相信答案是否定的，你不需要YARN。但是您已经有了HDFS，这意味着您已经有了Hadoop，所以为什么不利用将Spark集成到YARN中呢？

票数 2

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/40101578

复制

相似问题

问使用HDFS实现节点本地数据局部化是否需要使用Spark和YARN？EN