使用Webhdfs/httpfs火花

Question

我想通过httpfs或Webhdfs将一个文件从HDFS读入Spark。与…有关的东西

sc.textFile("webhdfs://myhost:14000/webhdfs/v1/path/to/file.txt")

或者，理想情况下，

sc.textFile("httpfs://myhost:14000/webhdfs/v1/path/to/file.txt")

有没有一种方法可以让Spark通过Webhdfs/httpfs读取文件？

Answer 1

我相信WebHDFS/ HttpFS就像流源一样，可以通过REST传输数据。

然后，可以使用火花流从WebHDFS/ HttpFS接收数据。

Answer 2

根据Smart-2930文档增强请求，spark.yarn.access.namenodes也应该适用于webhdfs / hdfs。SPARK 2930澄清了使用webhdfs和spark.yarn.access.namenodes的文档

在纱线上撒播获得关于spark.yarn.access.namenodes的更多详细信息