问从Spark应用程序访问CFS
EN

Stack Overflow用户

提问于 2015-10-17 23:38:47

回答 1查看 106关注 0票数 0

我正在尝试读取和写入我的本地cfs安装，这是通过以独立模式在本地安装DSE来完成的。

我的猜测是，为了连接到cfs，我必须以某种方式使用right主机名，我所说的right指的是当我执行./dse spark时，Spark master (为了创建spark上下文)所使用的主机名。

应该很简单，但我想不通怎么.有什么想法吗？

发布于 2015-10-18 02:26:51

您应该能够使用相对路径访问cfs，就像在hadoop环境中一样。sc.textFile("/yourpath")

编辑

好的，所以您可能还需要指定驱动程序主机以启用与主机的通信。

val conf = new SparkConf()
    .set("spark.driver.host", "driver ip")
    .setMaster("master host name")

val sc = new SparkContext(conf)

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/33188418

复制

相似问题

问从Spark应用程序访问CFSEN