首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何在集群模式下运行spark分布式,但在本地获取文件?

如何在集群模式下运行spark分布式,但在本地获取文件?
EN

Stack Overflow用户
提问于 2016-07-06 02:57:28
回答 0查看 621关注 0票数 1

有没有可能让spark接受本地文件作为输入,但对其进行分布式处理?

我的代码中有sc.textFile(file:///path-to-file-locally),我知道文件的确切路径是正确的。然而,我还是得到了

代码语言:javascript
复制
Py4JJavaError: An error occurred while calling z:org.apache.spark.api.python.PythonRDD.collectAndServe.
: org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 1.0 failed 4 times, most recent failure: Lost task 0.3 in stage 1.0 (TID 14, spark-slave11.ydcloud.net): java.io.FileNotFoundException: File file:/<path to file> does not exist

我运行的是分布式spark,而不是本地的。为什么会出现这个错误?

EN

回答

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/38210703

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档