火花纱.集群模式hdfs io文件路径配置

Question

我尝试使用psuedo模式在名称节点服务器上运行下面的基本火花字计数示例:Hadoop2.6.0

import org.apache.spark.{SparkConf, SparkContext}

object WordCount {
  def main(args: Array[String]){

    //args(0): input file name, args(1): output dir name
    //e.g. hello.txt hello
    val conf = new SparkConf().setAppName("WordCount")
    val sc = new SparkContext(conf)

    val input = sc.textFile(args(0))
    val words = input.flatMap(_.split(" "))
    val counts = words.map((_, 1)).reduceByKey(_ + _)

    counts.saveAsTextFile(args(1))
  }
}

像这样的start.sh文件..。

$SPARK_HOME/bin/spark-submit \
--master yarn-cluster \
--class com.gmail.hancury.hdfsio.WordCount \
./target/scala-2.10/sparktest_2.10-1.0.jar hello.txt server_hello

当我写入输入文件路径时，如

hdfs://master:port/path/to/input/hello.txt或

hdfs:/master:port/path/to/input/hello.txt或

/path/to/input/hello.txt

一些神秘的附加路径会自动附加。

/user/${user.name}/input/

所以，如果我编写了像/user/curycu/input/hello.txt这样的路径，那么应用路径就像这样：/user/curycu/input/user/curycu/input/hello.txt

因此出现了一个fileNotFound异常。

，我想知道这条神奇的路到底是从哪里来的.

我已经检查过core-site.xml、丝-site.xml、hdfs-site.xml、mapred-site.xml、spark_env.sh、名称-节点服务器的火花-defaults.conf，但是对于/user/${user.name}/input没有任何线索。

Answer 1

当您不使用程序集jar (uber Jar)时，会发生上述所有错误。

不是sbt package

使用sbt assembly