用大喷丝试验火花

Question

我已按照指示安装了Tachyon和Spark：

http://tachyon-project.org/documentation/Running-Spark-on-Tachyon.html

然而，作为一名新手，我不知道如何将文件"X“放入塔奇扬文件系统，就像他们说的：

$ ./spark-shell
$ val s = sc.textFile("tachyon-ft://stanbyHost:19998/X")
$ s.count()
$ s.saveAsTextFile("tachyon-ft://activeHost:19998/Y")

我所做的就是指向一个现有的文件(我通过管理UI找到了这个文件)：

scala> val s = sc.textFile("tachyon-ft://localhost:19998/root/default_tests_files/BasicFile_THROUGH")
s: org.apache.spark.rdd.RDD[String] = MapPartitionsRDD[1] at textFile at <console>:21

当我运行count时，我得到以下错误：

scala> s.count()
java.lang.NullPointerException: connectionString cannot be null

我想我的路错了。所以有两个问题：

1. 如何将文件复制到塔奇扬？
2. 它的FS的正确路径是什么？

对不起，非常新来的!！

更新1

我不确定tachyon-ft://localhost:19998/root/default_tests_files/BasicFile_THROUGH是否正确的路径。我无法通过浏览器或wget获得它。

这就是我在文件系统浏览器中看到的。

​

​

Answer 1

我发现了问题。不是我干的

sc.hadoopConfiguration.set("fs.tachyon.impl", "tachyon.hadoop.TFS")

在我完成这个练习http://ampcamp.berkeley.edu/5/exercises/tachyon.html#run-spark-on-tachyon之后，我发现正确的途径是：

val file = sc.textFile("tachyon://localhost:19998/LICENSE")

所以我的设计还是不错的。这里的文档http://tachyon-project.org/documentation/Running-Spark-on-Tachyon.html给我带来了很多困惑。