重命名在copyFromLocal命令中失败

Question

我正在使用Apache构建一个应用程序。为了使RDD从其他应用程序中可用，我尝试了两种方法：

1. 使用转子
2. 使用火花观察者

我是新来的。我完成了在星系团上运行的速速子中给出的以下任务

我可以从master:19999 URL访问UI。

在./bin/tachyon tfs mkdir /Test目录中，我成功地创建了一个目录copyFromLocal，但是在尝试执行copyFromLocal命令时，我得到了以下错误：

FailedToCheckpointException(message:Failed to rename hdfs://master:54310/tmp/tachyon/workers/1421840000001/8/93 to hdfs://master:54310/tmp/tachyon/data/93)

Answer 1

您最有可能在不同的用户下运行tachyon和Smark-j观察者，并将HDFS作为您的underFS。

查看https://tachyon.atlassian.net/browse/TACHYON-1339和相关的修补程序。

简单的解决办法是运行tachyon和您的火花作业服务器作为同一个用户。

(稍微)更难的方法是移植修补程序并重新编译spark，然后再用修补的客户端进行sjs。