使用Solr-spark和Alluxio进行索引:无法访问Alluxio中的文件

Question

我正在使用java将文档索引到solr。当我索引计算机中的文件时，我的代码工作得很好。但是当我尝试索引位于alluxio中的文件时，我遇到了一个异常"No fileSystem for scheme: alluxio“。我已经在我的pom中添加了alluxio依赖项。

代码如下：

​

public class SparkTestMain {

	public static void main(String[] args) {

	    


            new SparkRead().loadDocuments(
                    "alluxio://XXX.XXX.XXX.XX:19998/**/"       );

	}

}

​

在SparkRead中，我从文件路径进行索引: JavaRDD documents = sc.textFile( pathToFile )这里，pathToFile=“alluxio://xxx.xx:19998/**/”

下面是错误：

​

Exception in thread "main" java.io.IOException: No FileSystem for scheme: http
	at org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2579)
	at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2586)
	at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:89)
	at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2625)
	at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2607)
	at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:368)
	at org.apache.hadoop.fs.Path.getFileSystem(Path.java:296)
	at org.apache.hadoop.mapred.FileInputFormat.singleThreadedListStatus(FileInputFormat.java:256)
	at org.apache.hadoop.mapred.FileInputFormat.listStatus(FileInputFormat.java:228)
	at org.apache.hadoop.mapred.FileInputFormat.getSplits(FileInputFormat.java:313)
	at org.apache.spark.rdd.HadoopRDD.getPartitions(HadoopRDD.scala:200)
	...

​

Answer 1

这是来自Alluxio项目网站的doc，解释了为什么你可能会看到"No fileSystem for scheme: alluxio“。

当您的应用程序(例如，MapReduce、Spark)尝试访问

兼容的文件系统，但应用程序无法识别alluxio://方案时，会出现此错误消息。请确保您的HDFS配置文件core-site.xml (在默认hadoop安装中或spark/conf/中，如果您为Spark自定义此文件)具有以下属性：

fs.alluxio.impl alluxio.hadoop.FileSystem

在您发布的错误消息中，我确实看到了"No FileSystem for scheme: http“，而不是"No fileSystem for scheme: alluxio”。"http“是打字错误吗？