本地spark集群的sparkcontext

Question

请告诉我如何在下面的代码中调整hdfs URI，以便它们在我的本地spark 'cluster‘上工作。

var lines = sparkContext.TextFile(@"hdfs://path/to/input.txt");  
// some more code
wordCounts.SaveAsTextFile(@"hdfs://path/to/wordcount.txt");  

Answer 1

您可以只定义路径位置配置参数将在sparkcontext上设置，因此不需要添加hdfs，就像下面这样，应该可以在yarn模式下运行应用程序

var lines = sparkContext.TextFile("/path/to/input.txt");  
// some more code
wordCounts.SaveAsTextFile("/path/to/wordcount.txt");  

或者，您可以显式定义hdfs位置，如下所示

val lines =  sparkContext.textFile("hdfs://namenode:port/path/to/input.txt")

还可以定义分区的数量，这是可选的

var lines = sparkContext.TextFile("/path/to/input.txt",[number of partitions]);