给出spark-shell的论点

Question

我正在尝试将一个参数传递给spark-shell。例如，我想把今天的日期作为scala代码中的一个变量。

val conf = new SparkConf().setAppName("test").setMaster("local[*]")
val sc = new SparkContext(conf)
val sqlContext = new org.apache.spark.sql.SQLContext(sc)
val df = sqlContext.read.format("csv").load("./"+date+".csv")

我的日期和上面的一样，我需要从终端获取变量‘test.scala’。我找到的解决方案是

$spark-shell -i <(echo val date = 2019-11-30 ; cat test3.scala)

然而，这不起作用。spark-shell会运行，但在它开始运行后不会执行任何东西。我是scala的新手，以前只用过python。在python中，这个函数可以由argparse库实现，我希望scala代码能够像python argparse一样运行。

提前谢谢。另外，我不想使用sbt，我只想使用spark-shell。

Answer 1

有两种方法可以做到这一点。

1. 为Scala编写代码，在Scala代码中使用一点JAVA来获取当前时间。

HH:mm:ss").format(LocalDateTime.now)

• Pass java.time.LocalDateTime import java.time.format.DateTimeFormatter DateTimeFormatter.ofPattern("yyyy-MM-dd导入spark-submit作业中的参数日期。

def main(args: ArrayString)：单位={ val thisArg = args(0)打印(ThisArg)}

然后你可以把你的工作叫做spark-submit ....valueArg