Spark执行错误:spark-提交

Question

我正在尝试使用下面的命令从spark-shell执行一个程序

spark-submit --class com.aadharpoc.spark.UIDStats \ --packages com.databricks:spark-csv_2.10:1.5.0 \ --master yarn-client \ /home/cloudera/Desktop/aadhar_jar/Untitled.jar \ /home/cloudera/Desktop/UIDAI-ENR-DETAIL.csv

提示以下错误

<console>:1: error: ';' expected but 'class' found.
       spark-submit --class com.aadharpoc.spark.UIDStats \ --packages com.databricks:spark-csv_2.10:1.5.0 \ --master local[*] \ /home/cloudera/Desktop/aadhar_jar/Untitled.jar \ /home/cloudera/Desktop/UIDAI-ENR-DETAIL.csv

谢谢你们！！

Answer 1

您不应该从scala REPL或spark-shell运行spark-submit，而应该从普通的linux-shell或terminal运行spark-submit。

我希望这能解决这个问题。

Answer 2

spark-submit是一个用于提交spark程序的脚本，可以在bin目录中找到它。它应该从终端运行，而不是从spark-shell运行。

在Windows中，如果环境变量更新到%SPARK_HOME%/bin，那么在Windows中，只需打开命令提示符并运行spark-submit即可。

在Linux中，SPARK_HOME必须在您.bashrc中，然后您可以从终端运行，或者提供完全限定的路径，如....\spark-submit.sh