回答情况：
提问时间：
问题标签：
我的想法是在运行prometheus operator的k8s集群上使用spark-submit。现在我知道prometheus operator可以响应ServiceMonitor yaml，但是我对如何使用spark-submit提供YAML中所需的一些东西感到困惑apiVersionmatchNames: endpoints:
- port: 8192 ---> How to provide the name to port using `spark-submit
浏览 0提问于2020-01-22得票数 0
我有一个运行在docker上的Apache Spark集群(1个主机+1个工人)，我可以使用spark-submit提交一个适合管道的作业，然后它被保存到(PipelineModel.save(path)).文件保存在我的本地机器上，恰好在我执行spark-submit命令的位置。这是我用来提交作业的代码：
spark-submit --class ch.supsi.isteps.Main --master spark://172.17.0.1:7077 --packages org.apache.spark
浏览 2修改于2017-11-28得票数 2
但是当我尝试使用spark-submit时，如下所示：conf = SparkConf()
sc = SparkContext
浏览 0提问于2015-10-03得票数 0
我已经正确地完成了所有的工作，但是当我尝试运行spark-submit时，我想可能是java出了问题。当我运行以下命令时： (base) C:\SparkCourse>spark-submit ratings-counter.py 我得到了这个错误： Exception in thread "main"
浏览 297提问于2021-10-12得票数 -1
但不知何故，它总是抱怨找不到spark-submit命令。但是当我复制出命令并直接在我的终端中运行时，它运行得很好。我的外壳是鱼壳，下面是我在鱼壳配置中的配置：~/.config/fish/config.fish下面是我的bash脚本：
#!/u
浏览 6提问于2017-08-18得票数 0
回答已采纳
为了运行我的kafka流，我在项目中运行以下命令：然而，我只是得到了下面的错误：如果我将\添加到命令的末尾，它似乎会输入spark-submit，但什么也没有发生！
浏览 4修改于2018-06-12得票数 0
我想知道如何在PyCharm中开发apache-spark程序。我关注了这篇中的文章。我很好地定义了SPARK_HOME并将pyspark添加到Python path中。导入pyspark模块时没有错误，自动完成工作正常。Error: Must specify a primary resource (JAR or Python or R file)...Exception:
浏览 1提问于2016-01-07得票数 1
但是，只要我尝试使用spark-submit，就会得到以下错误： sc.stop()
如果我将文件移动到/usr/local/Cellar/apache-spark/1.4.1/目录中的任何位置，那么spark-submit
浏览 1提问于2015-09-04得票数 6
如何像在hive中一样使用spark-submit命令发送es配置？spark-submit ... --files hive-site.xml --jars ...
浏览 0修改于2017-10-17得票数 0
有人能在spark-submit脚本中解释一下--packages和--jars之间的区别吗？
nohup ./bin/spark-submit --jars .
浏览 0修改于2018-07-21得票数 17
回答已采纳
在SPARK-SUBMIT中，"yarn“、"yarn-cluster”、"yarn-client“部署模式有什么区别？ --class org.apache.spark.examples.SparkPi \
--master yarn-cluster \ # can also
浏览 1修改于2016-11-05得票数 5
回答已采纳
/venv/bin/python spark-submit --conf spark.yarn.appMasterEnv.PYSPARK_PYTHON=.现在，当我运行spark-submit命令时，我在控制台上得到以下内容 20/01/28 17:08:12 INFO org.apache.hadoop.yarn.client.RMProxy: Connecting
浏览 17修改于2020-01-29得票数 3
回答已采纳
我已经编译了一个spark-scala脚本到一个JAR中，我想用spark-submit来运行它。我运行spark-submit就像这样 spark-submit \/home/hdfs/IdeaProjects/untitled/out/artifacts/quest_jar
浏览 35提问于2020-01-07得票数 0
spark-submit --master yarn-cluster --driver-cores 2 \--executor-cores
浏览 2修改于2018-11-07得票数 0
回答已采纳
当我使用spark-submit启动spark应用程序时，该应用程序使用默认版本的Python。但是，我想用另一个。如何指定spark-submit使用的Python版本？
浏览 2修改于2018-09-22得票数 34
我正在尝试将spark-submit重写成Livy REST JSON协议，它的参数包括包、存储库、jars、文件、用户定义的参数等。请在下面找到更多详细信息。spark-submit命令：我在Livy中的尝试：错误是：你能帮我把spark-submit重写成
浏览 70修改于2021-03-14得票数 0
我已经使用以下命令成功地手动启动了脚本：问题是，当从crontab启动时，相同的命令似乎不起作用。日志不显示任何细节(它们被截断)script.sh文件包含: spark-submit script.py
如果你对如何解决这个问题有任何想法，
浏览 0提问于2015-02-25得票数 1
我在Intellij中有一个简单的工作项目
Im正在使用：spark-submit --class com.CarbonEmission --master local[*] MyPath\TestSparkJar.jar
浏览 56提问于2021-03-09得票数 0
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号