回答情况：
提问时间：
问题标签：
我不能让spark-shell命令在Git bash上工作。我非常确定我的环境设置正确，就像我在命令提示符下的任何目录中运行spark-shell一样，它对我来说工作得很好。但是，当我在bash中运行spark-shell时，它会输出这个值，而不是运行实际的shell：org.apache.spark.r
浏览 1提问于2018-11-17得票数 2
1回答
我是第一次尝试在我的ubuntu机器上安装spark，当我尝试启动spark -shell时，我遇到了下面的错误Caused by: org.apache.derby.iapi.error.StandardException: Directory /home/amar/spark-2.2.0-bin-hadoop2.7/bin/metastore_db cannot be created.at org.apache.de
浏览 5提问于2017-07-23得票数 0
sparkts-0.4.0-SNAPSHOT-jar-with-dependencies.jarInvalid command line option: spark-shell--jars /home/milenko/spark-timeseries/target/sparkts-0.4.0-SNAPSHOT-jar-with-dependencies.jar
spark-shell
浏览 1修改于2017-01-13得票数 0
回答已采纳
在使用spark-1.6.0-bin-hadoop2.6启动spark-shell时，我看到了错误。这是刚刚出现的新行为。
以下日志消息中显示的故障的结果是sqlContext不可用(但sc可用)。
浏览 1提问于2016-05-26得票数 16
我正在尝试将一个参数传递给spark-shell。例如，我想把今天的日期作为scala代码中的一个变量。我找到的解决方案是然而，这不起作用。spark-shell会运行，但在它开始运行后不会执行任何东西。我是scala的新手，以前只用过python。另外，我不想使用sbt，我只想使用spark-shell。
浏览 0提问于2019-12-09得票数 0
如何对写入spark-shell控制台的输出进行分页？例如，当我运行以下命令来列出会话中定义的术语时，我经常会得到一个超过终端行数的长输出列表。spark-shell有没有类似于less的分页功能？
谢谢。
浏览 3提问于2016-01-15得票数 3
export PATH=$PATH:/usr/local/spark/spark24/bin $ spark-shell 错误 Traceback (most recent call last):find_spec("pyspark").origin)/usr/local/bin/spark-shel
浏览 56提问于2019-03-23得票数 1
回答已采纳
1.8.0_231-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.231-b11, mixed mode) 但是，我尝试以管理员身份在CMD中运行spark-shell
浏览 64提问于2021-10-21得票数 0
但是当我运行~/spark/bin/spark-shell时
我得到了下面的错误，我已经配置了SPARK_HOME和JAVA_HOME。
浏览 7提问于2015-10-08得票数 8
我是谷歌DataProc的新手
出于测试目的，我们希望通过spark-shell或sparkR运行一组代码。可以连接到spark集群并在谷歌DataProc中执行spark-shell或sparkR中的命令吗？我检查了，似乎我们可以使用spark-submit提交作业，但我没有找到与spark-shell或SparkR相关的信息。
浏览 0提问于2017-01-24得票数 0
回答已采纳
可以从java或scala程序运行spark-shell吗？换句话说，在java程序中启动一个spark-shell会话，将spark代码传递给它并读回响应，然后在代码中继续交互。
浏览 5提问于2015-11-03得票数 3
我们有：要运行scala脚本，是否可以向spark-defaults.conf文件添加类似这样的内容，以便它始终在spark-shell我想用它来存储我经常使用的import _，凭证和用户定义的函数，这样我就不必在每次启动spark-shell时都输入命令。
谢谢，沙恩
浏览 15提问于2019-10-29得票数 0
回答已采纳
spark-shell -i test.scala我在test.scala脚本中使用了":q/:quit“来尝试退出，但它不起作用。
浏览 0修改于2017-01-19得票数 10
回答已采纳
我有一个scala脚本文件，它以一种经典的方式通过交互式spark-shell成功执行:输入spark-shell，粘贴脚本，等待完成。我试过了，它的行为很奇怪它只将几行通常的spark输出打印到out.log，然后报告进程已经结束。spark-shell -i file.scala
有没有办法让spark-shell和nohup一起正常工作？
浏览 1修改于2015-09-08得票数 3
我已经按照指示做了所有的事情，但是仍然不能启动我已经按照指示放置了所有下载的文件，但spark-shell不起作用。日04:59 PM 230,091,034 spark-2.4.4-bin-hadoop2.7.tgz 1文件230,091,034字节2目录180,582,641,664字节可用
c:\spark>spark-shell'spark-shell‘未被识别为内部或外部命令、可操作程序或批处理文件。日04:59 PM 230,091,034 spark-2.4.4-bin-hadoop2.7.t
浏览 3提问于2019-11-06得票数 0
当我在spark-shell中使用:load时，它看起来好像是单独读取行，因此伴生对象不是在同一个“源”文件中读取的。:paste似乎不接受参数。以前，我使用代码构建jar并将其加载到spark-shell中，但为了简单起见，我希望将其作为脚本运行。有没有人有喜欢的变通方法？
浏览 1提问于2015-05-26得票数 3
我只是在用spark-shell玩玩spark。我已经在我的EC2实例中使用hive构建了spark。由于网络问题，我与EC2实例断开连接。现在，当我重新连接并启动spark-shell时，当我尝试创建hiveContext时，我得到了以下错误 at org.apache.derby.impl.store.raw.data.BaseDataFileFactory.boot(Unknown Source)
这是因为以前的spark-
浏览 2修改于2015-10-15得票数 0
/spark-shell –-jars /home/my_path/my_jar.jar 在shell中，我尝试导入包： scala> import com.vertica.spark._
<console/spark-shell –-jars home/my_path/my_jar.jar 这仍然是same..there的一个警告 20/04/21 22:34:40 WARN NativeCodeLoaderscala> import com.ver
浏览 23修改于2020-04-22得票数 0
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号