回答情况：
提问时间：
问题标签：
我目前正在开发apache spark，我正在尝试从web应用程序中运行java代码。当我尝试将代码作为java应用程序运行时，它工作得很好。model.save()是如何在apache spark中实现的？提前感谢
浏览 6修改于2016-01-05得票数 3
此外，为了解决这个问题，我修改了spark-default.conf文件中的以下属性 spark.debug.maxToStringFields 120000 不幸的是，前一种方法并没有解决问题。
浏览 29修改于2019-05-02得票数 8
我的代码： import spark.implicits._import org.apache.spark.sql.Encodersimport org.apache.spark.streaming._import org.apache.spark.sql.SparkSessionimport spark.impli
浏览 30修改于2018-12-25得票数 0
我发现Apache Spark是为了教学目的，我对如何管理任务调度有点困惑。我发现Spark有3个调度选项: Spark Scheduler，YARN Scheduler和MESOS。但是我也读到Spark Core管理任务的调度。所以我想我没有明白这一点： 如果Spark Core管理任务的调度，为什么我们还需要Spark Core下面的调度器？
浏览 18修改于2020-12-20得票数 0
我们正在尝试从spark 1.6迁移到spark 2.1。我尝试在本地配置spark master和worker，发现spark REST api与之前不同。在spark 1.6中，当我开始使用master时，我使用以下url来获取所有应用程序的响应
现在，在spark 2.1中，我尝试了同样的方法，但并不像预期的那样。
浏览 3提问于2017-06-24得票数 2
使用Spark 2.0，我发现可以将row的数据帧转换为case类的数据帧。当我尝试这样做时，我收到一条消息，声明要导入spark.implicits._。没有认识到这是一个有效的导入语句，我想知道它是否已经移动而消息没有更新，或者如果我的构建设置中没有正确的包，这是我的build.sbt "org.mongodb.spark" % "mongo-spark-connector_2.11" % "2.0.0-rc
浏览 1修改于2018-02-04得票数 32
回答已采纳
/conf/:/workspace/
3rd-party/spark/spark-1.5.2-bin-hadoop2.6/lib/spark-assembly-1.5.2-hadoop2.6.0.jar3rd-party/spark/spark-1.5.2-bin-hadoop2.6/lib/datanucleus-rdbms-3.2.9.jar:/workspace/
浏览 0修改于2016-01-13得票数 0
我正在尝试使用Spark scala 2.11.8 hbase连接器来保存来自kafka stream的数据。但是当我尝试保存时，我得到了以下错误。我使用的是来自hortoworks的shc连接器。libraryDependencies ++= Seq( "org.apache.spark"
浏览 4提问于2017-09-26得票数 0
我正在尝试使用下面的命令从spark-shell执行一个程序
spark-submit --class com.aadharpoc.spark.UIDStats \ --packages com.databricks:spark-csv_2.10:1.5.0 \ --master yarn-client \ /home/cloudera/Desktop/aadhar_jar/Untitled.jar \ /homespark-submit --c
浏览 43提问于2017-07-14得票数 1
回答已采纳
我是Spark和Spark SQL的新手，但了解Java和SQL。
如何专门使用Spark SQL将一组Oracle存储过程转换为Spark SQL。请举例说明。
浏览 11修改于2017-09-23得票数 0
在从spark-shell启动命令后，我收到以下错误s7917/src_files/movies_data_srcfile_sess06_01.csv")
<console>:21: error: not found: value sparkval d
浏览 3修改于2017-06-22得票数 1
如何不使用Spark SQL从Spark Job连接到HCatalog。
我们使用的是Cloudera发行版的Spark，因为他们目前还不支持Spark SQL。有没有其他方法可以让我们从Spark Job连接到o HCatalog？
浏览 3提问于2015-08-19得票数 1
我想将spark.eventLog.enabled和spark.eventLog.dir设置在spark-submit或start-all级别--不需要在scala/java/python代码中启用它。我尝试了各种方法，但都没有成功：spark.eventLog.enabled true
spark.eventLog.dirhdfs://namenode:8021/di
浏览 12修改于2020-07-28得票数 17
自更新到Spark 2.3.0以来，在我的CI (信号量)中运行的测试由于在创建(本地) spark context时据称无效的spark url而失败：org.apache.spark.SparkException: Invalid Spark URL: sparkat org.apache.spark.rp
浏览 557修改于2018-03-07得票数 12
Application xmlns:fx="http://ns.adobe.com/mxml/2009"
xmlns:s="library://ns.adobe.com/flex/spark
浏览 1修改于2011-07-19得票数 1
回答已采纳
我们使用spark on kubernetes (使用SparkOperator)和Prometheus来公开应用程序的指标。该应用程序是spark流媒体应用程序(不是结构化流媒体应用程序)。该应用程序过去在spark版本为2.4.7的镜像上运行，后来被迁移到spark 3.1.2。由于这次迁移，所有spark_streaming_*指标都消失了，比如spark_streaming_driver_totalreceivedrecords (正如这里定义的)
一般来说，普罗米修斯设置似乎是
浏览 1修改于2021-10-05得票数 1
假设我创建了一个Spark作业(在Java中)，其中包含Spark代码(使用Dataset API)和非Spark代码。看起来Spark代码将被自动并行化并在多台机器上运行。Spark知道只在一台机器上运行regular-Java/non-Spark吗？
浏览 3提问于2017-12-08得票数 1
我使用的CDH集群带有Spark2.1和ScalaVersion2.11.8当我在Spark中执行该方法时，它的工作非常好。但是，相同的UDF无法在使用submit命令从Spark调用该方法时注册。" %% "spark-core" % sparkVersion % "provided",
"org.apache.spark" %% "spark-sql" %
浏览 4提问于2017-10-06得票数 1
在文档中有包含以下文本的spark.files：我试着在#中使用--conf spark.files来重命名，但似乎不起作用。
会有人知道吗？
浏览 0提问于2019-04-20得票数 2
如何指定/传递包参数到AWS glue spark作业？ 我正在使用支持Spark 2.4.3的Glue version 1，并想使用Spark avro来读取一些avro文件
浏览 7修改于2020-07-15得票数 0
回答已采纳
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号