回答情况：
提问时间：
问题标签：
我正在按照cloudera关于安装这个组件的说明在cloudera集群(评估版本)中安装Spark2。我下载了CSD，安装了它，使用了这个包下载了组件，分发了它，但是当我试图激活它时，我收到了这样的消息：
Java名称: HotSpot(TM) 64位服务器VMJava版本: 1.7.0_67
SPARK2</e
浏览 2修改于2017-12-09得票数 1
回答已采纳
1回答
正在尝试在Spark2中运行JavaSparkSQLExample。使用spark-core_2.11-2.0.2和spark-sql_2.11-2.0.2。
浏览 1修改于2016-12-08得票数 1
我使用的oozie版本(4.1.0)不支持spark2操作，所以我们使用java操作来运行spark2作业。
浏览 1提问于2019-03-30得票数 0
我试图运行一个火花作业(使用火花2-提交)从Oozie，所以这个作业可以运行的时间表。17/11/16 12:03:55 ERROR spark.SparkContext: Error initializing SparkContext.user=yarn, access=WRITE, inode="/
浏览 6提问于2017-11-16得票数 0
回答已采纳
经过一周的研究，不得不提出这样的要求：
oozie.action.sharelib.for.spark=spark2JOB[0000115-181216154825160-我不明白为什么这会如此复杂，如果Microsoft正在用spark2打包spark2，那么oozie...this的
浏览 3提问于2019-02-13得票数 1
在Spark-2.0中，创建火花会话的最佳方法是什么。因为在Spark-2.0和Cassandra中，API已经被重新加工，本质上是反对SqlContext (也包括CassandraSqlContext)。因此，对于执行SQL- -要么我创建一个Cassandra会话(com.datastax.driver.core.Session) and use execute( " ")。或者我必须创建一个SparkSession (org.apache.spark.sql.SparkSession) and execute sql(String sqlText)方法。
我也不知道SQ
浏览 1修改于2022-08-17得票数 2
回答已采纳
我已经为我的Spark2和星火配置提供了Spark2。它用于保持/火花-历史/清洁，但没有为/火花2-历史做任何事情。对为什么不起作用有什么想法吗？
浏览 4修改于2017-12-01得票数 2
当我试着运行这些笔记时，它就开始了 catDF.printSchema()%spark2
val catDF = spark.read.format("com.databricks.spark.avroexport ZEPPELIN_IN
浏览 1修改于2020-08-10得票数 0
回答已采纳
我在齐柏林飞艇上运行Spark2 (在HDP2.6中是0.7)，并且我正在做一个idf转换，它在很多小时后崩溃。它运行在一个集群上，有一个主节点和3个数据节点: s1、s2和s3。所有节点都有一个Spark2客户端，每个节点都有8个内核和16 RAM内存。任何人都有什么想法，我可以尝试让其他节点做他们的共享？
浏览 1提问于2017-11-24得票数 0
下面的表格存储在名为ExampleData的Hive中：|Site_ID |Time |Age||1 |10:00| 20||2 |10:00| 24||2 |12:00| 20|+--------+-----+---+对于每个
浏览 1提问于2017-10-09得票数 1
回答已采纳
1回答
oozie4.1.0怎么调用spark2 ？
oozie、配置
/jars/libfb303-0.9.3.jar,hdfs://node02:8020/user/oozie/share/lib/lib_20180613153006/spark2/jars/chill,hdfs://node02:8020/user/oozie/share/lib/lib_20180613153006/spark2/jars/
浏览 1202提问于2018-06-16
我正在尝试从一个目录中读取文件，并获得以下错误。val DF = spark.read.format("orc").load("/user/root/dt=2017-04-12/id=100 200")
如果有什么办法可以帮我。
浏览 2修改于2019-03-20得票数 1
.toSeq) { }我使用的是Cloudera平台，部署并激活了整个集群中的Spark2包，因此默认情况下，Spark2服务被配置为使用Kafka0.10。Duration, topicSession: String, brokers: String) {
val sparkHome: String = "/opt/cloudera/parcels/SPARK2
浏览 1提问于2018-03-23得票数 0
回答已采纳
我有一个spark2程序，我想从一个oozie工作流提交。
因为默认情况下，spark2不能直接从oozie提交，所以我创建了一个sh，其中包含sh 2-submit语句来执行spark2作业。
浏览 0提问于2018-06-14得票数 0
在尝试加载oozie spark2操作的依赖jar时，获取以下错误。在下面添加了workflow.xml。errorMessage(wf:lastErrorNode())}]</message> <end name="end"/>这与oozie和spark2删除了spark2 sharelib中的重复jars。但这没什么用。
这是什么原因？请帮帮我！
浏览 1提问于2019-06-12得票数 0
我有一个集合col，包含 '_id': ObjectId(...) 'f1': data1和我收藏的一样 '_id': ObjectId(...) 'type': "b"工作不太好。它在错误的字段中重新排序数据{ 'type': "a"
&
浏览 1提问于2017-12-13得票数 0
回答已采纳
我的职能如下： val spark = SparkSession.builder().appName("AB Test").enableHiveSupport().getOrCreate()
10, cod_entrep_assu as ID_ENTITE_GARANTE, objet
浏览 1提问于2019-07-10得票数 0
回答已采纳
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号