回答情况：
提问时间：
问题标签：
1回答
我正在尝试在Spark独立集群上运行一个相对简单的Spark SQL命令from score sval sqlContext = new HiveContext(sc)sqlCont
浏览 0提问于2014-12-05得票数 1
3回答
我是Spark的新手。按照书中的以下示例，我发现下面的命令给出了错误。在Spark中编写代码时，运行Spark-SQL命令的最佳方式是什么？scala> // Use SQL to create another DataFrame containing the accountscala> val acSummary= spark.sql("SELECT accNo, sum(tranAmount
浏览 0修改于2017-11-04得票数 1
由于Shark的开发已经停止，所以我们正处于评估Spark SQL的阶段。基于我们已有的用例，我们有一些问题。3)对于报告UI，我们使用J
浏览 0提问于2014-07-08得票数 7
我正在尝试比较spark sql和hive上下文，我可以知道有什么不同吗? hivecontext sql使用hive查询，而spark sql使用spark查询吗？下面是我的代码：sqlContext = HiveContext(sc)而sparksql：
sp
浏览 11提问于2018-08-21得票数 0
我是Spark SQL的新手。我们正在将数据从SQL server迁移到Databricks。我使用的是SPARK SQL。你能建议如何在SPARK sql中为下面的日期函数实现以下功能吗？我可以看到，在spark sql中，datediff只给出了天数。
浏览 5修改于2021-05-26得票数 19
回答已采纳
1回答
现在我需要对上面的数据集执行spark sql查询操作。让我们假设数据集变量名为myactivities。我的spark sql查询应该添加一个名为" event_hour“的新列，该列从小时(时间戳)中提取，然后按event_hour、user分组。myactivities.createOrReplaceTempView("hourly_sorted_activities");
Dataset<Row> sortedDataset = sparkSession.sql<
浏览 0提问于2019-09-16得票数 0
我想在spark提交时创建动态spark SQL queries.at，我指定了规则名。基于规则名称的查询应该生成。在spark提交时，我必须指定规则名称。sql查询 select count(*)2.2版本代码：
import org.apache.spark.sql.{ Ro
浏览 1修改于2018-10-09得票数 0
1回答
我们刚刚有人向我们声称，由于可靠性的原因，我们应该避免在Databricks中使用Spark SQL库。我从来没有遇到过使用这个库的问题(尽管我还在spark/Databricks的新手区域)，有人能澄清吗?或者他们是在试图引导我们走上花园小路？
浏览 0提问于2020-12-02得票数 0
3回答
如何在一个范围内找到薪水？下面是我的代码，用于查找10000到20000年间的薪资：我认为应该有一个使用between的替代解决方案。如何使用between方法？
浏览 1修改于2019-05-15得票数 0
回答已采纳
我对Spark SQL有个问题。我从csv文件中读取了一些数据。接下来，我执行groupBy和join操作，完成的任务是将连接的数据写入文件。18/08/07 23:39:40 INFO spark.ContextCleaner: Cleaned accumulator 1069
18/08/07 23:39:40 INFO spark.ContextCleaner/07 23:39:40 INFO spark.ContextCleaner: Cleane
浏览 12修改于2018-08-16得票数 1
当我下载Spark包( Spark -1.3.1-bin-hadoop1.tgz)时，我没有在lib文件夹下看到spark SQL JAR (spark-sql_2.10-1.3.1.jar)。默认情况下不包含在spark包中？
请帮帮忙。
浏览 0修改于2015-12-08得票数 0
我是一位能激发sql活力的纽比。我发现编写具有复杂逻辑的spark查询程序可能非常棘手。例如，我知道spark sql库中的运算符是相当有限的，所以有时我们需要实现UDF。我发现很多开发者都能写出精美的Spark程序。你是怎么掌握Spark的？如何使用Spark SQL提高我的编程能力。我应该先掌握MYSQL吗？我是一个有软件开发背景的学生。我错过了什么？
浏览 29提问于2020-07-05得票数 0
回答已采纳
BY (origin,transdate) ORDER BY cnt DESC LIMIT 1"); ` `Exception in thread "main" org.apache.spark.sql.AnalysisException$StructConverter.toCatalystImpl(CatalystTypeConverters.scala:256) org.apache.spark.sql.catalyst.CatalystTypeConverters$Stru
浏览 7修改于2017-01-14得票数 3
回答已采纳
我想为DataFrame中具有多个值的列添加where条件。df.where($"type".==="type1" && $"status"==="completed").df.where($"type" IN ("type1","type2") && $"status" IN ("completed","inprogress")
浏览 2修改于2016-10-24得票数 14
回答已采纳
0回答
我在PySpark中有这个RDD，我想创建一个模式。(('16/12/2006', '17:24:00', 4.216, 0.418, 234.84, 18.4, 0.0, 1.0, 17.0), 0) StructField("Date", StringType(), True), StructField("ActivePower&#
浏览 0修改于2017-06-15得票数 1
回答已采纳
1回答
import org.apache.spark.sql._import org.apache.spark.sql.functions._import spark.implicits._
// Define case classe for inputas[
浏览 19修改于2020-05-29得票数 0
回答已采纳
174) at org.apache.spark.sql.DataFrame) at org.apache.spark.sql.Dat
浏览 0提问于2015-10-14得票数 1
谁能解释一下什么时候使用Spark sql (普通sql查询)和Spark Data Frame方法.I看，我们可以用spark sql做每一个操作。哪个在性能上更好
浏览 28提问于2021-08-29得票数 0
我们如何在Scala中使用Spark将列名和操作符名称动态传递给SQL查询？我尝试了(不成功)以下内容：spark.sql("select count(1) from ${key_tbl}").collect(
浏览 6修改于2018-02-25得票数 5
我的代码： import spark.implicits._import org.apache.spark.sql.Encodersimport org.apache.spark.streaming._import org.apache.spark.sql.Spa
浏览 30修改于2018-12-25得票数 0
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号