首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >在星火上错误“不在组中,也不是聚合函数”

问在星火上错误“不在组中,也不是聚合函数”
EN

Stack Overflow用户
提问于 2017-03-22 14:44:01
回答 2查看 6.8K关注 0票数 1

表:

代码语言:javascript
复制
id | val  |category
---------------- 
a1 |  10   | A
a1 |  30   | B
a1 |  20   | C
a2 |  5    | A
a2 |  7    | B
a2 |  2    | C
a3 | 50    | C
a3 | 60    | B
a3 | 90    | A

查询:

代码语言:javascript
复制
SELECT max(val), id, category
FROM table
GROUP BY id;

我希望这个查询能在关系数据库上工作,比如MySQL,Oracle,MySQL等等。但是为什么它不能在Spark上工作呢?

我说的对吗?“星火对使用群组有一些限制”吗?我在MySQL上测试了相同的表设计,它运行得非常完美,但它给我的Spark带来了一个错误:

org.apache.spark.sql.AnalysisException: expression 'category' is neither present in the group by, nor is it an aggregate function. Add to group by or wrap in first() (or first_value) if you don't care which value you get.;

代码语言:javascript
复制
 `at org.apache.spark.sql.catalyst.analysis.CheckAnalysis$class.failAnalysis(CheckAnalysis.scala:38)`

在研究了这个错误之后,斯派克建议使用function ()或Functionsfirst_value()作为解决办法。所以我试了一下,但我不确定输出是否正确。

  1. 是因为它是非关系的吗?
  2. 以上的特殊情况不适用于其他非关系数据库吗?
  3. 有解决办法或替代办法吗?
  4. 在某个地方,有人说“2.0以上的星火版本不会有这样的问题”。我是在版本Spark1.6,这真的是真的,星火2.0不会有这样的问题吗?
EN

回答 2

Stack Overflow用户

发布于 2017-03-22 15:00:02

将下列行按id分组时

代码语言:javascript
复制
id | val   | category
a1 |  10   | A
a1 |  30   | B
a1 |  20   | C

星星之火怎么知道它应该放哪一类呢?第一个,随机的,最后一个?

MySQL在这一点上比较冷静,因此它会返回它找到的第一个。要在星火中模仿这种行为,只需使用“first(类别)”作为列定义。

票数 2
EN

Stack Overflow用户

发布于 2017-03-22 15:11:50

字段类别不能投影,除非它在组中的部分按。如果您试图为每个类别和id组合找到最大值(Val),请尝试

代码语言:javascript
复制
SELECT max(val), id, category FROM table GROUP BY id, category;

您期望从这个SQL中得到什么输出?

代码语言:javascript
复制
spark-sql> desc sparktest;
id      string  NULL
val     int     NULL
category        string  NULL
Time taken: 3.217 seconds, Fetched 3 row(s)

spark-sql> SELECT max(val), id, category FROM sparktest GROUP BY id, category;
Time taken: 0.412 seconds

我的表里没有数据,你说不做火花是什么意思?

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/42954935

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档