表:
id | val |category
----------------
a1 | 10 | A
a1 | 30 | B
a1 | 20 | C
a2 | 5 | A
a2 | 7 | B
a2 | 2 | C
a3 | 50 | C
a3 | 60 | B
a3 | 90 | A查询:
SELECT max(val), id, category
FROM table
GROUP BY id;我希望这个查询能在关系数据库上工作,比如MySQL,Oracle,MySQL等等。但是为什么它不能在Spark上工作呢?
我说的对吗?“星火对使用群组有一些限制”吗?我在MySQL上测试了相同的表设计,它运行得非常完美,但它给我的Spark带来了一个错误:
org.apache.spark.sql.AnalysisException: expression 'category' is neither present in the group by, nor is it an aggregate function. Add to group by or wrap in first() (or first_value) if you don't care which value you get.;
`at org.apache.spark.sql.catalyst.analysis.CheckAnalysis$class.failAnalysis(CheckAnalysis.scala:38)`在研究了这个错误之后,斯派克建议使用function ()或Functionsfirst_value()作为解决办法。所以我试了一下,但我不确定输出是否正确。
发布于 2017-03-22 15:00:02
将下列行按id分组时
id | val | category
a1 | 10 | A
a1 | 30 | B
a1 | 20 | C星星之火怎么知道它应该放哪一类呢?第一个,随机的,最后一个?
MySQL在这一点上比较冷静,因此它会返回它找到的第一个。要在星火中模仿这种行为,只需使用“first(类别)”作为列定义。
发布于 2017-03-22 15:11:50
字段类别不能投影,除非它在组中的部分按。如果您试图为每个类别和id组合找到最大值(Val),请尝试
SELECT max(val), id, category FROM table GROUP BY id, category;您期望从这个SQL中得到什么输出?
spark-sql> desc sparktest;
id string NULL
val int NULL
category string NULL
Time taken: 3.217 seconds, Fetched 3 row(s)
spark-sql> SELECT max(val), id, category FROM sparktest GROUP BY id, category;
Time taken: 0.412 seconds我的表里没有数据,你说不做火花是什么意思?
https://stackoverflow.com/questions/42954935
复制相似问题