我有一个DataFrame,它有以下简单的schema
root
|-- amount: double (nullable = true)
|-- Date: timestamp (nullable = true)我试图查看每天和每小时的sum值,其中包括:
+---+--------+--------+ ... +--------+
|day| 0| 1| | 23|
+---+--------+--------+ ... +--------+
|148| 306.0| 106.0| | 0.0|
|243| 1906.0| 50.0| | 1.0|
| 31| 866.0| 100.0| | 0.0|
+---+--------+--------+ ... +--------+首先,我添加了一个列hour,然后按日分组,然后按小时旋转。然而,我得到了一个例外,这可能与几个小时的销售缺失有关。这就是我想要解决的问题,但我还没有意识到如何解决这个问题。
(df.withColumn("hour", hour("date"))
.groupBy(dayofyear("date").alias("day"))
.pivot("hour")
.sum("amount").show())例外的摘录。
AnalysisException:从day#5367,hour#5354,sum(amount)#5437运算符中丢失的U‘’resolved属性(hour#5354)#5437!聚合年份(hour#5354为日期),日期( date#3972为日期)为day#5367,枢轴第一(hour#5354,sum(金额)#5437,0,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,0,( 0) __pivot_sum(数量)为和(数量)#5487;‘
发布于 2016-10-02 15:07:55
问题是未解决的day列。您可以在groupBy子句之外创建它,以解决以下问题:
df = (sc
.parallelize([
(1.0, "2016-03-30 01:00:00"), (30.2, "2015-01-02 03:00:02")])
.toDF(["amount", "Date"])
.withColumn("Date", col("Date").cast("timestamp"))
.withColumn("hour", hour("date")))
with_day = df.withColumn("day", dayofyear("Date"))
with_day.groupBy("day").pivot("hour", range(0, 24)).sum("amount")values参数用于pivot是可选的,但建议使用。
https://stackoverflow.com/questions/39817993
复制相似问题