首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >带缺失值的旋转

问带缺失值的旋转
EN

Stack Overflow用户
提问于 2016-10-02 14:28:28
回答 1查看 154关注 0票数 1

我有一个DataFrame,它有以下简单的schema

代码语言:javascript
复制
root
 |-- amount: double (nullable = true)
 |-- Date: timestamp (nullable = true)

我试图查看每天和每小时的sum值,其中包括:

代码语言:javascript
复制
+---+--------+--------+ ... +--------+
|day|       0|       1|     |      23|
+---+--------+--------+ ... +--------+
|148|   306.0|   106.0|     |     0.0|
|243|  1906.0|    50.0|     |     1.0|
| 31|   866.0|   100.0|     |     0.0|
+---+--------+--------+ ... +--------+

首先,我添加了一个列hour,然后按日分组,然后按小时旋转。然而,我得到了一个例外,这可能与几个小时的销售缺失有关。这就是我想要解决的问题,但我还没有意识到如何解决这个问题。

代码语言:javascript
复制
(df.withColumn("hour", hour("date"))
    .groupBy(dayofyear("date").alias("day"))
    .pivot("hour")
    .sum("amount").show())

例外的摘录。

AnalysisException:从day#5367,hour#5354,sum(amount)#5437运算符中丢失的U‘’resolved属性(hour#5354)#5437!聚合年份(hour#5354为日期),日期( date#3972为日期)为day#5367,枢轴第一(hour#5354,sum(金额)#5437,0,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,0,( 0) __pivot_sum(数量)为和(数量)#5487;‘

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2016-10-02 15:07:55

问题是未解决的day列。您可以在groupBy子句之外创建它,以解决以下问题:

代码语言:javascript
复制
df = (sc
         .parallelize([
             (1.0, "2016-03-30 01:00:00"), (30.2, "2015-01-02 03:00:02")])
        .toDF(["amount", "Date"])
        .withColumn("Date", col("Date").cast("timestamp"))
        .withColumn("hour", hour("date")))

with_day = df.withColumn("day", dayofyear("Date"))
with_day.groupBy("day").pivot("hour", range(0, 24)).sum("amount")

values参数用于pivot是可选的,但建议使用。

票数 2
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/39817993

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档