首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >从Pyspark dataframe中的Date中提取年份

问从Pyspark dataframe中的Date中提取年份
EN

Stack Overflow用户
提问于 2019-08-25 07:26:17
回答 1查看 10.1K关注 0票数 1

我有一个Pyspark数据框,其中包含一个日期列"Reported date“(类型:字符串)。从日期中提取年份后,我想要获取另一列的计数。

如果我使用字符串date列,我可以获得计数。

代码语言:javascript
复制
crimeFile_date.groupBy("Reported Date").sum("Offence Count").show()

我得到了这个输出

代码语言:javascript
复制
+-------------+------------------+
|Reported Date|sum(Offence Count)|
+-------------+------------------+
|   13/08/2010|               342|
|    6/10/2011|               334|
|   27/11/2011|               269|
|   12/01/2012|               303|
|   22/02/2012|               286|
|   31/07/2012|               276|
|   25/04/2013|               222|
+-------------+------------------+

为了从"Reported Date“中提取年份,我将其转换为日期格式(using this approach),并将列命名为" date”。但是,当我尝试使用相同的代码对新列进行分组并进行计数时,我得到了一条错误消息。

代码语言:javascript
复制
crimeFile_date.groupBy(year("Date").alias("year")).sum("Offence Count").show()
代码语言:javascript
复制
TypeError: strptime() argument 1 must be str, not None

这是数据模式:

代码语言:javascript
复制
root
 |-- Offence Count: integer (nullable = true)
 |-- Reported Date: string (nullable = true)
 |-- Date: date (nullable = true)

有没有办法修复这个错误?或者使用另一种方法提取年份?谢谢

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2019-08-25 09:54:40

如果我理解正确的话,那么您希望从字符串日期列中提取年份。当然,一种方法是使用正则表达式,但有时如果正则表达式无法处理所有场景,它可能会颠覆您的逻辑。

下面是date数据类型方法。

导入

代码语言:javascript
复制
import pyspark.sql.functions as f

创建数据帧

代码语言:javascript
复制
l1 = [('13/08/2010',342),('6/10/2011',334),('27/11/2011',269),('12/01/2012',303),('22/02/2012',286),('31/07/2012',276),('25/04/2013',222)]
dfl1 =  spark.createDataFrame(l1).toDF("dates","sum")

dfl1.show()
+----------+---+
|     dates|sum|
+----------+---+
|13/08/2010|342|
| 6/10/2011|334|
|27/11/2011|269|
|12/01/2012|303|
|22/02/2012|286|
|31/07/2012|276|
|25/04/2013|222|
+----------+---+

现在,您可以使用函数包的to_timestamp或to_date apis

代码语言:javascript
复制
dfl2 = dfl1.withColumn('years',f.year(f.to_timestamp('dates', 'dd/MM/yyyy')))

dfl2.show()
+----------+---+-----+
|     dates|sum|years|
+----------+---+-----+
|13/08/2010|342| 2010|
| 6/10/2011|334| 2011|
|27/11/2011|269| 2011|
|12/01/2012|303| 2012|
|22/02/2012|286| 2012|
|31/07/2012|276| 2012|
|25/04/2013|222| 2013|
+----------+---+-----+

现在,分组为on年。

代码语言:javascript
复制
dfl2.groupBy('years').sum('sum').show()
+-----+--------+                                                                
|years|sum(sum)|
+-----+--------+
| 2013|     222|
| 2012|     865|
| 2010|     342|
| 2011|     603|
+-----+--------+

显示为多个步骤以便于理解,但您可以在一个步骤中组合提取年份和分组依据。

如果你需要其他帮助,我很乐意扩展。

票数 3
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/57642177

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档