我有一个Pyspark数据框,其中包含一个日期列"Reported date“(类型:字符串)。从日期中提取年份后,我想要获取另一列的计数。
如果我使用字符串date列,我可以获得计数。
crimeFile_date.groupBy("Reported Date").sum("Offence Count").show()我得到了这个输出
+-------------+------------------+
|Reported Date|sum(Offence Count)|
+-------------+------------------+
| 13/08/2010| 342|
| 6/10/2011| 334|
| 27/11/2011| 269|
| 12/01/2012| 303|
| 22/02/2012| 286|
| 31/07/2012| 276|
| 25/04/2013| 222|
+-------------+------------------+为了从"Reported Date“中提取年份,我将其转换为日期格式(using this approach),并将列命名为" date”。但是,当我尝试使用相同的代码对新列进行分组并进行计数时,我得到了一条错误消息。
crimeFile_date.groupBy(year("Date").alias("year")).sum("Offence Count").show()TypeError: strptime() argument 1 must be str, not None这是数据模式:
root
|-- Offence Count: integer (nullable = true)
|-- Reported Date: string (nullable = true)
|-- Date: date (nullable = true)有没有办法修复这个错误?或者使用另一种方法提取年份?谢谢
发布于 2019-08-25 09:54:40
如果我理解正确的话,那么您希望从字符串日期列中提取年份。当然,一种方法是使用正则表达式,但有时如果正则表达式无法处理所有场景,它可能会颠覆您的逻辑。
下面是date数据类型方法。
导入
import pyspark.sql.functions as f创建数据帧
l1 = [('13/08/2010',342),('6/10/2011',334),('27/11/2011',269),('12/01/2012',303),('22/02/2012',286),('31/07/2012',276),('25/04/2013',222)]
dfl1 = spark.createDataFrame(l1).toDF("dates","sum")
dfl1.show()
+----------+---+
| dates|sum|
+----------+---+
|13/08/2010|342|
| 6/10/2011|334|
|27/11/2011|269|
|12/01/2012|303|
|22/02/2012|286|
|31/07/2012|276|
|25/04/2013|222|
+----------+---+现在,您可以使用函数包的to_timestamp或to_date apis
dfl2 = dfl1.withColumn('years',f.year(f.to_timestamp('dates', 'dd/MM/yyyy')))
dfl2.show()
+----------+---+-----+
| dates|sum|years|
+----------+---+-----+
|13/08/2010|342| 2010|
| 6/10/2011|334| 2011|
|27/11/2011|269| 2011|
|12/01/2012|303| 2012|
|22/02/2012|286| 2012|
|31/07/2012|276| 2012|
|25/04/2013|222| 2013|
+----------+---+-----+现在,分组为on年。
dfl2.groupBy('years').sum('sum').show()
+-----+--------+
|years|sum(sum)|
+-----+--------+
| 2013| 222|
| 2012| 865|
| 2010| 342|
| 2011| 603|
+-----+--------+显示为多个步骤以便于理解,但您可以在一个步骤中组合提取年份和分组依据。
如果你需要其他帮助,我很乐意扩展。
https://stackoverflow.com/questions/57642177
复制相似问题