首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >根据具有时间戳的列的最大值过滤pyspark DataFrame

问根据具有时间戳的列的最大值过滤pyspark DataFrame
EN

Stack Overflow用户
提问于 2020-11-19 23:58:46
回答 2查看 384关注 0票数 0

我有一个包含以下模式和数据的数据框架。

代码语言:javascript
复制
schema:[system_name: string, file_name: string, data_tablename: string,  create_date: timestamp]

df:

代码语言:javascript
复制
+-----------+----------------+------------------+--------------------------+
|system_name|file_name       |data_tablename    |create_date               |
+-----------+----------------+------------------+--------------------------+
|ABC        |abc_11132020    |dbo.refine_abc    |2020-11-13 19:34:01.448957|
|ABC        |abc_11132020    |dbo.refine_abc    |2020-11-13 20:44:26.315801|
|ABC        |abc_11162020_1  |dbo.refine_abc    |2020-11-16 20:07:12.354104|
+-----------+----------------+------------------+--------------------------+

我要过滤create_date = max(create_date)所在位置的df

代码语言:javascript
复制
max_ts = df.select(max("create_date")).collect()
 
print(max_ts)
[Row(max(create_date)=datetime.datetime(2020, 11, 16, 20, 7, 12, 354104))]

print(max_ts[0][0])
2020-11-16 20:07:12.354104
 
file_details=df.filter(df.create_date==max_ts[0][0]).collect()
 
print(file_details) --> returning empty list. I was expecting row having file name:abc_11162020_1.
[]
EN

回答 2

Stack Overflow用户

发布于 2020-11-20 00:41:07

要获取列中的最大值,可以使用agg()

代码语言:javascript
复制
max_ts = df.agg({"create_date": "max"}).collect()[0][0]

过滤器:

代码语言:javascript
复制
df.filter(df.create_date==max_ts).show(truncate=False)
+-----------+--------------+--------------+--------------------------+
|system_name|file_name     |data_tablename|create_date               |
+-----------+--------------+--------------+--------------------------+
|ABC        |abc_11162020_1|dbo.refine_abc|2020-11-16 20:07:12.354104|
+-----------+--------------+--------------+--------------------------+
票数 2
EN

Stack Overflow用户

发布于 2020-11-20 01:45:58

通过将时间戳转换为unix时间戳,能够对列进行过滤。

代码语言:javascript
复制
from pyspark.sql.functions import max, unix_timestamp 
df=df.withColumn("create_date", unix_timestamp("create_date", "MM/dd/yyyy HH:mm:ss"))
max_ts = df.select(max("create_date")).collect()
file_details=df.filter(df.create_date==max_ts[0][0]).collect()
票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/64915309

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档