首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何使用Scala在Spark SQL中按日期范围列表进行过滤

问如何使用Scala在Spark SQL中按日期范围列表进行过滤
EN

Stack Overflow用户
提问于 2018-12-08 03:20:51
回答 2查看 1.1K关注 0票数 0

假设我们有一个名为df的数据框,其中有一个名为"DATE“的列。我知道我们可以用df.filter(col("DATE").between(startDate, endDate))按日期范围过滤数据框,或者用df.filter(col("DATE").between(startDate, endDate) || col("DATE").between(startDate1, endDate1) || ...)按多个日期范围过滤。

但是如果我们有一个日期范围的列表,比如[startDate1,endDate1,startDate2,endDate2,...,startDaten,endDaten],那么n的数量可以是任何数字。有没有一种有效的方法来根据所有这些日期范围来过滤数据帧?

EN

回答 2

Stack Overflow用户

发布于 2018-12-08 03:32:50

我认为你可以这样做:

代码语言:javascript
复制
val ranges = initilaze your ranges
val singleFilter = ranges.reduce { (d1, d2) => 
  col("DATE").between(d1.startDate, d1.endDate) || 
  col("DATE").between(d2.startDate, d2.endDate)
}
dataframe.filter(singleFilter)
票数 0
EN

Stack Overflow用户

发布于 2018-12-08 06:37:10

我想出了一个使用map和reduce的解决方案。

将日期范围设为val dateRanges: List[(String, String)] = List((startDate1, endDate1), (startDate2, endDate2), (startDate3, endDate3))

val results = df.filter( dateRanges.map(range => col("Date").between(range._1, range._2)) .reduce((df1, df2) => df1 || df2))

在这里,首先使用map将每个日期范围映射到数据帧的一个分区,然后使用reduce将不同的数据帧分区连接在一起。

但是,有人知道这种方法的效率吗?当然,继续连接两个数据集并不是最好的方式。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/53675626

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档