假设我们有一个名为df的数据框,其中有一个名为"DATE“的列。我知道我们可以用df.filter(col("DATE").between(startDate, endDate))按日期范围过滤数据框,或者用df.filter(col("DATE").between(startDate, endDate) || col("DATE").between(startDate1, endDate1) || ...)按多个日期范围过滤。
但是如果我们有一个日期范围的列表,比如[startDate1,endDate1,startDate2,endDate2,...,startDaten,endDaten],那么n的数量可以是任何数字。有没有一种有效的方法来根据所有这些日期范围来过滤数据帧?
发布于 2018-12-08 03:32:50
我认为你可以这样做:
val ranges = initilaze your ranges
val singleFilter = ranges.reduce { (d1, d2) =>
col("DATE").between(d1.startDate, d1.endDate) ||
col("DATE").between(d2.startDate, d2.endDate)
}
dataframe.filter(singleFilter)发布于 2018-12-08 06:37:10
我想出了一个使用map和reduce的解决方案。
将日期范围设为val dateRanges: List[(String, String)] = List((startDate1, endDate1), (startDate2, endDate2), (startDate3, endDate3))
val results = df.filter( dateRanges.map(range => col("Date").between(range._1, range._2)) .reduce((df1, df2) => df1 || df2))
在这里,首先使用map将每个日期范围映射到数据帧的一个分区,然后使用reduce将不同的数据帧分区连接在一起。
但是,有人知道这种方法的效率吗?当然,继续连接两个数据集并不是最好的方式。
https://stackoverflow.com/questions/53675626
复制相似问题