无法比较Spark SQL日期列

Question

我在scala case类TestDate (id: String，loginTime: java.sql.Date)中有一个case类

我创建了2个TestDate类型的RDD

我想在loginTime列的值相等的两个rdd上进行内连接。请找到下面的代码片段，

firstRDD.toDF.registerTempTable("firstTable")
secondRDD.toDF.registerTempTable("secondTable")

val res = sqlContext.sql("select * from firstTable INNER JOIN secondTable on to_date(firstTable.loginTime) = to_date(secondTable.loginTime)")

我没有得到任何例外。但是我也没有得到正确的答案。它进行笛卡尔分析，并在结果中生成一些随机日期。

Answer 1

该问题是由于创建date对象时给定的格式错误造成的。当格式被纠正时，它工作得很好。

Answer 2

您可以尝试使用另一种方法：

val df1 = firstRDD.toDF
val df2 = secondRDD.toDF

val res = df1.join(df2, Seq("loginTime"))

如果不起作用，您可以尝试将日期转换为字符串：

val df1 = firstRDD.toDF.withColumn("loginTimeStr", col("loginTime").cast("string"))
val df2 = secondRDD.toDF.withColumn("loginTimeStr", col("loginTime").cast("string"))

val res = df1.join(df2, Seq("loginTimeStr"))

最后，也许问题是您还需要在连接中使用ID列？

val df1 = firstRDD.toDF
val df2 = secondRDD.toDF

val res = df1.join(df2, Seq("id", "loginTime"))