dplyr/sparklyr "OR“Join

Question

我知道可以使用sparklyr连接两列，如下所示：

final <- tbl1 %>% left_join(tbl2, by = c("x1" = "x2", "y1" = "y2"))

但是，在我的impala sql查询中，有没有办法连接像下面这样的两列：

select 
 a.col1
,b.col2
from tbl1 a


left join
(select * from tbl1 )b
on a.id = b.id 
and(                           a.date1  = b.date1 
                                     or 
                          a.date2 = b.date2               )

我想应该是这样的：

final <-  tbl1 %>% left_join(tbl2, by = c("x1" = "x2",c("y1" = "y2" or "y3" = "y4")))

Answer 1

您可以只使用SQL：

df1 %>% sdf_register("tbl1")
df2 %>% sdf_register("tbl2")

query <- "select ..."

result <- sc %>% spark_session() %>% invoke("sql", query) %>% sdf_register()

请注意，您可能必须为列添加别名，以避免在输出中出现重复名称。