我正在对databricks增量表执行合并操作,如下所示-
spark.sql(""" MERGE INTO <delta table name> deltatbl USING <temp view> source
ON deltatbl.col1 = source.col1
AND deltatbl.col2 = source.col2
WHEN NOT MATCHED THEN INSERT
(col1,col2) VALUES(source.Col1,source.Col2) """)尽管唯一键匹配,上述查询仍插入重复记录。如何实现只插入非匹配记录的输出。所有列都是key的一部分。
发布于 2021-10-13 21:02:38
据我所知,一个问题可能是您正在插入的内容中有重复项。如果不匹配,则INSERT在插入之前不会对记录执行重复数据删除。
为了不将重复项加载到表中,必须在运行合并之前执行重复数据删除。
您可以通过python API执行此操作:
spark.table('{your_view_name_here}').dropDuplicates()或通过SQL API:
SELECT DISTINCT(*)
FROM {your_view_name_here}在没有更多信息的情况下,这是我能提供的最好的猜测。
发布于 2021-10-14 01:18:34
如果要更新现有记录:
MERGE INTO events
USING updates
ON events.eventId = updates.eventId
WHEN MATCHED THEN
UPDATE SET events.data = updates.data
WHEN NOT MATCHED
THEN INSERT (date, eventId, data) VALUES (date, eventId, data)如果只想插入不存在的记录:用相同的值更新
MERGE INTO events
USING updates
ON events.eventId = updates.eventId
WHEN MATCHED THEN
UPDATE SET events.data = events.data
WHEN NOT MATCHED
THEN INSERT (date, eventId, data) VALUES (date, eventId, data)你的案子,
MERGE INTO <delta table name> deltatbl USING <temp view> source
ON deltatbl.col1 = source.col1
AND deltatbl.col2 = source.col2
WHEN MATCHED THEN
UPDATE SET deltatbl.data = deltatbl.data
WHEN NOT MATCHED THEN INSERT
(col1,col2) VALUES(source.Col1,source.Col2) https://stackoverflow.com/questions/69562007
复制相似问题