首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >尽管键与"WHEN NOT MATCHED THEN INSERT“子句匹配,databricks增量表合并仍在插入记录

问尽管键与"WHEN NOT MATCHED THEN INSERT“子句匹配,databricks增量表合并仍在插入记录
EN

Stack Overflow用户
提问于 2021-10-13 20:36:38
回答 2查看 1.2K关注 0票数 1

我正在对databricks增量表执行合并操作,如下所示-

代码语言:javascript
复制
spark.sql(""" MERGE INTO <delta table name> deltatbl USING <temp view> source
           ON   deltatbl.col1   =    source.col1
           AND  deltatbl.col2   =    source.col2
           WHEN NOT MATCHED THEN INSERT
           (col1,col2) VALUES(source.Col1,source.Col2)  """)

尽管唯一键匹配,上述查询仍插入重复记录。如何实现只插入非匹配记录的输出。所有列都是key的一部分。

EN

回答 2

Stack Overflow用户

回答已采纳

发布于 2021-10-13 21:02:38

据我所知,一个问题可能是您正在插入的内容中有重复项。如果不匹配,则INSERT在插入之前不会对记录执行重复数据删除。

为了不将重复项加载到表中,必须在运行合并之前执行重复数据删除。

您可以通过python API执行此操作:

代码语言:javascript
复制
spark.table('{your_view_name_here}').dropDuplicates()

或通过SQL API:

代码语言:javascript
复制
SELECT DISTINCT(*)
FROM {your_view_name_here}

在没有更多信息的情况下,这是我能提供的最好的猜测。

票数 1
EN

Stack Overflow用户

发布于 2021-10-14 01:18:34

如果要更新现有记录:

代码语言:javascript
复制
MERGE INTO events
USING updates
ON events.eventId = updates.eventId
WHEN MATCHED THEN
  UPDATE SET events.data = updates.data
WHEN NOT MATCHED
  THEN INSERT (date, eventId, data) VALUES (date, eventId, data)

如果只想插入不存在的记录:用相同的值更新

代码语言:javascript
复制
MERGE INTO events
USING updates
ON events.eventId = updates.eventId
WHEN MATCHED THEN
UPDATE SET events.data = events.data
WHEN NOT MATCHED
THEN INSERT (date, eventId, data) VALUES (date, eventId, data)

你的案子,

代码语言:javascript
复制
MERGE INTO <delta table name> deltatbl USING <temp view> source
       ON   deltatbl.col1   =    source.col1
       AND  deltatbl.col2   =    source.col2
       WHEN MATCHED THEN
         UPDATE SET deltatbl.data = deltatbl.data
       WHEN NOT MATCHED THEN INSERT
       (col1,col2) VALUES(source.Col1,source.Col2) 
票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/69562007

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档