回答情况：
提问时间：
问题标签：
我们希望使用SQL Join在Spark中实现SCD2。我从Github那里得到了推荐信
有没有人可以提供在spark中实现SCD2的示例或参考
问候你，曼尼什
浏览 0修改于2019-01-07得票数 1
1回答
我只是在做SCD 2的工作，但无法完全实现它，因为有些场景没有被完全填满。我在IICS做过。真的很难涵盖所有可能的情况。因此，下面是流程：---> Lkp ( on src.id = tgt.id)----> insert on flag insert
浏览 2提问于2022-11-12得票数 0
1回答
我有一个表，其中的条目用SCD 2进行了历史记录，该表如下所示：635582110901 04.01.2016 21.01.2016635582110901 27.01.2016 14.02.2016635582110901 11.11.2016 23.01.2017 <--
635582110901 16.11.2016 1
浏览 2提问于2017-07-02得票数 0
回答已采纳
例如，我为员工的名字设置了一个SCD21 15 Sven Svensson但是，当Jo更改性别时，SCD2会使行不活动(0)，并使用新的性别和IsActive '1‘插入一个新行。
我面临的问题是，factSK 101仍然引用代理的“旧”细节。
浏览 2提问于2016-12-16得票数 0
回答已采纳
我正在尝试使用Data Fusion实现一个SCD2表加载，但是似乎找不到必要的构建块来实现它。(呈现在上的东西)。我可以将新记录(阶段表)与目标表连接起来，过滤未更改的记录，但不能对SCD2类型表执行合并/更新操作，因为没有这样做的选项。
是否有使用数据融合在BigQuery表上进行合并/更新的选项？
浏览 24提问于2019-08-01得票数 0
回答已采纳
我正在寻找配置单元(1.2.1)中的SCD1和SCD2实现。我知道在配置单元(0.14)之前加载SCD1和SCD2表的解决方法。以下是使用变通方法加载SCD1和SCD2的链接
现在Hive支持ACID操作，只是想知道是否有更好的或直接的方式加载它。
浏览 0提问于2016-05-27得票数 3
我想在雪花表中实现scd2。我的源表和目标表只存在于snowflake中。整个过程必须使用Azure数据工厂来完成。我浏览了azure提供的使用数据流实现scd2的文档，但当我尝试为snowflake connection创建数据集时，它显示为禁用。有没有任何方法或任何文档，我可以看到步骤，在adf中创建雪花表的SCD2。 感谢vipendra
浏览 33提问于2020-06-10得票数 0
我正在开始一项新的任务，其中我需要使用SCD1和SCD2加载混合维度表。这需要作为SSIS包来实现。有人能指导我在SSIS中处理这个问题的最好方法是什么吗?我应该使用SCD组件还是有其他方法？对于SCD2类型，我使用Merge语句。
谢谢
浏览 3提问于2010-04-18得票数 1
回答已采纳
我正在从事一个项目，它是一种材料清单管理器，需要支持组件的恢复。经过一些研究，我偶然发现了缓慢变化的维度类型2和类型4，这似乎是这个用例中最合适的模式。CREATE TABLE projects ( name TEXT id INTEGER PRIMARY KEY, project_id INTEGER,
CONSTRAINT fk_project FOREIG
浏览 6提问于2021-09-04得票数 1
有没有什么我们可以在SCD2中保留一些未定义的列。目前我看到，未定义的列在target中为空。但我希望发生第一次插入。 我取消选中了目标列上的update复选框，但它什么也没做。
浏览 11提问于2020-06-18得票数 0
这些解决方案用于我的SCD2解决方案，它将用于数十万行的插入。我不想在实践中使用合并语句。
列"Current“值1表示该行是新行，0表示该行已过期。除了索引之外，是否有一种更有能力和更有效的方法来改进插入查询，类似于SCD2合并语句中插入新行/更新行的方式？
浏览 6提问于2022-11-30得票数 0
我试图在BigQuery中创建一个SCD (缓慢变化的维度)类型2表，而不使用任何DML的id | date | name | valid_from | valid_to | flag谢谢,
浏览 2修改于2018-11-26得票数 0
这是我的问题，在谷歌上我可以找到许多帖子，我们可以使用动态缓存实现SCD2……但在这种情况下，您的目标表和动态缓存将不同步。因为您的缓存只会被更新，但您的目标将根据SCD2历史记录维护进行更新以及插入新记录。请
浏览 2修改于2014-02-21得票数 0
这不是一个严格的SCD2实现，但它是接近的。(链接到维基百科的缓慢变化的维数页面)
您可以在这里看到一个与我们的模式类似(尽管非常简化)的实现：DB Fiddle链接。真正的模式有6个子查询/联接。
浏览 0修改于2018-04-19得票数 2
回答已采纳
我在StackOverflow上发布了这个问题，但没有多少运气，所以我希望我能在这里有更好的运气。然而，我对以下几个概念有点困惑： id INTEGER PRIMARY KEY,)
id INTEGER PRIMARY KEY, pr
浏览 0提问于2021-09-05得票数 0
.enddate>t4.startdateMy problem：在上面查询的底部，我注释掉了左边的联接，当引入更多的SCD2
浏览 5修改于2022-05-19得票数 1
回答已采纳
我正在使用spark 3.0.1，并希望使用SCD2样式来转换现有的数据-而不会丢失历史记录。-+----------+----+----------+删除duplicatesBut使用valid_to，valid_from对数据进行任何历史性更改
如何正确地将其转换为SCD2
浏览 5修改于2020-10-09得票数 0
这不是一个严格的SCD2实现，但它是接近的。
您可以在这里看到一个与我们的模式类似(尽管非常简化)的实现：。真正的模式有6个子查询/联接。
浏览 0修改于2018-04-18得票数 3
回答已采纳
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号