云数据融合管道中SCD Type2的实现

Question

我需要在我的数据融合管道中应用SCD2，我的源数据是GCS，目标是BigQuery。我已经创建了管道，并且能够将数据加载到目标BigQery中，所以现在我希望将合并和更新过程作为SCD2的一部分来实现。你能帮我吗，因为我是谷歌云数据融合的新手。

Answer 1

@phaneendra的方法是一种可能的解决方案。无论如何，Data Fusion被设计成以一种无代码的可视化方式使用。如果您想利用它的潜力，我建议您使用Wrangler进行数据转换。在谷歌的文档中，您可以找到一个有趣而快速的tutorial，介绍如何使用它来清理、转换和处理客户数据。然后，您只需像现在一样使用BigQuery plugin接收转换后的数据。