google中scd2表的实现

Question

我试图在BigQuery中创建一个SCD (缓慢变化的维度)类型2表，而不使用任何DML的

测试模式:

id | date | name | valid_from | valid_to | flag

我需要捕获特定id的名称更改。

谢谢,

Answer 1

您可以人为地创建日期分区表以实现这一点。这样，每个日期的数据都是唯一的，可以由`select distinct column from `dataset.table$yyyymmdd;`访问，也可以对所有历史记录进行访问，只需执行select distinct column from dataset.table;即可。此外，您还可以始终覆盖/追加到给定日期的分区，而不损害其他分区。