大数据表的版本控制(冰山)

Question

我要在一个数据湖的顶部建一张冰山的桌子。这些表用于报告工具。我正在试图找出在CI/CD过程中控制对这些表的版本/部署更改的最佳方法。我可以在Iceberg表中添加一列。为此，我必须编写一个ALTER TABLE语句，将其保存到git存储库中，并通过CI/CD管道进行部署。表可以通过AWS Glue目录访问。我在google上找不到很多关于这方面的信息，所以如果有人能分享一些知识，我会非常感激的。

干杯。

冰山表的版本控制。

Answer 1

同意@。这只是一个补充。有时，表更改被视为任务版本更改的一部分。也就是说，表更改语句ALTER TABLE被绑定到任务升级。任务有时会自动部署。因此，它通常首先执行一个表更改语句，然后部署一个新任务。如果改变具有破坏性，那么我们需要先停止旧任务，然后部署新任务。相应的升级，我们也有一个回滚脚本，当然，对应的表更改语句。

Answer 2

谢谢你问这个问题。我不认为有明确的方法可以做到这一点。在实践中，我看到大多数人把这作为写在Iceberg桌子上的工作的一部分。通过这种方式，您可以确保使用新作业的新版本立即填充新列。如果不执行任何中断更改(例如删除列)，则下游作业不会中断。希望这能有所帮助！